Quiz: Módulo 1 - Introducción a los LLM

Evalúe su comprensión de los fundamentos de los Large Language Models. Este cuestionario contiene 30 preguntas que abarcan los tres capítulos.

---

Capítulo 1: ¿Qué son los Large Language Models?

Pregunta 1

¿Qué distingue principalmente a un "Large" Language Model de los modelos de lenguaje anteriores?

1. El lenguaje de programación utilizado para implementarlo
2. La cantidad de parámetros (miles de millones) y la escala de los datos de entrenamiento
3. El tipo de tareas que puede realizar
4. La empresa que lo creó

Pregunta 2

¿Qué son las "capacidades emergentes" en el contexto de los LLM?

1. Capacidades programadas por los desarrolladores
2. Capacidades que existen en todas las redes neuronales
3. Habilidades que aparecen solo cuando los modelos alcanzan cierta escala
4. Capacidades que surgen después del fine-tuning

Pregunta 3

¿Cómo se compara la cantidad estimada de parámetros de GPT-4 con la de GPT-2?

1. Aproximadamente 10 veces mayor
2. Aproximadamente 100 veces mayor
3. Aproximadamente 1000 veces mayor
4. Aproximadamente del mismo tamaño

Pregunta 4

¿Qué es el "in-context learning"?

1. Entrenar el modelo con nuevos datos
2. Aprender a partir de ejemplos proporcionados en el prompt sin actualizar los pesos
3. Aprender de las respuestas previas del modelo
4. Aprender de la retroalimentación del usuario

Pregunta 5

¿Cuál es el objetivo principal durante la generación de texto de un LLM?

1. Minimizar la cantidad de tokens generados
2. Maximizar la coherencia semántica
3. Predecir el siguiente token dado el contexto
4. Coincidir exactamente con los datos de entrenamiento

Pregunta 6

¿Cuál de estas NO es típicamente una característica de los LLM?

1. Miles de millones de parámetros
2. Entrenamiento con terabytes de texto
3. Aprendizaje en tiempo real a partir de interacciones con el usuario
4. Ventanas de contexto largas

Pregunta 7

¿Qué sugiere la "scaling hypothesis"?

1. Los modelos más pequeños siempre son más eficientes
2. Modelos más grandes con más datos conducen a mejoras predecibles en capacidades
3. Los modelos deben reducirse para su despliegue
4. Escalar siempre conduce a rendimientos decrecientes

Pregunta 8

¿Qué es la tokenización en el contexto de los LLM?

1. Encriptar los pesos del modelo
2. Convertir texto en representaciones numéricas que el modelo puede procesar
3. Crear tokens de autenticación para acceso a la API
4. Dividir el modelo en partes más pequeñas

Pregunta 9

En la generación autoregresiva, ¿cómo se producen los tokens?

1. Todos los tokens se generan simultáneamente
2. Un token a la vez, cada uno condicionado por los tokens anteriores
3. Se generan tokens aleatorios y luego se ordenan
4. Los tokens se copian de los datos de entrenamiento

Pregunta 10

¿Qué es un embedding en los modelos neuronales de lenguaje?

1. El archivo de configuración del modelo
2. El texto de entrada antes de procesar
3. Una representación vectorial densa de un token
4. La salida final del modelo

---

Capítulo 2: Historia - De los RNN a los Transformers

Pregunta 11

¿Cuál era la principal limitación de los modelos estadísticos de lenguaje n-gram?

1. Eran demasiado costosos computacionalmente
2. Escasez de datos para contextos largos y falta de comprensión semántica
3. Requerían demasiados datos de entrenamiento
4. Sólo podían trabajar con texto en inglés

Pregunta 12

¿Qué problema resolvieron las redes LSTM que tenían las RNN tradicionales?

1. Lenta velocidad de inferencia
2. Gradientes que desaparecen en secuencias largas
3. Tamaño limitado del vocabulario
4. Incapacidad para procesar texto

Pregunta 13

¿Cuál fue el título del artículo que introdujo la arquitectura Transformer?

1. "Deep Learning"
2. "BERT: Pre-training of Deep Bidirectional Transformers"
3. "Attention Is All You Need"
4. "Language Models are Few-Shot Learners"

Pregunta 14

¿En qué año se publicó el artículo sobre Transformers?

1. 2015
2. 2016
3. 2017
4. 2018

Pregunta 15

¿Qué limitación importante de los RNN resolvieron los Transformers?

1. Uso de memoria
2. Procesamiento secuencial que impedía la paralelización
3. Vocabulario limitado
4. Requisito de datos etiquetados

Pregunta 16

¿Qué fue innovador en el mecanismo de atención introducido por Bahdanau et al.?

1. Eliminó la necesidad de redes neuronales
2. Permitió que el modelo aprendiera qué partes de la entrada son relevantes para cada salida
3. Hizo los modelos más pequeños
4. Habilitó el aprendizaje en tiempo real

Pregunta 17

¿Qué modelo introdujo el paradigma de pre-entrenamiento + fine-tuning en los transformers?

1. GPT-1
2. BERT
3. GPT-3
4. T5

Pregunta 18

¿Cómo difiere BERT de GPT a nivel arquitectónico?

1. BERT es más grande
2. BERT utiliza solo encoder (bidireccional) mientras que GPT utiliza solo decoder (unidireccional)
3. BERT no utiliza atención
4. No hay diferencia

Pregunta 19

Aproximadamente, ¿cuántos parámetros tenía GPT-3?

1. 1.5 mil millones
2. 17.5 mil millones
3. 175 mil millones
4. 1.75 billones

Pregunta 20

¿Cuál fue una demostración clave de las capacidades de GPT-3?

1. Corrección gramatical perfecta
2. Few-shot y zero-shot learning en tareas diversas
3. Traducción en tiempo real
4. Generación de imágenes

---

Capítulo 3: El panorama actual de los LLM

Pregunta 21

¿Qué empresa desarrolló Claude?

1. OpenAI
2. Google
3. Anthropic
4. Meta

Pregunta 22

¿Cuál es el enfoque distintivo de Anthropic para la alineación de la IA?

1. Reinforcement Learning from Human Feedback
2. Constitutional AI
3. Red teaming
4. Chain-of-thought prompting

Pregunta 23

¿Qué empresa lanzó la serie de modelos open-weight Llama?

1. Google
2. Anthropic
3. OpenAI
4. Meta

Pregunta 24

¿Cuál es la principal ventaja de los modelos open-weight como Llama?

1. Siempre son más capaces
2. Son más fáciles de usar
3. Control total, despliegue local y fine-tuning personalizado
4. Tienen mejor documentación

Pregunta 25

¿Qué plataforma sirve como repositorio central para modelos open-source?

1. GitHub
2. Hugging Face Hub
3. Kaggle
4. Model Zoo

Pregunta 26

¿Qué es distintivo del modelo Mixtral de Mistral?

1. Es el modelo más grande jamás creado
2. Utiliza arquitectura Mixture of Experts (MoE)
3. Es multimodal
4. Está entrenado solo con código

Pregunta 27

¿Qué longitud de ventana de contexto admite Claude 3?

1. 4,000 tokens
2. 32,000 tokens
3. 100,000 tokens
4. 200,000 tokens

Pregunta 28

¿Cuál de estos NO es una consideración importante al elegir entre modelos abiertos y cerrados?

1. Requisitos de privacidad de datos
2. Necesidad de fine-tuning personalizado
3. El color del logotipo de la empresa
4. Requisitos de latencia

Pregunta 29

¿Qué tendencia se ha observado en los precios de las API de LLM con el tiempo?

1. Los precios se han mantenido constantes
2. Los precios han aumentado significativamente
3. Los precios han disminuido sustancialmente
4. Los modelos de precios se han mantenido iguales

Pregunta 30

¿Qué familia de modelos está diseñada específicamente para la generación de código por parte de Meta?

1. Llama
2. Code Llama
3. StarCoder
4. Copilot

---

¡Cuestionario completado!

¡Felicidades por completar el Quiz del Módulo 1! Revise cualquier pregunta que le haya resultado desafiante y vuelva a consultar las secciones relevantes del capítulo.

Puntaje de aprobación: 24/30 (80%)

---

← Capítulo 3: Panorama de los LLM

Módulo 2: Arquitectura Transformer →