Quiz: Módulo 2 - Arquitectura Transformer

Evalúe su comprensión de la arquitectura Transformer. Este cuestionario contiene 30 preguntas que cubren mecanismos de atención, atención multi-cabeza y codificación posicional.

---

Capítulo 1: Mecanismo de Atención

Pregunta 1

En la fórmula de atención, ¿qué representa la Query (Q)?

1. Lo que estamos buscando o tratando de encontrar
2. El contenido a recuperar
3. El índice en la memoria
4. La salida de la atención

Pregunta 2

¿Por qué la puntuación de atención se escala por √d_k?

1. Para hacer el cálculo más rápido
2. Para evitar que los productos punto crezcan demasiado, lo que llevaría al softmax a regiones de bajo gradiente
3. Para normalizar la salida a longitud unitaria
4. Para reducir el uso de memoria

Pregunta 3

¿Cuál es la forma de la matriz de pesos de atención para una secuencia de longitud n?

1. n × d_model
2. d_k × d_v
3. n × n
4. 1 × n

Pregunta 4

En la atención causal (enmascarada), ¿qué previene la máscara?

1. Mirar la misma posición
2. Mirar posiciones futuras
3. Mirar posiciones pasadas
4. Mirar solo los tokens de padding

Pregunta 5

¿Cuál es la complejidad temporal de la atención estándar respecto a la longitud de la secuencia n?

1. O(n)
2. O(n log n)
3. O(n²)
4. O(n³)

Pregunta 6

¿Qué valor se utiliza para enmascarar posiciones en la atención?

1. 0
2. 1
3. -infinito (antes del softmax)
4. Un valor aleatorio

Pregunta 7

¿Qué contiene la matriz Value (V)?

1. Los criterios de búsqueda
2. Las puntuaciones de relevancia
3. El contenido real a recuperar según los pesos de atención
4. La información de posición

Pregunta 8

¿Qué garantiza el softmax sobre los pesos de atención?

1. Que sumen 1 para cada posición de consulta
2. Que todos sean iguales
3. Que sean binarios (0 o 1)
4. Que siempre sean enteros positivos

Pregunta 9

¿A qué problema apunta principalmente Flash Attention?

1. Precisión de la atención
2. Eficiencia de memoria de la atención
3. Solo velocidad de entrenamiento
4. Tamaño del modelo

Pregunta 10

¿Cómo se calcula la salida final de la atención?

1. Suma de Q, K y V
2. Producto de Q y K
3. Suma ponderada de V usando los pesos de atención
4. Máximo de los pesos de atención

---

Capítulo 2: Self-Attention y Multi-Head Attention

Pregunta 11

¿Qué distingue a la self-attention de la cross-attention?

1. En la self-attention, Q, K y V provienen de la misma entrada
2. La self-attention utiliza más parámetros
3. La self-attention es más rápida
4. La self-attention solo funciona con texto

Pregunta 12

Si d_model = 512 y tenemos 8 cabezas de atención, ¿cuánto es d_k por cabeza?

1. 512
2. 256
3. 128
4. 64

Pregunta 13

¿Cuál es el principal beneficio de la atención multi-cabeza?

1. Reduce el tiempo de cómputo
2. Permite que el modelo atienda a diferentes subespacios de representación
3. Utiliza menos parámetros
4. Elimina la necesidad de codificación posicional

Pregunta 14

En la atención multi-cabeza, ¿cómo se combinan las salidas de las diferentes cabezas?

1. Promediadas
2. Sumadas
3. Concatenadas y luego proyectadas
4. Max pooled

Pregunta 15

¿Dónde se utiliza típicamente la cross-attention?

1. Solo en codificadores
2. En arquitecturas encoder-decoder, donde el decoder atiende a la salida del encoder
3. Solo en modelos GPT
4. Nunca en Transformers

Pregunta 16

¿Por qué las cabezas de atención pueden calcularse en paralelo?

1. El cálculo de cada cabeza es independiente de las demás
2. Comparten pesos
3. Procesan diferentes secuencias
4. Utilizan diferentes funciones de activación

Pregunta 17

¿Qué pueden aprender diferentes cabezas de atención?

1. Los mismos patrones por redundancia
2. Diferentes patrones lingüísticos (sintaxis, semántica, etc.)
3. Solo información posicional
4. Ruido aleatorio

Pregunta 18

¿Cuál es la dimensión de salida de la atención multi-cabeza con d_model = 512?

1. Depende del número de cabezas
2. 64 por posición
3. 512 por posición (igual que d_model)
4. 1024 por posición

Pregunta 19

¿Por qué la self-attention es permutacionalmente equivariante?

1. Porque utiliza RNNs internamente
2. Porque los pesos de atención dependen solo de similitudes por pares, no de posiciones
3. Por la función softmax
4. No es permutacionalmente equivariante

Pregunta 20

¿Cuál es el rol de la proyección de salida (W_O) en la atención multi-cabeza?

1. Calcular los pesos de atención
2. Proyectar las salidas concatenadas de las cabezas de vuelta a d_model
3. Agregar información posicional
4. Calcular la pérdida

---

Capítulo 3: Codificación Posicional y Embeddings

Pregunta 21

¿Por qué los Transformers necesitan codificación posicional?

1. Para reducir el cómputo
2. Porque la self-attention por sí sola es invariante a la permutación y pierde la información de posición
3. Para aumentar la capacidad del modelo
4. Para manejar secuencias de longitud variable

Pregunta 22

En la codificación posicional sinusoidal, ¿qué varía entre las diferentes dimensiones?

1. La amplitud
2. La frecuencia de oscilación
3. El desfase
4. Nada: todas las dimensiones son idénticas

Pregunta 23

¿Cuál es el rango de valores para la codificación posicional sinusoidal?

1. 0 a 1
2. 0 a infinito
3. -1 a 1
4. Ilimitado

Pregunta 24

¿Cómo se combinan los embeddings de tokens con las codificaciones posicionales?

1. Concatenados
2. Sumados
3. Multiplicados
4. Max pooled

Pregunta 25

¿Cuál es una ventaja de los embeddings posicionales aprendidos sobre los sinusoidales?

1. Mejor extrapolación a secuencias más largas
2. No requieren parámetros
3. Pueden adaptarse a patrones específicos de los datos de entrenamiento
4. Funciona con cualquier longitud de secuencia

Pregunta 26

¿Qué es RoPE (Rotary Position Embedding)?

1. Un tipo de mecanismo de atención
2. Un método que codifica la posición rotando los embeddings
3. Un objetivo de entrenamiento
4. Un tipo de normalización

Pregunta 27

¿Qué modelos utilizan comúnmente RoPE?

1. Transformer original y BERT
2. LLaMA, Mistral y muchos LLMs modernos
3. Solo GPT-2
4. Solo modelos encoder

Pregunta 28

¿Por qué el embedding de token se escala por √d_model en el Transformer original?

1. Para reducir el uso de memoria
2. Para equilibrar la magnitud de los embeddings con las codificaciones posicionales
3. Para normalizar los gradientes
4. Para aumentar la capacidad del modelo

Pregunta 29

¿Cuál es el enfoque de ALiBi para la codificación posicional?

1. Sumar vectores de posición a los embeddings
2. Rotar los vectores de query y key
3. Agregar un sesgo basado en la distancia directamente a las puntuaciones de atención
4. Aprender embeddings de posición por separado

Pregunta 30

¿Cuál es una limitación de los embeddings posicionales aprendidos?

1. Requieren demasiado cómputo
2. Tienen una longitud máxima de secuencia fija
3. No pueden capturar posiciones relativas
4. No funcionan con atención multi-cabeza

---

¡Cuestionario completado!

¡Felicidades por completar el Quiz del Módulo 2! Revise cualquier pregunta que le haya resultado desafiante y vuelva a consultar las secciones relevantes del capítulo.

Puntaje de aprobación: 24/30 (80%)

---

← Capítulo 3: Codificación Posicional

Módulo 3: Entrenamiento de LLMs →