Quiz: Módulo 5 - Tokenización y Embeddings

Pregunta 1

¿Qué es BPE (Byte Pair Encoding)?

1. Un algoritmo de tokenización que fusiona iterativamente pares de caracteres frecuentes
2. Un tipo de red neuronal
3. Un método de embedding
4. Un algoritmo de compresión para modelos

Pregunta 2

¿Qué tokenizador utiliza BERT?

1. BPE
2. WordPiece
3. SentencePiece
4. Unigram

Pregunta 3

¿En qué trata SentencePiece el texto?

1. Palabras
2. Caracteres
3. Bytes en bruto (independiente del idioma)
4. Frases

Pregunta 4

¿Cuál era la ventana de contexto de GPT-3?

1. 2K tokens
2. 4K tokens
3. 8K tokens
4. 32K tokens

Pregunta 5

¿Cuál es la ventana de contexto de Claude 3?

1. 32K tokens
2. 100K tokens
3. 200K tokens
4. 1M tokens

Pregunta 6

¿Por qué usar fragmentación con solapamiento?

1. Para reducir el tiempo de procesamiento
2. Para preservar el contexto en los límites de los fragmentos
3. Para aumentar la precisión
4. Para reducir el conteo de tokens

Pregunta 7

¿Qué significa RoPE?

1. Rotary Position Embedding
2. Recursive Operator for Position Encoding
3. Random Orthogonal Position Encoding
4. Relative Order Position Embedding

Pregunta 8

¿Qué representan los embeddings?

1. IDs de tokens
2. Vectores densos que capturan el significado semántico
3. Probabilidades
4. Ponderaciones de atención

Pregunta 9

¿Cómo se mide típicamente la similitud semántica?

1. Distancia euclidiana
2. Similitud de coseno
3. Distancia Manhattan
4. Distancia de Hamming

Pregunta 10

¿Cuál es una aplicación clave de los embeddings?

1. Entrenamiento de modelos
2. Búsqueda semántica y RAG
3. Tokenización
4. Cálculo de atención

Pregunta 11

¿Cuál es el tamaño típico del vocabulario para los LLMs?

1. 1,000 tokens
2. 10,000 tokens
3. 30,000-50,000 tokens
4. 1,000,000 tokens

Pregunta 12

¿Cuál es la ventaja de la tokenización por subpalabras?

1. Maneja palabras desconocidas dividiéndolas en subpalabras conocidas
2. Procesamiento más rápido
3. Tamaño de modelo más pequeño
4. Mejor gramática

Pregunta 13

¿Qué indica el prefijo ## en WordPiece?

1. Inicio de palabra
2. Continuación de una palabra (no inicio)
3. Token especial
4. Token desconocido

Pregunta 14

¿Qué modelo ha alcanzado más de 1M de contexto?

1. GPT-4
2. Claude 3
3. Gemini 1.5
4. LLaMA 3

Pregunta 15

¿Cuál es la dimensión del embedding para GPT-3?

1. 768
2. 1024
3. 12288
4. 4096

Pregunta 16-30

(Preguntas adicionales sobre casos límite de tokenización, aplicaciones de embeddings, gestión de ventanas de contexto e implementaciones prácticas)

Pregunta 16

¿Qué sucede cuando una palabra no está en el vocabulario del tokenizador?

1. Se ignora
2. Se divide en subpalabras o caracteres conocidos
3. Se produce un error
4. Se reemplaza por [UNK]

Pregunta 17

¿Cuál es el efecto del tamaño del vocabulario en el modelo?

1. Vocabulario más grande = más parámetros en la capa de embedding
2. Sin efecto
3. Solo afecta la velocidad de entrenamiento
4. Solo afecta la velocidad de inferencia

Pregunta 18

¿Qué biblioteca es popular para embeddings de frases?

1. sentence-transformers
2. spaCy
3. NLTK
4. gensim

Pregunta 19

¿Cuál es el propósito de los tokens especiales como [CLS] y [SEP]?

1. Marcar los límites de las frases y habilitar tareas especiales
2. Reducir el tamaño del vocabulario
3. Acelerar la tokenización
4. Mejorar la precisión

Pregunta 20

¿Qué es la fusión de tokens en los tokenizadores?

1. Combinar pares de tokens frecuentes en tokens únicos
2. Eliminar tokens duplicados
3. Combinar embeddings
4. Reducir el vocabulario

Pregunta 21

¿Por qué es beneficiosa la tokenización a nivel de byte?

1. Puede representar cualquier entrada sin tokens UNK
2. Procesamiento más rápido
3. Vocabulario más pequeño
4. Mejor precisión

Pregunta 22

¿Cuál es la relación entre tokens y palabras?

1. 1 token = 1 palabra siempre
2. 1 palabra puede ser varios tokens; 1 token puede ser parte de una palabra
3. 1 token = 1 carácter
4. 1 token = 1 frase

Pregunta 23

Aproximadamente, ¿cuántos tokens equivalen a una palabra en inglés?

1. 0.5 tokens
2. 1 token
3. ~1.3-1.5 tokens
4. 3 tokens

Pregunta 24

¿De dónde se aprende el embedding de un token?

1. Etiquetado manual
2. Datos de entrenamiento durante el entrenamiento del modelo
3. Definiciones de diccionario
4. Retroalimentación del usuario

Pregunta 25

¿Qué sucede al alcanzar el límite de la ventana de contexto?

1. El modelo no puede procesar tokens adicionales; se requiere truncamiento o fragmentación
2. El procesamiento se ralentiza
3. El modelo resume automáticamente
4. La calidad mejora

Pregunta 26

¿Cuál es el problema de complejidad de la atención con contextos largos?

1. O(n²) de memoria y cómputo para longitud de secuencia n
2. O(n) de uso de memoria
3. No hay problema de complejidad
4. Solo afecta el entrenamiento

Pregunta 27

¿Para qué se utiliza ALiBi?

1. Codificación de posición mediante sesgos en la atención
2. Tokenización
3. Compresión de embeddings
4. Construcción de vocabulario

Pregunta 28

¿A qué se suman los embeddings de posición?

1. Embeddings de tokens
2. Ponderaciones de atención
3. Logits de salida
4. Función de pérdida

Pregunta 29

¿Qué es la cuantización de embeddings?

1. Reducir la precisión de los valores de embedding para ahorrar memoria
2. Contar embeddings
3. Medir la calidad de los embeddings
4. Normalizar embeddings

Pregunta 30

¿Cuál es el beneficio de usar el mismo tokenizador para todas las variantes de LLaMA?

1. Mapeo consistente de token a texto y cambio de modelo más sencillo
2. Tokenización más rápida
3. Mejor precisión
4. Vocabulario más pequeño

---

Puntaje de aprobación: 24/30 (80%)

← Capítulo 3Módulo 6 →