Quiz: Módulo 7 - Fundamentos del Fine-Tuning

Pregunta 1

¿Qué significa PEFT?

1. Parameter-Efficient Fine-Tuning
2. Parallel Efficient Fine-Tuning
3. Pre-trained Efficient Fine-Tuning
4. Partial Embedding Fine-Tuning

Pregunta 2

¿Qué porcentaje de parámetros suele entrenar LoRA?

1. 0.1-1%
2. 10-20%
3. 50%
4. 100%

Pregunta 3

¿Qué es el olvido catastrófico?

1. El modelo pierde conocimiento preentrenado durante el fine-tuning
2. Desbordamiento de memoria durante el entrenamiento
3. Olvidar guardar checkpoints
4. La función de pérdida llega a cero

Pregunta 4

¿Qué representa el parámetro "r" en LoRA?

1. El rango de las matrices de bajo rango
2. Tasa de aprendizaje
3. Fuerza de regularización
4. Número de repeticiones

Pregunta 5

¿Qué es QLoRA?

1. LoRA con modelo base cuantizado
2. Peso de LoRA cuantizados
3. Entrenamiento rápido de LoRA
4. LoRA consciente de la calidad

Pregunta 6

¿Qué es el instruction tuning?

1. Entrenar modelos para seguir instrucciones en lenguaje natural
2. Ajustar hiperparámetros
3. Escribir mejores prompts
4. Compilar instrucciones de entrenamiento

Pregunta 7

¿Qué capas suelen ser objetivo de LoRA?

1. Capas de proyección de atención (q_proj, v_proj)
2. Solo la capa de embedding
3. Solo la capa de salida
4. Todas las capas por igual

Pregunta 8

¿Cuál es una tasa de aprendizaje típica para el fine-tuning de LLMs?

1. 1e-5 a 5e-5
2. 0.1
3. 0.01
4. 1e-2

Pregunta 9

¿Qué es el dataset Alpaca?

1. 52K ejemplos de seguimiento de instrucciones generados por GPT-4
2. Un dataset de imágenes
3. Un dataset de código
4. Un dataset de traducción

Pregunta 10

¿Por qué usar acumulación de gradientes?

1. Para simular tamaños de batch más grandes con memoria limitada
2. Para acelerar el entrenamiento
3. Para mejorar la precisión
4. Para reducir el sobreajuste

Preguntas 11-30

(Incluye: métodos de adapter, prompt tuning, prefix tuning, ventajas y desventajas de fine-tuning completo vs PEFT, calidad del dataset, métricas de evaluación, ajuste de hiperparámetros, fine-tuning multitarea, adaptación de dominio, aprendizaje continuo)

Pregunta 11

¿Para qué se utiliza lora_alpha?

1. Factor de escala para las actualizaciones de LoRA
2. Tasa de aprendizaje
3. Tasa de dropout
4. Weight decay

Pregunta 12

¿Qué VRAM se necesita típicamente para el fine-tuning completo de un modelo de 7B (FP16)?

1. ~56GB
2. 16GB
3. 8GB
4. 128GB

Pregunta 13

¿Qué es el prefix tuning?

1. Agregar tokens de prefijo entrenables a las entradas
2. Entrenar sobre prefijos de texto
3. Modificar el tokenizer
4. Preprocesar los datos

Pregunta 14

¿Qué hace que los datos de instrucciones sean de alta calidad?

1. Tareas diversas, respuestas precisas, formato consistente
2. Solo gran cantidad
3. Respuestas largas
4. Instrucciones simples

Pregunta 15

¿Cuál es el propósito de los pasos de warmup?

1. Aumentar gradualmente la tasa de aprendizaje para evitar inestabilidad en el entrenamiento
2. Cargar el modelo en memoria
3. Validar el dataset
4. Compilar el modelo

Pregunta 16

¿Cuándo se prefiere el fine-tuning completo sobre LoRA?

1. Cuando se necesita el máximo rendimiento y se dispone de recursos de cómputo
2. Siempre
3. Para experimentos rápidos
4. Cuando la memoria es limitada

Pregunta 17

¿Cuál es el beneficio de LoRA sobre el fine-tuning completo?

1. Requisitos de memoria mucho menores
2. Siempre mejor calidad
3. Inferencia más rápida
4. Código más simple

Pregunta 18

¿Qué es el adapter tuning?

1. Agregar pequeños módulos entrenables entre capas congeladas
2. Adaptar el formato de entrada
3. Convertir el formato del modelo
4. Adaptación de hardware

Pregunta 19

¿Cómo puede fusionar los pesos de LoRA en el modelo base?

1. model.merge_and_unload()
2. model.combine()
3. No es posible
4. Requiere reentrenamiento

Pregunta 20

¿Para qué es conocido el dataset Dolly?

1. Datos de instrucciones escritos por humanos (15K ejemplos)
2. El dataset más grande
3. Solo código
4. Datos sintéticos

Pregunta 21

¿Qué especifica target_modules en la configuración de LoRA?

1. A qué capas del modelo aplicar LoRA
2. Formato de salida
3. Objetivos de entrenamiento
4. Métricas de evaluación

Pregunta 22

¿Qué es el fine-tuning multitarea?

1. Entrenar en múltiples tareas simultáneamente
2. Ejecutar múltiples trabajos de entrenamiento
3. Usar múltiples GPUs
4. Entrenamiento secuencial de tareas

Pregunta 23

¿Cuál es el efecto de un mayor rango de LoRA (r)?

1. Más parámetros, potencialmente mejor calidad
2. Entrenamiento más rápido
3. Menos memoria
4. Modelo más simple

Pregunta 24

¿Por qué usar un dataset de evaluación durante el fine-tuning?

1. Monitorear el sobreajuste y la generalización
2. Aumentar los datos de entrenamiento
3. Acelerar el entrenamiento
4. Reducir la memoria

Pregunta 25

¿Qué es la colección FLAN?

1. Gran colección de datasets académicos de tareas para instruction tuning
2. Una arquitectura de modelo
3. Un tokenizer
4. Una librería de fine-tuning

Pregunta 26

¿Qué librería provee métodos PEFT?

1. peft (por Hugging Face)
2. solo pytorch
3. solo tensorflow
4. numpy

Pregunta 27

¿Qué es lora_dropout?

1. Dropout aplicado a las capas LoRA para regularización
2. Eliminar capas LoRA
3. Reducir el rango
4. Early stopping

Pregunta 28

¿Cuándo podría necesitar fine-tuning específico de dominio?

1. Dominios legales, médicos o técnicos con vocabulario especializado
2. Chatbot general
3. Q&A simple
4. Traducción

Pregunta 29

¿Qué es el aprendizaje continuo en LLMs?

1. Actualizar el modelo con nuevos datos sin olvidar el conocimiento anterior
2. Entrenamientos largos
3. Inferencia continua
4. Aprendizaje en tiempo real

Pregunta 30

¿Cuál es una buena estrategia para evitar el sobreajuste durante el fine-tuning?

1. Early stopping basado en la pérdida de validación
2. Entrenar más tiempo
3. Aumentar la tasa de aprendizaje
4. Eliminar el conjunto de validación

---

Puntaje de aprobación: 24/30 (80%)

← Capítulo 3Módulo 8 →