Quiz: Introducción al Fine-Tuning
Ponga a prueba sus conocimientos sobre conceptos de fine-tuning, toma de decisiones y el panorama del fine-tuning.
30 preguntas - Haga clic en cada pregunta para revelar la respuesta correcta.
Pregunta 1
¿Qué es el fine-tuning en el contexto de los LLM?
A) Entrenar un modelo desde cero con nuevos datos
B) Continuar el entrenamiento de un modelo preentrenado con datos específicos
C) Reducir el tamaño del modelo
D) Convertir el modelo a un formato diferente
Mostrar respuesta
Respuesta correcta: B
El fine-tuning continúa el entrenamiento de un modelo preentrenado con datos específicos para adaptarlo a tareas o dominios particulares, aprovechando el conocimiento ya aprendido durante el preentrenamiento.
Pregunta 2
¿Qué es el aprendizaje por transferencia (transfer learning)?
A) Mover un modelo entre diferentes GPUs
B) Traducir texto entre idiomas
C) Usar el conocimiento del preentrenamiento para mejorar el rendimiento en nuevas tareas
D) Transferir datos entre conjuntos de datos
Mostrar respuesta
Respuesta correcta: C
El aprendizaje por transferencia es el concepto de utilizar el conocimiento adquirido durante el preentrenamiento en grandes conjuntos de datos para mejorar el rendimiento en tareas específicas mediante fine-tuning.
Pregunta 3
¿Cuál escenario es MÁS adecuado para RAG en lugar de fine-tuning?
A) Enseñar a un modelo un estilo de escritura específico
B) Hacer que un modelo genere siempre JSON de forma consistente
C) Proporcionar acceso a información de productos que se actualiza frecuentemente
D) Darle a un modelo una personalidad específica
Mostrar respuesta
Respuesta correcta: C
RAG es ideal cuando el conocimiento necesita actualizarse frecuentemente porque simplemente se puede actualizar la base de datos de recuperación sin reentrenar el modelo. El fine-tuning es mejor para estilo, formato y personalidad.
Pregunta 4
¿Qué significa PEFT?
A) Fine-Tuning Eficiente en Parámetros (Parameter-Efficient Fine-Tuning)
B) Entrenamiento de Características Eficientes Preentrenadas
C) Fine-Tuning de Ejecución Paralela
D) Entrenamiento Completo de Precisión Mejorada
Mostrar respuesta
Respuesta correcta: A
PEFT significa Fine-Tuning Eficiente en Parámetros, una familia de métodos que entrenan solo un pequeño subconjunto de los parámetros del modelo mientras mantienen la mayoría congelados.
Pregunta 5
¿Qué es el olvido catastrófico (catastrophic forgetting)?
A) Cuando se pierden los datos de entrenamiento
B) Cuando un modelo se vuelve demasiado grande para ejecutarse
C) Cuando un modelo pierde conocimientos previamente aprendidos después de entrenar con nuevos datos
D) Cuando la tasa de aprendizaje es demasiado alta
Mostrar respuesta
Respuesta correcta: C
El olvido catastrófico ocurre cuando el rendimiento de un modelo en tareas previamente aprendidas se degrada después de ser entrenado con nuevos datos.
Pregunta 6
¿Aproximadamente qué porcentaje de parámetros entrena LoRA típicamente?
A) 50%
B) 25%
C) Menos del 1%
D) 10%
Mostrar respuesta
Respuesta correcta: C
LoRA típicamente entrena menos del 1% de los parámetros originales del modelo (a menudo 0.1-0.5%) mientras mantiene un rendimiento comparable al fine-tuning completo.
Pregunta 7
¿Cuál es la principal ventaja de QLoRA sobre LoRA?
A) Resultados de mejor calidad
B) Requisitos de memoria significativamente menores mediante cuantización
C) Mayor velocidad de entrenamiento
D) Funciona con más arquitecturas de modelos
Mostrar respuesta
Respuesta correcta: B
QLoRA combina cuantización de 4 bits con LoRA, reduciendo drásticamente los requisitos de memoria (por ejemplo, de 14GB a 6GB para un modelo de 7B).
Pregunta 8
¿Cuánta VRAM se necesita aproximadamente para aplicar QLoRA a un modelo de 7B parámetros?
A) 2GB
B) 6GB
C) 16GB
D) 28GB
Mostrar respuesta
Respuesta correcta: B
QLoRA requiere aproximadamente 6GB de VRAM para un modelo de 7B parámetros, lo que lo hace viable en GPUs de consumo y en instancias gratuitas de Colab.
Pregunta 9
¿Qué biblioteca proporciona BitsAndBytesConfig para cuantización?
A) transformers
B) peft
C) bitsandbytes
D) accelerate
Mostrar respuesta
Respuesta correcta: C
La biblioteca bitsandbytes proporciona la funcionalidad de cuantización, aunque se configura a través de la clase BitsAndBytesConfig de transformers.
Pregunta 10
¿Qué es DPO?
A) Optimización Directa de Parámetros
B) Orquestación de Preentrenamiento Profundo
C) Optimización Directa de Preferencias (Direct Preference Optimization)
D) Operación de Procesamiento Distribuido
Mostrar respuesta
Respuesta correcta: C
DPO (Optimización Directa de Preferencias) es un método de alineamiento que optimiza directamente el modelo usando pares de preferencias sin necesidad de un modelo de recompensa separado.
Pregunta 11
¿Cuándo debería preferir el prompt engineering sobre el fine-tuning?
A) Cuando necesita la máxima calidad
B) Cuando necesita iteración rápida y personalización sencilla
C) Cuando tiene recursos de cómputo ilimitados
D) Cuando la tarea es muy compleja
Mostrar respuesta
Respuesta correcta: B
El prompt engineering es ideal para iteración rápida, personalización sencilla y cuando tiene un presupuesto limitado. No requiere infraestructura de entrenamiento.
Pregunta 12
¿Cuál es el rango típico de tasa de aprendizaje para el fine-tuning con LoRA?
A) 1e-2 a 1e-3
B) 1e-4 a 1e-5
C) 1e-6 a 1e-7
D) 1.0
Mostrar respuesta
Respuesta correcta: B
El fine-tuning con LoRA típicamente utiliza tasas de aprendizaje en el rango de 1e-4 a 1e-5, que es mayor que el fine-tuning completo porque solo se actualiza un pequeño número de parámetros.
Pregunta 13
¿Cuál de los siguientes NO es un buen caso de uso para el fine-tuning?
A) Enseñar un estilo de escritura específico
B) Proporcionar precios de acciones en tiempo real
C) Aprender terminología de un dominio
D) Formateo de salida consistente
Mostrar respuesta
Respuesta correcta: B
La información en tiempo real o que cambia frecuentemente se maneja mejor con RAG o APIs externas. El fine-tuning no puede proporcionar datos en tiempo real.
Pregunta 14
¿Para qué se utiliza el formato Alpaca?
A) Generación de imágenes
B) Estructurar datos de entrenamiento para seguir instrucciones
C) Cuantización de modelos
D) Tokenización
Mostrar respuesta
Respuesta correcta: B
El formato Alpaca estructura los datos de entrenamiento con campos de instrucción, entrada y salida para entrenar modelos que siguen instrucciones.
Pregunta 15
¿Cuál es la diferencia entre el formato ShareGPT y Alpaca?
A) ShareGPT es para imágenes
B) ShareGPT soporta conversaciones de varios turnos
C) Alpaca es solo para código
D) Son iguales
Mostrar respuesta
Respuesta correcta: B
El formato ShareGPT soporta conversaciones de varios turnos con mensajes basados en roles, mientras que Alpaca está diseñado para pares de instrucción-respuesta de un solo turno.
Pregunta 16
¿Qué implica el "preentrenamiento" para un LLM?
A) Fine-tuning con datos de usuario
B) Entrenamiento con grandes cantidades de texto para aprender patrones de lenguaje
C) Cuantizar el modelo
D) Desplegar en producción
Mostrar respuesta
Respuesta correcta: B
El preentrenamiento implica entrenar con billones de tokens de fuentes diversas para aprender comprensión general del lenguaje, hechos y capacidades.
Pregunta 17
¿Qué es un "adapter" en el contexto de PEFT?
A) Un componente de hardware
B) Un pequeño módulo entrenable añadido a un modelo congelado
C) Un tipo de optimizador
D) Un formato de datos
Mostrar respuesta
Respuesta correcta: B
Un adapter es un pequeño módulo de red neuronal añadido a un modelo preentrenado que contiene parámetros entrenables mientras que el modelo base permanece congelado.
Pregunta 18
¿Qué enfoque suele tener el menor costo por consulta a gran escala?
A) Prompt engineering con prompts largos
B) RAG con una base de conocimientos grande
C) Fine-tuning (prompts más cortos, comportamiento incorporado)
D) Todos cuestan lo mismo
Mostrar respuesta
Respuesta correcta: C
El fine-tuning da como resultado prompts más cortos y comportamientos incorporados, reduciendo el costo por token por consulta a gran escala, a pesar de los mayores costos iniciales de entrenamiento.
Pregunta 19
¿Qué es RLHF?
A) Aprendizaje Rápido para Alta Frecuencia
B) Aprendizaje por Refuerzo a partir de Retroalimentación Humana (Reinforcement Learning from Human Feedback)
C) Alta Fidelidad de Lenguaje Regular
D) Aprendizaje por Recuperación para Funciones Híbridas
Mostrar respuesta
Respuesta correcta: B
RLHF (Aprendizaje por Refuerzo a partir de Retroalimentación Humana) utiliza preferencias humanas para entrenar un modelo de recompensa y luego usa RL para optimizar el modelo de lenguaje.
Pregunta 20
¿En qué se diferencia DPO de RLHF?
A) DPO no requiere ningún dato
B) DPO no necesita un modelo de recompensa separado
C) DPO es solo para modelos de imagen
D) RLHF es más simple
Mostrar respuesta
Respuesta correcta: B
DPO optimiza directamente el modelo usando pares de preferencias sin entrenar un modelo de recompensa separado, simplificando el pipeline de RLHF.
Pregunta 21
¿Cuánta memoria de GPU se necesita típicamente para el fine-tuning completo de un modelo de 7B?
A) 6GB
B) 14GB
C) 28GB+
D) 4GB
Mostrar respuesta
Respuesta correcta: C
El fine-tuning completo de un modelo de 7B típicamente requiere 28GB+ de VRAM debido al almacenamiento de pesos del modelo, gradientes y estados del optimizador.
Pregunta 22
¿Cuál es el propósito del parámetro de rango (r) de LoRA?
A) Establecer la tasa de aprendizaje
B) Determinar la capacidad de la adaptación de bajo rango
C) Especificar el tamaño del batch
D) Controlar el dropout
Mostrar respuesta
Respuesta correcta: B
El rango (r) determina la dimensionalidad de las matrices de bajo rango y, por lo tanto, la capacidad del adapter. Rangos más altos permiten adaptaciones más complejas.
Pregunta 23
¿Qué biblioteca proporciona SFTTrainer para fine-tuning supervisado?
A) transformers
B) peft
C) trl
D) datasets
Mostrar respuesta
Respuesta correcta: C
La biblioteca TRL (Transformer Reinforcement Learning) proporciona SFTTrainer para fine-tuning supervisado junto con entrenadores para DPO y RLHF.
Pregunta 24
¿Qué es un enfoque híbrido en la personalización de LLM?
A) Usar tanto CPU como GPU
B) Combinar fine-tuning con RAG
C) Entrenar en varios idiomas
D) Usar múltiples optimizadores
Mostrar respuesta
Respuesta correcta: B
Un enfoque híbrido combina métodos como fine-tuning para estilo/comportamiento con RAG para conocimiento dinámico, obteniendo los beneficios de ambos.
Pregunta 25
¿Cuál es el principal beneficio de usar Unsloth para fine-tuning?
A) Mejor calidad de modelo
B) Entrenamiento 2x más rápido con menos memoria
C) Soporte para modelos más grandes
D) Mejor tokenización
Mostrar respuesta
Respuesta correcta: B
Unsloth proporciona una velocidad de entrenamiento 2x más rápida y menor uso de memoria mediante optimizaciones, lo que lo hace ideal para iteración rápida.
Pregunta 26
¿Cuándo usaría el fine-tuning completo en lugar de métodos PEFT?
A) Cuando tiene cómputo limitado
B) Cuando la máxima personalización y calidad son críticas
C) Cuando desea entrenamiento más rápido
D) Cuando la memoria está restringida
Mostrar respuesta
Respuesta correcta: B
El fine-tuning completo se elige cuando se necesita el máximo potencial de personalización y se dispone de suficientes recursos de cómputo para aplicaciones críticas.
Pregunta 27
¿Qué es el instruction tuning?
A) Entrenamiento en código
B) Entrenamiento en pares instrucción-respuesta para seguir instrucciones
C) Optimizar la velocidad del modelo
D) Reducir el tamaño del modelo
Mostrar respuesta
Respuesta correcta: B
El instruction tuning entrena modelos en pares instrucción-respuesta para enseñarles a seguir instrucciones del usuario, formando la base de los modelos tipo chat.
Pregunta 28
¿Qué formato de cuantización utiliza principalmente QLoRA?
A) INT8
B) Float16
C) NF4 (NormalFloat de 4 bits)
D) BFloat16
Mostrar respuesta
Respuesta correcta: C
QLoRA utiliza cuantización NF4 (NormalFloat de 4 bits), diseñada para tener igual cantidad de valores en cada bin de cuantización para pesos distribuidos normalmente.
Pregunta 29
¿Cuál es el mejor primer paso al abordar un nuevo proyecto de fine-tuning?
A) Comenzar inmediatamente el fine-tuning completo
B) Probar primero el prompt engineering para establecer una línea base
C) Desplegar el modelo base en producción
D) Recolectar millones de ejemplos de entrenamiento
Mostrar respuesta
Respuesta correcta: B
Comenzar con prompt engineering establece una línea base y ayuda a determinar si el fine-tuning es realmente necesario. Muchas tareas pueden resolverse con buenos prompts.
Pregunta 30
¿Cuál es el número típico de ejemplos de alta calidad necesarios para un fine-tuning efectivo?
A) 10 ejemplos
B) 100-500 ejemplos
C) Siempre más de 1 millón de ejemplos
D) Solo 1 ejemplo
Mostrar respuesta
Respuesta correcta: B
100-500 ejemplos de alta calidad y diversos suelen ser suficientes para muchas tareas de fine-tuning. La calidad importa más que la cantidad.
Resultados
| Puntaje | Nivel |
|---|---|
| 27-30 | Excelente - ¡Fuerte base para el fine-tuning! |
| 21-26 | Bueno - Revise las áreas débiles |
| 15-20 | Promedio - Revise los capítulos |
| Menos de 15 | Requiere revisión integral |