Quiz: Evaluación y Combinación
30 preguntas sobre evaluación de modelos, combinación y ablación.
Pregunta 1
¿Qué mide la perplejidad?
A) Velocidad del modelo
B) Qué tan bien un modelo predice texto
C) Tamaño del modelo
D) Tiempo de entrenamiento
Mostrar respuesta
Respuesta correcta: B
La perplejidad mide qué tan bien un modelo de probabilidad predice una muestra—cuanto menor, mejor.
Pregunta 2
¿Qué es la combinación TIES?
A) Un método de entrenamiento
B) Una técnica de combinación para resolución de conflictos
C) Un esquema de tokenización
D) Un optimizador
Mostrar respuesta
Respuesta correcta: B
TIES (Trim, Elect Sign & Merge) resuelve conflictos entre parámetros del modelo durante la combinación.
Pregunta 3
¿Qué hace model.merge_and_unload()?
A) Guarda el modelo
B) Combina LoRA en el modelo base y elimina el adaptador
C) Carga un nuevo modelo
D) Descarga de la GPU
Mostrar respuesta
Respuesta correcta: B
merge_and_unload() integra los pesos de LoRA en el modelo base, eliminando la sobrecarga del adaptador.
Pregunta 4
¿Qué es un estudio de ablación?
A) Eliminar el modelo
B) Probar sistemáticamente componentes para entender su contribución
C) Un tipo de función de pérdida
D) Compresión de modelos
Mostrar respuesta
Respuesta correcta: B
Los estudios de ablación varían sistemáticamente los componentes para entender qué contribuye al rendimiento.
Pregunta 5
¿Qué herramienta se utiliza para la evaluación integral de LLM?
A) PyTorch
B) lm-evaluation-harness
C) TensorFlow
D) NumPy
Mostrar respuesta
Respuesta correcta: B
lm-evaluation-harness de EleutherAI proporciona una evaluación comparativa integral para LLMs.
(Las preguntas 6-30 cubren temas adicionales)