Quiz: Técnicas Avanzadas
30 preguntas sobre ajuste por instrucciones, DPO y ORPO.
Pregunta 1
¿Qué es el ajuste por instrucciones?
A) Ajustar la arquitectura del modelo
B) Entrenamiento con pares de instrucción-respuesta
C) Optimización de hiperparámetros
D) Reducción del tamaño del modelo
Mostrar respuesta
Respuesta correcta: B
El ajuste por instrucciones entrena modelos con pares de instrucción-respuesta para seguir las instrucciones del usuario.
Pregunta 2
¿Qué significa DPO?
A) Optimización Directa de Parámetros
B) Optimización Directa de Preferencias
C) Optimización de Política Dual
D) Optimización de Procesamiento de Datos
Mostrar respuesta
Respuesta correcta: B
DPO es Optimización Directa de Preferencias, una alternativa más simple a RLHF.
Pregunta 3
¿Qué tipo de datos requiere DPO?
A) Respuestas individuales
B) Pares de preferencias (elegido/rechazado)
C) Etiquetas binarias
D) Texto sin etiquetar
Mostrar respuesta
Respuesta correcta: B
DPO requiere pares de preferencias con respuestas elegidas (preferidas) y rechazadas.
Pregunta 4
¿Cuál es la principal innovación de ORPO?
A) Entrenamiento más rápido
B) Combina SFT y optimización de preferencias en una sola etapa
C) No requiere datos
D) Solo funciona con modelos pequeños
Mostrar respuesta
Respuesta correcta: B
ORPO combina el ajuste supervisado y la optimización de preferencias en una sola etapa de entrenamiento.
Pregunta 5
¿Qué controla el parámetro beta en DPO?
A) Tasa de aprendizaje
B) Tamaño de lote
C) Intensidad de la penalización por divergencia KL
D) Tamaño del modelo
Mostrar respuesta
Respuesta correcta: C
Beta controla la penalización por divergencia KL, equilibrando la optimización de preferencias y la cercanía al modelo de referencia.
(Las preguntas 6-30 cubren temas adicionales)