Quiz: Módulo 8 - RLHF y Alineamiento

Pregunta 1

¿Qué significa RLHF?

1. Reinforcement Learning from Human Feedback
2. Recursive Learning from Human Features
3. Refined Language from Human Feedback
4. Reinforced Learning for Human Functions

Pregunta 2

¿Cuál es el primer paso en el pipeline de RLHF?

1. Pre-train base model
2. Train reward model
3. PPO training
4. Collect human preferences

Pregunta 3

¿Qué aprende un modelo de recompensa?

1. Predecir qué respuesta preferirían los humanos
2. Generar mejor texto
3. Clasificar temas
4. Traducir idiomas

Pregunta 4

¿Qué es PPO en RLHF?

1. Proximal Policy Optimization - el algoritmo de RL utilizado
2. Pre-trained Policy Optimization
3. Parallel Processing Objective
4. Preference Prediction Optimization

Pregunta 5

¿Por qué se utiliza la restricción de divergencia KL en RLHF?

1. Evitar que el modelo se desvíe demasiado de su comportamiento original
2. Acelerar el entrenamiento
3. Reducir el uso de memoria
4. Mejorar la precisión

Pregunta 6

¿Qué es la IA Constitucional?

1. Entrenar IA utilizando un conjunto de principios en lugar de etiquetado caso por caso
2. Regulaciones gubernamentales para IA
3. Aplicaciones legales de IA
4. Investigación en derecho constitucional por IA

Pregunta 7

¿Qué es RLAIF?

1. RL from AI Feedback - usar IA para generar datos de preferencias
2. Reinforced Learning with AI Functions
3. Recursive Learning AI Framework
4. Real-time Learning AI Interface

Pregunta 8

¿Qué es jailbreaking en el contexto de los LLM?

1. Intentar eludir las medidas de seguridad mediante prompts ingeniosos
2. Escapar de un juego de prisión virtual
3. Desbloquear los pesos del modelo
4. Eliminar límites de velocidad

Pregunta 9

¿Qué es el "impuesto de alineamiento"?

1. Reducción potencial en utilidad debido a medidas de seguridad
2. Costo de la investigación en alineamiento
3. Impuesto gubernamental sobre IA
4. Costo computacional de entrenamiento

Pregunta 10

¿Qué es red teaming?

1. Pruebas sistemáticas para encontrar vulnerabilidades
2. Un tipo de arquitectura de modelo
3. Método de entrenamiento
4. Clasificación de errores por colores

Preguntas 11-30

(Incluye: SFT vs RLHF, recolección de datos de preferencias, reward hacking, DPO, alineamiento de valores, interpretabilidad, robustez, alineamiento multi-actor, gobernanza de IA, técnicas emergentes de alineamiento)

Pregunta 11

¿Qué es SFT en el pipeline de RLHF?

1. Supervised Fine-Tuning en datos de demostración
2. Sequential Feature Training
3. Safe Feedback Training
4. Synthetic Feedback Testing

Pregunta 12

¿Qué es reward hacking?

1. El modelo encuentra formas de maximizar la recompensa sin cumplir los objetivos previstos
2. Atacar el modelo de recompensa
3. Aumentar las recompensas de entrenamiento
4. Técnicas de hacking generadas por IA

Pregunta 13

¿Qué es DPO (Direct Preference Optimization)?

1. Alternativa a RLHF que optimiza directamente sobre datos de preferencias
2. Direct Policy Optimization
3. Data Processing Optimization
4. Distribution Parameter Optimization

Pregunta 14

¿Por qué es importante la interpretabilidad para el alineamiento?

1. Para entender por qué los modelos toman ciertas decisiones
2. Para hacer el código legible
3. Para acelerar la inferencia
4. Para reducir el tamaño del modelo

Pregunta 15

¿Cuáles son los criterios HHH?

1. Helpful, Harmless, Honest
2. High, Heavy, Hard
3. Hybrid, Hierarchical, Holistic
4. Human, Hybrid, Helpful

Pregunta 16

¿Qué es el modelo de referencia en RLHF?

1. Modelo SFT original usado como base para la penalización KL
2. El modelo con mejor desempeño
3. Referencia humana
4. Modelo de documentación

Pregunta 17

¿Qué hace desafiante la recolección de datos de preferencias?

1. Subjetividad, costo y posibles sesgos
2. Dificultad técnica
3. Formato de datos
4. Requisitos de almacenamiento

Pregunta 18

¿Qué es la robustez en el contexto de alineamiento?

1. Mantener la seguridad ante diversas entradas y cambios de distribución
2. Durabilidad del modelo
3. Estabilidad del código
4. Fiabilidad del hardware

Pregunta 19

¿Qué es el aprendizaje de valores?

1. Inferir preferencias y valores humanos a partir del comportamiento
2. Aprender valores numéricos
3. Aprender valores de mercado
4. Conversión de divisas

Pregunta 20

¿Qué es la supervisión escalable?

1. Mantener la supervisión humana a medida que crecen las capacidades de la IA
2. Monitorear el tamaño del modelo
3. Ampliar equipos humanos
4. Ver métricas de escala

Pregunta 21

¿Qué hizo diferente a ChatGPT de GPT-3?

1. Entrenamiento de alineamiento con RLHF
2. Mayor tamaño
3. Arquitectura diferente
4. Más datos de entrenamiento

Pregunta 22

¿Cuál es el objetivo del filtrado de salidas?

1. Verificar el contenido generado para detectar salidas dañinas
2. Comprimir salidas
3. Formatear respuestas
4. Acelerar la generación

Pregunta 23

¿Por qué entrenar con ejemplos adversariales?

1. Para hacer el modelo robusto ante intentos de ataque
2. Aumentar el tamaño del modelo
3. Acelerar el entrenamiento
4. Reducir costos computacionales

Pregunta 24

¿Qué es la especificación en alineamiento?

1. Definir con precisión lo que queremos que haga la IA
2. Requisitos de hardware
3. Documentación de API
4. Arquitectura del modelo

Pregunta 25

¿Qué es la garantía en alineamiento?

1. Verificar que el modelo tenga las propiedades deseadas
2. Seguro para IA
3. Garantía de rendimiento
4. Soporte al cliente

Pregunta 26

¿Qué es un ciclo de crítica y revisión en IA Constitucional?

1. El modelo critica y revisa sus propias salidas
2. Proceso de revisión humana
3. Revisión de código
4. Iteración de entrenamiento

Pregunta 27

¿Qué problema resuelve RLHF que SFT no resuelve?

1. Aprender preferencias relativas entre salidas
2. Generar texto
3. Tokenización
4. Eficiencia de memoria

Pregunta 28

¿Qué es la gobernanza de IA en alineamiento?

1. Decidir quién determina los objetivos de alineamiento y los estándares de seguridad
2. IA gestionándose a sí misma
3. IA gubernamental
4. Administración de IA

Pregunta 29

¿Qué es la penalización del modelo de referencia en PPO?

1. β × D_KL(π_θ || π_ref) para evitar desviaciones
2. Pérdida de entrenamiento
3. Costo de memoria
4. Costo computacional

Pregunta 30

¿Qué distingue a un modelo bien alineado?

1. Alta utilidad Y alta seguridad
2. Solo máxima seguridad
3. Solo máxima utilidad
4. Mayor tamaño

---

Puntaje de aprobación: 24/30 (80%)

← Capítulo 3Módulo 9 →