Módulo 8: RLHF y Alineamiento
Haciendo que los LLM sean útiles, inofensivos y honestos.
Objetivos de aprendizaje
- ✅ Comprender el pipeline de RLHF y los modelos de recompensa
- ✅ Aprender el enfoque de Constitutional AI
- ✅ Abordar los desafíos de seguridad y alineamiento
Capítulos
- RLHF: Pipeline, modelos de recompensa, entrenamiento PPO
- Constitutional AI: Entrenamiento basado en principios
- Seguridad y alineamiento: Jailbreaking, ataques adversarios, investigación en curso