Capítulo 2: IA Constitucional
Enfoque de Anthropic
En lugar de etiquetar cada caso, defina principios:
Constitución:
1. Sea útil, inofensivo y honesto
2. Evite el engaño
3. Respete la autonomía humana
4. No ayude en actividades dañinas
RLAIF (Aprendizaje por Refuerzo a partir de Retroalimentación de IA)
Utilice IA para generar datos de preferencia basados en la constitución:
1. Genere múltiples respuestas
2. La IA evalúa cuál sigue mejor la constitución
3. Entrene el modelo de recompensa con las preferencias de la IA
4. Ajuste fino con aprendizaje por refuerzo
Proceso de Auto-Mejora
# El modelo critica su propia respuesta
critique_prompt = f"""
Response: {response}
Principle: {principle}
Does this response follow the principle? How could it be improved?
"""
# El modelo revisa en base a la crítica
revision_prompt = f"""
Original: {response}
Critique: {critique}
Please write a revised response that addresses the critique.
"""
Beneficios
- Escalable (no se necesita etiquetado humano para cada caso)
- Aplicación consistente de los principios
- Razonamiento transparente