Chapitre 2 : IA constitutionnelle
Approche d'Anthropic
Au lieu de labelliser chaque cas, définir des principes :
Constitution :
1. Être utile, inoffensif et honnête
2. Éviter la tromperie
3. Respecter l'autonomie humaine
4. Ne pas aider à des activités nuisibles
RLAIF (RL à partir des retours de l'IA)
Utiliser l'IA pour générer des données de préférence basées sur la constitution :
1. Générer plusieurs réponses
2. L'IA évalue laquelle suit mieux la constitution
3. Entraîner le modèle de récompense sur les préférences de l'IA
4. Affiner avec RL
Processus d'auto-amélioration
# Le modèle critique sa propre réponse
critique_prompt = f"""
Response: {response}
Principle: {principle}
Cette réponse suit-elle le principe ? Comment pourrait-elle être améliorée ?
"""
# Le modèle révise en fonction de la critique
revision_prompt = f"""
Original: {response}
Critique: {critique}
Veuillez écrire une réponse révisée qui tient compte de la critique.
"""
Avantages
- Évolutif (pas besoin de labellisation humaine pour chaque cas)
- Application cohérente des principes
- Raisonnement transparent