Chapitre 3 : Défis de sécurité et d'alignement
Jailbreaking
Tentatives de contourner les mesures de sécurité :
- Invites de jeu de rôle
- Encodage de requêtes nuisibles
- Attaques en plusieurs étapes
- Manipulation de jetons
Stratégies de défense
- Filtrage des entrées : Détecter les invites malveillantes
- Filtrage des sorties : Vérifier le contenu généré
- Entraînement robuste : Inclure des exemples adverses
- Contraintes constitutionnelles : Principes intégrés
La taxe d'alignement
Les mesures de sécurité peuvent réduire l'utilité :
| Approche | Utilité | Sécurité |
|---|---|---|
| Non aligné | Élevée | Faible |
| Sur-aligné | Faible | Élevée |
| Bien aligné | Élevée | Élevée |
Recherche en cours
- Interprétabilité : Comprendre le raisonnement du modèle
- Red teaming : Test systématique des vulnérabilités
- Supervision à l'échelle : Supervision humaine à mesure que les modèles grandissent
- Apprentissage des valeurs : Inférer les préférences humaines
Défis clés
- Spécification : Que voulons-nous que l'IA fasse ?
- Robustesse : Comportement sous changement de distribution
- Assurance : Vérification des propriétés du modèle
- Gouvernance : Qui décide des objectifs d'alignement ?