Aller au contenu principal

Chapitre 3 : Red Teaming et Tests

Qu'est-ce que le Red Teaming ?​

Tests adverses pour trouver des vulnérabilités avant le déploiement.

Catégories d'attaques​

  1. Injection de prompt : Instructions cachées
  2. Jailbreaking : Contournement de la sécurité
  3. Extraction de données : Fuite de données d'entraînement
  4. Induction d'hallucinations : Forcer de fausses affirmations

Processus de Red Team​

1. Définir la portée et les objectifs
2. Assembler une équipe diversifiée
3. Réfléchir aux vecteurs d'attaque
4. Exécuter les attaques
5. Documenter les résultats
6. Prioriser les correctifs
7. Vérifier les atténuations

Red Teaming automatisé​

def automated_red_team(model, attack_templates):
    vulnerabilities = []
    for template in attack_templates:
        for variation in generate_variations(template):
            response = model.generate(variation)
            if is_unsafe(response):
                vulnerabilities.append({
                    "attack": variation,
                    "response": response,
                    "severity": assess_severity(response)
                })
    return vulnerabilities

Divulgation responsable​

  • Documenter les vulnérabilités en privé
  • Signaler aux fournisseurs de modèles
  • Permettre le temps pour les correctifs
  • Coordonner la divulgation publique