Chapitre 3 : Test et Évaluation

Mesures de Qualité

Metric	Ce qu'il Mesure	Comment Évaluer
Précision	Exactitude factuelle	Vérification manuelle
Pertinence	Réponses sur le sujet	Évaluation avec grille
Complétude	Toutes les exigences sont remplies	Liste de contrôle
Cohérence	Même qualité à travers les exécutions	Tests multiples
Conformité au format	Correspond aux exigences	Correspondance de modèle

Création de Cas de Test

Suite de Test : Prompt de Support Client

Cas de Test 1 : Demande simple
Entrée : "Quels sont vos horaires d'ouverture ?"
Attendu : Réponse directe avec les heures

Cas de Test 2 : Plainte
Entrée : "Votre produit s'est cassé après une semaine !"
Attendu : Réponse empathique + options de solution

Cas de Test 3 : Cas limite - problèmes multiples
Entrée : "Mauvais article envoyé ET il était endommagé ET en retard"
Attendu : Traiter les trois problèmes de manière systématique

Évaluation Automatisée

Pour l'échelle, automatisez ce que vous pouvez :

Vérifications Automatisées :
- [ ] Longueur de la réponse dans les limites
- [ ] Contient les sections requises
- [ ] Pas de mots interdits
- [ ] Validité JSON/format
- [ ] Sentiment correspond aux attentes

Revue Manuelle :
- Qualité du raisonnement
- Pertinence du ton
- Précision des affirmations spécifiques

Grilles de Notation

Qualité du Contenu (1-5) :
5 - Exceptionnel, dépasse les exigences
4 - Bon, répond à toutes les exigences
3 - Acceptable, répond à la plupart des exigences
2 - Médiocre, lacunes importantes
1 - Inacceptable, ne répond pas à la tâche

Conformité au Format (Réussite/Échec) :
- Structure correcte
- Dans les limites de longueur
- Éléments requis présents

Évaluation Humaine

Pour une qualité nuancée, utilisez des évaluateurs humains :

Directives pour l'Évaluateur :
1. Lire le prompt original
2. Examiner la sortie de l'IA
3. Noter sur : Précision, Pertinence, Ton, Complétude
4. Noter les problèmes spécifiques
5. Suggérer des améliorations

Points Clés

Résumé

1. Définir les mesures avant de tester
2. Créer des cas de test diversifiés incluant des cas limites
3. Automatiser les vérifications de format/structure
4. Utiliser des grilles pour la cohérence
5. Revue humaine pour une qualité nuancée

---

← Précédent : Raffinement Itératif | Faites le Quiz →