Quiz : Évaluation et Optimisation
30 questions sur l'évaluation RAG, RAGAS et le débogage.
Q1 : Quelles sont les deux principales zones d'évaluation RAG ?
Réponse : Qualité de la récupération et qualité de la génération.
Q2 : Que mesure la Précision@K ?
Réponse : Le pourcentage de documents récupérés (top K) qui sont pertinents.
Q3 : Que mesure le Rappel@K ?
Réponse : Le pourcentage de tous les documents pertinents qui ont été récupérés dans le top K.
Q4 : Qu'est-ce que le MRR ?
Réponse : Mean Reciprocal Rank - mesure à quel point le premier document pertinent apparaît haut.
Q5 : Que mesure la fidélité ?
Réponse : Si la réponse générée est ancrée dans (soutenue par) le contexte récupéré.
Q6 : Qu'est-ce que RAGAS ?
Réponse : Évaluation de la Génération Augmentée par Récupération - un cadre pour l'évaluation automatisée de RAG.
Q7 : Que mesure la context_precision dans RAGAS ?
Réponse : Si les documents récupérés sont pertinents pour la question.
Q8 : Que mesure le context_recall ?
Réponse : Si toutes les informations nécessaires pour répondre ont été récupérées.
Q9 : Quel est un bon score de fidélité ?
Réponse : Au-dessus de 0,9 est excellent ; en dessous de 0,7 indique des problèmes d'hallucination.
Q10 : Quelle est la principale cause de "mauvais documents récupérés" ?
Réponse : Mauvaise taille de segment, mauvais modèle d'intégration ou filtres de métadonnées manquants.
Q11 : À quoi sert LangSmith ?
Réponse : Traçage et débogage des applications LangChain - voir tous les appels et réponses.
Q12 : Comment savoir si le LLM ignore le contexte ?
Réponse : La réponse ne reflète pas les documents récupérés ou les contredit.
Q13 : Qu'est-ce qui cause des hallucinations dans RAG ?
Réponse : Mauvais documents récupérés, LLM extrapolant au-delà du contexte ou problèmes de prompt.
Q14 : Comment réduire les hallucinations ?
Réponse : Meilleure récupération, prompts d'ancrage explicites, température plus basse.
Q15 : Quelles données RAGAS nécessite-t-il ?
Réponse : Questions, réponses, contextes (documents récupérés) et réponses de vérité terrain.
Q16 : À quelle fréquence devez-vous évaluer les systèmes RAG ?
Réponse : En continu/hebdomadaire, surtout après des changements de données ou de pipeline.
Q17 : Première étape de débogage pour de mauvaises réponses ?
Réponse : Vérifiez quels documents sont récupérés.
Q18 : Comment déboguer les problèmes de prompt ?
Réponse : Imprimez le prompt complet envoyé au LLM.
Q19 : Qu'est-ce qui réduit la latence RAG ?
Réponse : Opérations asynchrones, mise en cache, modèles plus petits, limitation de la taille du contexte.
Q20 : Qu'est-ce qui réduit les coûts RAG ?
Réponse : Mise en cache, modèles d'intégration plus petits, traitement par lots, limitation du contexte.
Q21 : Qu'est-ce que la answer_relevancy dans RAGAS ?
Réponse : Mesure si la réponse répond réellement à la question posée.
Q22 : Si le context_recall est faible, quel est le problème ?
Réponse : La récupération manque de documents pertinents - besoin d'une meilleure récupération.
Q23 : Si la fidélité est faible, quel est le problème ?
Réponse : Le LLM invente des informations non présentes dans le contexte - hallucination.
Q24 : Comment vérifier si les embeddings fonctionnent ?
Réponse : Testez avec des documents similaires connus et vérifiez qu'ils sont proches dans l'espace vectoriel.
Q25 : Quel est le Rappel@K idéal ?
Réponse : Au-dessus de 0,9 - on veut capturer la plupart des documents pertinents.
Q26 : Pourquoi suivre les métriques dans le temps ?
Réponse : Détecter la dégradation à mesure que les données changent ou après les mises à jour du pipeline.
Q27 : Qu'est-ce que le test A/B dans RAG ?
Réponse : Comparer deux configurations RAG pour voir laquelle fonctionne mieux.
Q28 : Quel outil compte les tokens dans le contexte ?
Réponse : tiktoken pour les modèles OpenAI, ou des tokenizers spécifiques aux modèles.
Q29 : Quand utiliser l'évaluation automatique vs manuelle ?
Réponse : Automatique pour l'échelle/régression ; manuelle pour une évaluation qualitative nuancée.
Q30 : Qu'est-ce que la vérité terrain dans RAGAS ?
Réponse : La réponse attendue/correcte à laquelle les réponses générées sont comparées.
Résultats
| Score | Niveau |
|---|---|
| 27-30 | Excellent |
| 21-26 | Bon |
| 15-20 | Moyen |
| Moins de 15 | Nécessite une révision |