Quiz : Module 10 - Évaluation et Références

Question 1

Que mesure le MMLU ?

1. Connaissances dans 57 matières académiques
2. Génération de code
3. Traduction de langue
4. Reconnaissance d'image

Question 2

À quoi sert HumanEval ?

1. Évaluer la capacité de génération de code
2. Collecte de préférences humaines
3. Évaluer la qualité de l'écriture
4. Tester les chatbots

Question 3

Qu'est-ce que la métrique pass@k ?

1. Probabilité d'un code correct en k tentatives
2. Tentatives de mot de passe
3. Seuil de note de passage
4. Limite de taux API

Question 4

Qu'est-ce que le red teaming ?

1. Test d'adversité pour trouver des vulnérabilités
2. Exercice de renforcement d'équipe
3. Test codé par couleur
4. Évaluation de performance

Question 5

Qu'est-ce que la contamination des données dans les benchmarks ?

1. Modèle entraîné sur les données de test de référence
2. Données d'entraînement corrompues
3. Données d'évaluation bruyantes
4. Violation de la confidentialité des données

Question 6

Que teste HellaSwag ?

1. Raisonnement de bon sens via l'achèvement de phrases
2. Capacité mathématique
3. Génération de code
4. Qualité de traduction

Question 7

Pourquoi utiliser LLM comme juge ?

1. Évaluation évolutive sans étiqueteurs humains
2. Plus précis que les humains
3. Exigé par les réglementations
4. Entraînement plus rapide

Question 8

À quoi sert TruthfulQA ?

1. Tester l'exactitude factuelle et éviter les fausses déclarations
2. Tester la vitesse de réponse aux questions
3. Tester la capacité de codage
4. Tester la traduction

Question 9

Qu'est-ce que l'injection de prompt ?

1. Cacher des instructions malveillantes dans l'entrée
2. Injection SQL pour LLMs
3. Ajouter des prompts à l'entraînement
4. Technique d'ingénierie de prompt

Question 10

Qu'est-ce que la divulgation responsable ?

1. Rapporter des vulnérabilités en privé avant divulgation publique
2. Publier toutes les découvertes immédiatement
3. Ne jamais signaler de problèmes
4. Divulgation aux concurrents

Questions 11-30

(Couvrant : GSM8K, WinoGrande, ARC, suites de benchmarks, cadres d'évaluation, tests A/B, signification statistique, fiabilité inter-évaluateurs, calibration, perplexité, BLEU/ROUGE, études de préférences humaines, benchmarks de sécurité, évaluation multilingue, évaluation spécifique au domaine, optimisation des classements, coûts d'évaluation, stratégies d'échantillonnage, pipelines d'évaluation, évaluation continue)

Question 11

Que teste GSM8K ?

1. Problèmes de mathématiques de niveau scolaire
2. Grammaire
3. Orthographe
4. Mémorisation

Question 12

Qu'est-ce que la perplexité ?

1. Mesure de la capacité du modèle à prédire le texte (plus bas est mieux)
2. Confusion du modèle
3. Difficulté d'entraînement
4. Complexité du jeu de données

Question 13

À quoi sert BLEU ?

1. Évaluer la similarité de texte (souvent la traduction)
2. Détection de couleur
3. Mesure de vitesse
4. Test de sécurité

Question 14

Qu'est-ce que la fiabilité inter-évaluateurs ?

1. Accord entre évaluateurs humains
2. Cohérence du modèle
3. Fiabilité de l'API
4. Stabilité du benchmark

Question 15

Qu'est-ce que la calibration dans l'évaluation des LLM ?

1. Si la confiance correspond à l'exactitude réelle
2. Calibration matérielle
3. Initialisation des poids
4. Ajustement du taux d'apprentissage

Question 16

Pourquoi l'évaluation humaine est-elle la norme d'or ?

1. Capture les nuances que les métriques automatisées manquent
2. Option la moins chère
3. Méthode la plus rapide
4. La plus évolutive

Question 17

Qu'est-ce que la saturation des benchmarks ?

1. Modèles atteignant des scores quasi-parfaits, limitant la différenciation
2. Trop de benchmarks
3. Débordement de données
4. Limites de mémoire

Question 18

Qu'est-ce que WinoGrande ?

1. Benchmark de raisonnement de bon sens utilisant la résolution de pronoms
2. Jeu de données de classification de vin
3. Benchmark d'image
4. Benchmark audio

Question 19

Qu'est-ce qui rend l'évaluation coûteuse ?

1. Coûts de calcul et temps d'annotation humaine
2. Stockage de données uniquement
3. Licences de benchmark
4. Coûts logiciels

Question 20

Qu'est-ce que l'évaluation continue ?

1. Évaluation continue à mesure que le modèle est mis à jour
2. Surveillance 24/7
3. Boucles infinies
4. Évaluation en continu

Question 21

Qu'est-ce que le test A/B pour les LLM ?

1. Comparer deux versions avec de vrais utilisateurs
2. Tester par ordre alphabétique
3. Classification binaire
4. Reconnaissance de l'alphabet

Question 22

Qu'est-ce que la signification statistique dans l'évaluation ?

1. Confiance que la différence n'est pas due au hasard
2. Modélisation statistique
3. Niveau de signification
4. Calcul de la p-valeur

Question 23

Qu'est-ce qu'un pipeline d'évaluation ?

1. Système automatisé pour exécuter des évaluations
2. Pipeline de données
3. Pipeline d'entraînement
4. Pipeline de déploiement

Question 24

Qu'est-ce que l'optimisation des classements ?

1. Optimisation spécifiquement pour les scores de référence
2. Jouer à des jeux
3. IA de jeux compétitifs
4. Gamification

Question 25

À quoi sert ROUGE ?

1. Évaluer la qualité du résumé
2. Détection de couleur
3. Détection d'erreur
4. Test de vitesse

Question 26

Quel est le défi de l'évaluation multilingue ?

1. Différents benchmarks et normes de qualité selon les langues
2. Traduction uniquement
3. Encodage des caractères
4. Rendu des polices

Question 27

Qu'est-ce que l'évaluation spécifique au domaine ?

1. Tester sur des domaines spécialisés (médical, juridique, etc.)
2. Test de domaine web
3. Domaine réseau
4. Domaine mathématique

Question 28

Qu'est-ce qu'une stratégie d'échantillonnage dans l'évaluation ?

1. Comment sélectionner les exemples de test
2. Échantillonnage de température
3. Échantillonnage top-p
4. Collecte de données

Question 29

Qu'est-ce que le benchmark ARC ?

1. AI2 Reasoning Challenge - questions scientifiques
2. Jeu de données de soudage à l'arc
3. Benchmark d'architecture
4. Test arithmétique

Question 30

Quel est le défi de la collecte de données de préférence ?

1. Subjectivité et désaccord entre annotateurs
2. Taille de stockage
3. Compatibilité de format
4. Confidentialité uniquement

---

Note de passage : 24/30 (80%)

← Chapitre 3Module 11 →