Examen final : Modèles de langage de grande taille complet

Cet examen complet couvre les 12 modules. Vous avez besoin de 40/50 (80%) pour réussir.

Estimation du temps : 60-90 minutes

---

Section A : Fondations (Questions 1-15)

Question 1

Qu'est-ce qui distingue un modèle de langage de grande taille des modèles antérieurs ?

1. Des milliards de paramètres et des capacités émergentes grâce à l'échelle
2. Langage de programmation différent
3. Apprentissage en temps réel
4. Taille plus petite

Question 2

Quelle architecture utilisent les LLM modernes ?

1. RNN
2. LSTM
3. Transformer
4. CNN

Question 3

Quelle est la formule de l'attention ?

1. softmax(QK^T / √d_k) × V
2. Q + K + V
3. Q × K × V
4. softmax(Q) × softmax(K)

Question 4

Pourquoi l'échelle par √d_k dans l'attention ?

1. Empêcher les produits scalaires importants de pousser softmax à des extrêmes
2. Accélérer le calcul
3. Réduire la mémoire
4. Améliorer la précision

Question 5

Que permet l'attention multi-tête ?

1. Assister à différents sous-espaces de représentation en parallèle
2. Entraînement plus rapide
3. Modèle plus petit
4. Moins de mémoire

Question 6

Pourquoi les Transformers ont-ils besoin d'un encodage positionnel ?

1. L'auto-attention est invariante par permutation sans info de position
2. Réduire le calcul
3. Améliorer la précision
4. Permettre l'entraînement

Question 7

À quoi sert l'attention causale ?

1. Empêcher l'attention aux positions futures dans les modèles autoregressifs
2. Trouver des causes
3. Compréhension bidirectionnelle
4. Accélérer l'inférence

Question 8

Quel est l'objectif de pré-entraînement de GPT ?

1. Prédiction du prochain token
2. Modélisation de langage masqué
3. Classification de phrases
4. Traduction

Question 9

Quel est le ratio optimal tokens-par-paramètre de Chinchilla ?

1. ~20 tokens par paramètre
2. 1 token par paramètre
3. 100 tokens par paramètre
4. 0.1 tokens par paramètre

Question 10

Qu'est-ce que ZeRO-3 ?

1. Partitionner les états de l'optimiseur, les gradients ET les paramètres
2. Taux d'apprentissage zéro
3. Gradient zéro
4. Trois GPU

Question 11

Quelle entreprise a développé Claude ?

1. OpenAI
2. Anthropic
3. Google
4. Meta

Question 12

Qu'est-ce que l'IA Constitutionnelle ?

1. Entraînement avec des principes au lieu d'un étiquetage cas par cas
2. Réglementations gouvernementales
3. IA juridique
4. Ensemble de données de droit constitutionnel

Question 13

Qu'est-ce que la tokenisation BPE ?

1. Fusion itérative des paires de caractères fréquentes
2. Encodage de traitement de bytes
3. Division en paragraphes
4. Traitement binaire

Question 14

Qu'est-ce que RoPE ?

1. Rotary Position Embedding - encodage de position via rotation
2. Encodage de position aléatoire
3. Opération récursive
4. Taux de traitement

Question 15

Que détermine la dimension d'intégration ?

1. Taille du vecteur représentant chaque token
2. Nombre de tokens
3. Taille du vocabulaire
4. Longueur de la séquence

---

Section B : Entraînement et optimisation (Questions 16-25)

Question 16

Qu'est-ce que le cache KV ?

1. Stocker les paires clé-valeur calculées pour éviter le recalcul
2. Base de données clé-valeur
3. Cache pour clés uniquement
4. Cache d'entraînement

Question 17

Quelle réduction de mémoire fournit INT4 ?

1. ~87.5% (à 12.5% de FP32)
2. 50%
3. 25%
4. 75%

Question 18

Quelle est l'innovation clé de vLLM ?

1. PagedAttention pour une gestion efficace de la mémoire
2. Meilleure tokenisation
3. Entraînement amélioré
4. Nouvelle architecture

Question 19

Que rajoute LoRA aux poids existants ?

1. Matrices de faible rang (W + BA)
2. Nouveaux poids complets
3. Termes de biais uniquement
4. Couches de normalisation

Question 20

Qu'est-ce que QLoRA ?

1. LoRA avec modèle de base quantifié
2. Poids LoRA quantifiés
3. Quick LoRA
4. Quality LoRA

Question 21

Qu'est-ce que RLHF ?

1. Apprentissage par renforcement à partir de retours humains
2. Apprentissage aléatoire des retours humains
3. Apprentissage récursif
4. Apprentissage en temps réel

Question 22

Que prédit le modèle de récompense ?

1. Quelle réponse les humains préféreraient
2. Probabilités des tokens
3. Perte d'entraînement
4. Précision du modèle

Question 23

Qu'est-ce que DPO ?

1. Optimisation de Préférence Directe - alternative à RLHF
2. Optimisation du Traitement des Données
3. Optimisation de la Politique de Distribution
4. Optimisation Dynamique des Paramètres

Question 24

Qu'est-ce que l'oubli catastrophique ?

1. Le modèle perd ses connaissances pré-entraînées lors de l'affinage
2. Débordement de mémoire
3. Oublier les points de contrôle
4. Perte de données

Question 25

Pourquoi utiliser l'accumulation de gradient ?

1. Simuler des tailles de lot plus grandes avec une mémoire limitée
2. Accélérer l'entraînement
3. Améliorer la précision
4. Réduire le surapprentissage

---

Section C : API et applications (Questions 26-35)

Question 26

Que produit temperature=0 ?

1. Sortie la plus déterministe/prévisible
2. Sortie la plus aléatoire
3. Aucune sortie
4. Erreur

Question 27

Qu'est-ce que l'appel de fonction ?

1. LLM demandant l'exécution d'un outil externe
2. Appel de fonctions Python
3. Débogage d'API
4. Exécution de code

Question 28

Qu'est-ce que RAG ?

1. Génération Augmentée par Récupération
2. Génération de Réponses Aléatoires
3. Regroupement d'API Récursif
4. Évaluation de la Précision des Réponses

Question 29

Que mesure MMLU ?

1. Connaissances à travers 57 matières académiques
2. Génération de code
3. Qualité de la traduction
4. Compréhension d'image

Question 30

Qu'est-ce que le red teaming ?

1. Tests adverses pour trouver des vulnérabilités
2. Renforcement d'équipe
3. Tests de performance
4. Tests codés par couleur

Question 31

Qu'est-ce que HumanEval ?

1. Benchmark de génération de code
2. Collecte de préférences humaines
3. Test de qualité d'écriture
4. Test de chatbot

Question 32

Qu'est-ce que la contamination des données ?

1. Entraînement sur des données de test de benchmark
2. Données corrompues
3. Violation de la vie privée
4. Bruit dans les données

Question 33

Qu'est-ce que le jailbreak ?

1. Contourner les mesures de sécurité par des prompts astucieux
2. S'échapper des prisons
3. Déverrouiller les poids du modèle
4. Supprimer les limites

Question 34

Comment gérer les limites de taux ?

1. Recul exponentiel avec nouvelles tentatives
2. Ignorer et continuer
3. Changer la clé API
4. Redémarrer l'application

Question 35

À quoi sert le streaming ?

1. Afficher immédiatement des résultats partiels aux utilisateurs
2. Réduire les coûts
3. Améliorer la précision
4. Économiser de la mémoire

---

Section D : Sujets avancés (Questions 36-50)

Question 36

Qu'est-ce que MoE ?

1. Mélange d'Experts - architecture éparse avec routeur
2. Encodage de Sortie Multiple
3. Modèle de Tout
4. Méthode d'Extraction

Question 37

Dans Mixtral, combien d'experts sont actifs par token ?

1. 2 sur 8
2. Tous les 8
3. 1
4. 4

Question 38

Qu'est-ce que GPT-4V ?

1. GPT-4 avec capacités de vision
2. Version GPT-4
3. Modèle vidéo
4. Modèle vocal

Question 39

Qu'est-ce que ReAct ?

1. Modèle de Raisonnement + Action pour agents
2. Framework React.js
3. Test de réaction
4. Actions en temps réel

Question 40

Qu'est-ce qu'un agent LLM ?

1. LLM capable de planifier, utiliser des outils et prendre des actions
2. Bot de service client
3. Wrapper d'API
4. Assistant d'entraînement

Question 41

Qu'est-ce que Mamba ?

1. Modèle d'Espace d'État Sélectif avec complexité linéaire
2. Nouvelle variante de Transformer
3. Cadre d'entraînement
4. Ensemble de données

Question 42

Quelle complexité a l'attention standard ?

1. O(n²) en longueur de séquence
2. O(n)
3. O(log n)
4. O(1)

Question 43

Qu'est-ce que l'AGI ?

1. Intelligence Artificielle Générale
2. Intelligence Générée Avancée
3. Intelligence Globale Automatisée
4. Intelligence Artificielle de Gradient

Question 44

Avec quoi les LLM actuels ont-ils du mal ?

1. Précision factuelle fiable et raisonnement complexe
2. Génération de texte
3. Suivre des instructions
4. Tâches de base

Question 45

Qu'est-ce que le décodage spéculatif ?

1. Petit modèle rédige, grand modèle vérifie
2. Décodage aléatoire
3. Décodage parallèle
4. Exécution spéculative

Question 46

Qu'est-ce que le batching continu ?

1. Ajouter/retirer dynamiquement des requêtes du lot
2. Taille de lot fixe
3. Entraînement continu
4. Normalisation de lot

Question 47

Qu'est-ce que la taxe d'alignement ?

1. Réduction potentielle de l'utilité due aux mesures de sécurité
2. Taxe gouvernementale
3. Coût de calcul
4. Tarification API

Question 48

Qu'est-ce que la perplexité ?

1. Exponentielle de la perte moyenne d'entropie croisée (plus bas est mieux)
2. Confusion du modèle
3. Mesure de complexité
4. Métrique d'entraînement

Question 49

À quoi sert la similarité cosinus ?

1. Mesurer la similarité sémantique entre embeddings
2. Calcul d'angle
3. Perte d'entraînement
4. Poids d'attention

Question 50

Quel est l'avenir probable des architectures LLM ?

1. Hybride combinant attention et couches linéaires
2. Retour pur aux RNN
3. Aucun changement
4. Abandonner les réseaux neuronaux

---

Examen terminé ! 🎓

Note de passage : 40/50 (80%)

Félicitations pour avoir complété le cours sur les Modèles de Langage de Grande Taille !

← GlossaireRessources →