Quiz : Module 3 - Entraînement des LLM

Testez votre compréhension de l'entraînement des LLM. 30 questions couvrant le pré-entraînement, le traitement des données et l'entraînement distribué.

---

Question 1

Quel est l'objectif de pré-entraînement pour les modèles de type GPT ?

1. Prédiction du prochain token (modélisation de langage causale)
2. Modélisation de langage masqué
3. Classification de phrases
4. Traduction

Question 2

Dans la modélisation de langage masqué, quel pourcentage de tokens est généralement masqué ?

1. 5%
2. 15%
3. 50%
4. 80%

Question 3

Quel est l'avantage principal de la modélisation de langage causale par rapport à la modélisation de langage masqué pour les LLM ?

1. Entraînement plus rapide
2. Adaptation naturelle à la génération de texte
3. Meilleure compréhension
4. Moins de données requises

Question 4

Pourquoi la déduplication est-elle importante dans les données d'entraînement ?

1. Pour réduire les coûts de stockage
2. Pour prévenir la mémorisation et améliorer la généralisation
3. Pour accélérer la tokenisation
4. Pour améliorer la grammaire

Question 5

Qu'est-ce que Common Crawl ?

1. Un navigateur web
2. Un grand ensemble de données de pages web couramment utilisé pour l'entraînement des LLM
3. Un moteur de recherche
4. Un filtre de qualité

Question 6

Qu'est-ce que le parallélisme de données ?

1. Chaque GPU traite des données différentes avec le même modèle
2. Chaque GPU a des couches de modèle différentes
3. Chaque GPU traite les mêmes données
4. Division des matrices de poids entre les GPU

Question 7

Quelle est la limitation du parallélisme de données pur ?

1. Entraînement lent
2. Le modèle doit tenir dans la mémoire d'un seul GPU
3. Mauvaise précision
4. Nécessite un matériel spécial

Question 8

Dans le parallélisme de tenseur, qu'est-ce qui est divisé entre les GPU ?

1. Données d'entraînement
2. Couches de modèle différentes
3. Matrices de poids individuelles au sein des couches
4. Seulement les têtes d'attention

Question 9

Que signifie ZeRO ?

1. Zero Redundancy Optimizer
2. Zero Error Regularization Objective
3. Zoned Efficient Resource Optimization
4. Zero Entropy Reduction Operation

Question 10

Que partitionne ZeRO-3 ?

1. Seulement les états de l'optimiseur
2. États de l'optimiseur et gradients
3. États de l'optimiseur, gradients et paramètres
4. Seulement les données d'entraînement

Question 11

Quelle est la recommandation de mise à l'échelle de Chinchilla pour les tokens d'entraînement ?

1. 1 token par paramètre
2. 10 tokens par paramètre
3. ~20 tokens par paramètre
4. 100 tokens par paramètre

Question 12

Quelle précision est couramment utilisée pour l'entraînement des LLM afin d'économiser de la mémoire ?

1. FP64
2. FP32
3. BF16 (bfloat16)
4. INT8

Question 13

Qu'est-ce que le parallélisme de pipeline ?

1. Traitement des données par lots
2. Placement de différentes couches sur différents GPU
3. Tokenisation parallèle
4. Chargement concurrent des données

Question 14

Quel cadre a popularisé ZeRO ?

1. PyTorch
2. TensorFlow
3. DeepSpeed
4. JAX

Question 15

Pourquoi le filtrage de qualité est-il important pour les données d'entraînement ?

1. Pour réduire le temps d'entraînement
2. Pour améliorer la qualité du modèle en supprimant les textes de faible qualité
3. Pour réduire les coûts de stockage
4. Pour simplifier la tokenisation

Question 16

Combien de tokens d'entraînement LLaMA 2 a-t-il utilisé ?

1. 300 milliards
2. 1 billion
3. 2 billions
4. 10 billions

Question 17

Que fait le gradient checkpointing ?

1. Sauvegarde les gradients sur disque
2. Échange du calcul contre de la mémoire en recalculant les activations
3. Vérifie les gradients pour les valeurs NaN
4. Compresse les gradients

Question 18

Quel est le principal défi du parallélisme de pipeline ?

1. Utilisation de la mémoire
2. Bulles de pipeline (temps d'inactivité)
3. Surcharge de communication
4. Instabilité numérique

Question 19

Quel est le rôle de la montée en température du taux d'apprentissage ?

1. Pour refroidir les GPU
2. Pour prévenir l'instabilité de l'entraînement au début
3. Pour augmenter le taux d'apprentissage
4. Pour réduire le surapprentissage

Question 20

Quel optimiseur est couramment utilisé pour l'entraînement des LLM ?

1. SGD
2. AdamW
3. RMSprop
4. Adagrad

Question 21

Que signifie "longueur de contexte" pendant l'entraînement ?

1. La durée de l'exécution de l'entraînement
2. La longueur maximale de séquence que le modèle peut traiter
3. La taille du vocabulaire
4. La dimension de l'embedding

Question 22

Qu'est-ce que la perplexité dans le contexte de l'évaluation des LLM ?

1. Une mesure de la taille du modèle
2. Exponentielle de la perte d'entropie croisée moyenne
3. Le nombre d'étapes d'entraînement
4. Une métrique de complexité pour le code

Question 23

Quelle est la taille de lot typique pour l'entraînement des LLM ?

1. 32 échantillons
2. 256 échantillons
3. Des millions de tokens (en utilisant l'accumulation de gradients)
4. 1 échantillon à la fois

Question 24

Qu'est-ce que le pic de perte pendant l'entraînement ?

1. Comportement normal
2. Augmentation soudaine de la perte indiquant une instabilité de l'entraînement
3. Un problème de chargement des données
4. Un signe de convergence

Question 25

Quel est le but de l'entraînement du tokenizer ?

1. Apprendre un vocabulaire efficace pour le corpus d'entraînement
2. Entraîner la couche d'embedding
3. Filtrer les données d'entraînement
4. Valider les sorties du modèle

Question 26

Quel est un plan de taux d'apprentissage commun pour l'entraînement des LLM ?

1. Taux d'apprentissage constant
2. Augmentation linéaire
3. Montée en température suivie d'une décroissance cosinusoïdale
4. Augmentation exponentielle

Question 27

Quel est le but de la décroissance des poids pendant l'entraînement ?

1. Pour accélérer l'entraînement
2. Pour régulariser et prévenir le surapprentissage
3. Pour réduire l'utilisation de la mémoire
4. Pour augmenter la capacité du modèle

Question 28

Qu'est-ce que FSDP ?

1. Fully Sharded Data Parallel - implémentation native de ZeRO par PyTorch
2. Fast Synchronized Data Processing
3. Flexible Storage Data Partitioning
4. Full Scale Distributed Processing

Question 29

Quel est l'avantage d'utiliser l'apprentissage par curriculum pour les LLM ?

1. S'entraîner sur des données de complexité croissante peut améliorer l'apprentissage
2. Il réduit le temps d'entraînement
3. Il élimine le besoin de filtrage des données
4. Il augmente la taille du modèle

Question 30

Quelle est la durée typique pour entraîner un grand LLM (100B+ paramètres) ?

1. Heures
2. Jours
3. Semaines à mois
4. Années

---

Quiz terminé !

Score de passage : 24/30 (80%)

← Chapitre 3 : Entraînement distribué

Module 4 : Grandes familles de LLM →