Quiz : Ajustement fin complet
Testez vos connaissances sur l'ajustement fin complet, les exigences computationnelles et l'oubli catastrophique.
30 questions - Cliquez sur chaque question pour révéler la réponse correcte.
Question 1
Que signifie "ajustement fin complet" ?
A) Entraîner uniquement la première couche
B) Mettre à jour tous les paramètres du modèle pendant l'entraînement
C) Entraîner pendant une journée complète
D) Utiliser tous les GPU disponibles
Afficher la réponse
Réponse correcte : B
L'ajustement fin complet signifie mettre à jour tous les paramètres entraînables du modèle pendant le processus d'entraînement, contrairement aux méthodes PEFT qui ne mettent à jour qu'un sous-ensemble.
Question 2
Quels sont les quatre principaux composants consommant de la mémoire GPU pendant l'entraînement ?
A) CPU, RAM, SSD, GPU
B) Poids du modèle, gradients, états de l'optimiseur, activations
C) Entrée, sortie, perte, précision
D) Avancer, reculer, mettre à jour, sauvegarder
Afficher la réponse
Réponse correcte : B
Les quatre principaux consommateurs de mémoire sont : les poids du modèle, les gradients (même taille que les poids), les états de l'optimiseur (AdamW stocke 2 états par paramètre), et les activations (valeurs intermédiaires pour la rétropropagation).
Question 3
Quelle quantité de mémoire l'optimiseur AdamW ajoute-t-il par paramètre (en float32) ?
A) 4 octets
B) 8 octets (2 états × 4 octets)
C) 2 octets
D) 16 octets
Afficher la réponse
Réponse correcte : B
AdamW stocke deux états par paramètre (momentum et variance), chacun en float32 (4 octets), totalisant 8 octets par paramètre.
Question 4
Quelle est la mémoire GPU approximative nécessaire pour l'ajustement fin complet d'un modèle 7B avec bf16 ?
A) 7 Go
B) 14 Go
C) 60-80 Go
D) 280 Go
Afficher la réponse
Réponse correcte : C
Un modèle 7B nécessite environ 60-80 Go pour l'ajustement fin complet avec bf16, y compris les poids (14 Go), les gradients (14 Go), les états de l'optimiseur (56 Go en fp32), et les activations.
Question 5
Pourquoi le bfloat16 est-il souvent préféré au float16 pour l'entraînement ?
A) C'est plus rapide
B) Il utilise moins de mémoire
C) Il a la même plage que le float32, réduisant le risque de débordement
D) Il est requis par tous les GPU
Afficher la réponse
Réponse correcte : C
BFloat16 maintient la même plage d'exposant que float32 (juste avec moins de précision), le rendant plus stable pour l'entraînement. Float16 a une plage plus étroite et peut causer des débordements/sous-flux.
Question 6
Que fait le gradient checkpointing ?
A) Sauvegarde des points de contrôle du modèle
B) Échange le calcul pour la mémoire en recomputant les activations
C) Coupe les grands gradients
D) Accumule les gradients sur les lots
Afficher la réponse
Réponse correcte : B
Le gradient checkpointing économise de la mémoire en ne stockant pas toutes les activations pendant le passage avant. Au lieu de cela, il les recompute pendant le passage arrière, échangeant un calcul supplémentaire pour une mémoire réduite.
Question 7
À quoi sert l'accumulation de gradients ?
A) Prévenir l'explosion des gradients
B) Simuler des tailles de lots plus grandes avec une mémoire limitée
C) Stocker les gradients pour une analyse ultérieure
D) Réduire le temps d'entraînement
Afficher la réponse
Réponse correcte : B
L'accumulation de gradients vous permet de simuler des tailles de lots effectives plus grandes en accumulant les gradients sur plusieurs passages avant de petits lots avant de mettre à jour les poids.
Question 8
Quelle est la plage typique de taux d'apprentissage pour l'ajustement fin complet ?
A) 1e-2 à 1e-3
B) 1e-5 à 5e-5
C) 1e-7 à 1e-8
D) 1.0
Afficher la réponse
Réponse correcte : B
L'ajustement fin complet utilise généralement des taux d'apprentissage dans la plage de 1e-5 à 5e-5—plus bas que les méthodes PEFT car plus de paramètres sont mis à jour.
Question 9
Qu'est-ce que l'oubli catastrophique ?
A) Lorsque les données d'entraînement sont perdues
B) Lorsqu'un modèle perd des connaissances précédemment acquises après un entraînement sur de nouvelles données
C) Lorsque le modèle devient trop grand
D) Lorsque les gradients explosent
Afficher la réponse
Réponse correcte : B
L'oubli catastrophique se produit lorsque la performance d'un réseau neuronal sur des tâches précédemment apprises se dégrade après avoir été entraîné sur de nouvelles données.
Question 10
Pourquoi les méthodes PEFT aident-elles à prévenir l'oubli catastrophique ?
A) Elles utilisent plus de données
B) Elles gardent les poids du modèle de base gelés
C) Elles entraînent pendant plus d'époques
D) Elles utilisent des taux d'apprentissage plus élevés
Afficher la réponse
Réponse correcte : B
Les méthodes PEFT gardent les poids du modèle de base gelés, donc les connaissances originales sont préservées. Seuls de petits paramètres d'adaptateur sont entraînés.
Question 11
Qu'est-ce que la décroissance des poids ?
A) Les poids du modèle diminuent avec le temps
B) Une technique de régularisation qui pénalise les grands poids
C) Dégradation de la mémoire GPU
D) Réduction du taux d'apprentissage
Afficher la réponse
Réponse correcte : B
La décroissance des poids est une technique de régularisation qui ajoute une pénalité pour les grandes valeurs de poids, aidant à prévenir le surapprentissage et à maintenir la généralisation.
Question 12
Qu'est-ce que le warmup dans l'entraînement ?
A) Attendre que le GPU atteigne la température optimale
B) Augmenter progressivement le taux d'apprentissage au début de l'entraînement
C) Pré-charger les données en mémoire
D) Exécuter d'abord un petit lot de test
Afficher la réponse
Réponse correcte : B
Le warmup augmente progressivement le taux d'apprentissage d'une petite valeur à la valeur cible, aidant à stabiliser l'entraînement dans les premières étapes lorsque les gradients peuvent être instables.
Question 13
Qu'est-ce que DeepSpeed ZeRO Stage 2 ?
A) Pas d'optimisation
B) Partitionner uniquement les états de l'optimiseur
C) Partitionner les états de l'optimiseur ET les gradients
D) Tout partitionner y compris les poids
Afficher la réponse
Réponse correcte : C
ZeRO Stage 2 partitionne à la fois les états de l'optimiseur et les gradients entre les GPU, réduisant la mémoire par GPU. La Stage 3 ajoute la partition des poids.
Question 14
Quel optimiseur utilise le moins de mémoire ?
A) AdamW
B) Adam 8-bit
C) Adafactor
D) SGD
Afficher la réponse
Réponse correcte : D
SGD utilise le moins de mémoire car il ne stocke pas d'états de momentum ou de variance (bien que Adam 8-bit et Adafactor réduisent également considérablement la mémoire par rapport à AdamW).
Question 15
Qu'est-ce que l'entraînement en précision mixte ?
A) Entraîner sur plusieurs GPU
B) Utiliser à la fois fp16/bf16 et fp32 pendant l'entraînement
C) Entraîner sur plusieurs ensembles de données
D) Utiliser différents taux d'apprentissage
Afficher la réponse
Réponse correcte : B
L'entraînement en précision mixte utilise une précision inférieure (fp16/bf16) pour la plupart des opérations tout en gardant les opérations critiques en fp32 pour la stabilité.
Question 16
Que montre torch.cuda.memory_allocated() ?
A) Mémoire GPU totale
B) Mémoire GPU actuellement allouée par les tenseurs
C) Mémoire GPU libre
D) Utilisation de la mémoire CPU
Afficher la réponse
Réponse correcte : B
torch.cuda.memory_allocated() retourne la quantité de mémoire GPU actuellement occupée par les tenseurs.
Question 17
Quelle est une bonne stratégie pour réduire l'oubli catastrophique dans l'ajustement fin complet ?
A) Taux d'apprentissage plus élevé
B) Plus d'époques d'entraînement
C) Mélange de données avec des données d'instruction générales
D) Tailles de lots plus grandes
Afficher la réponse
Réponse correcte : C
Mélanger vos données d'ajustement fin spécifiques avec des données d'instruction générales (rejeu de données) aide à maintenir les capacités générales du modèle.
Question 18
Quelle est la taille de lot effective avec batch_size=2 et gradient_accumulation_steps=8 ?
A) 2
B) 8
C) 16
D) 10
Afficher la réponse
Réponse correcte : C
Taille de lot effective = per_device_batch_size × gradient_accumulation_steps = 2 × 8 = 16.
Question 19
Lors de la surveillance de l'entraînement, qu'est-ce qui pourrait indiquer un surapprentissage ?
A) La perte d'entraînement et la perte de validation diminuent toutes deux
B) La perte d'entraînement diminue tandis que la perte de validation augmente
C) Les deux pertes sont stables
D) La perte d'entraînement augmente
Afficher la réponse
Réponse correcte : B
Lorsque la perte d'entraînement continue de diminuer mais que la perte de validation commence à augmenter, cela indique que le modèle est en train de surapprendre aux données d'entraînement.
Question 20
Qu'est-ce que l'arrêt précoce ?
A) Arrêter l'entraînement avant qu'il ne commence
B) Arrêter l'entraînement lorsque la performance de validation cesse de s'améliorer
C) Arrêter après une époque
D) Arrêter lorsque le GPU surchauffe
Afficher la réponse
Réponse correcte : B
L'arrêt précoce surveille la performance de validation et arrête l'entraînement lorsqu'elle cesse de s'améliorer, prévenant le surapprentissage.
Question 21
Environ combien les instances spot peuvent-elles économiser sur les coûts d'entraînement infonuagique ?
A) 10%
B) 30%
C) 60-70%
D) 90%
Afficher la réponse
Réponse correcte : C
Les instances spot coûtent généralement 60-70% moins cher que les instances à la demande, bien qu'elles puissent être interrompues.
Question 22
Que se passe-t-il si le taux d'apprentissage est trop élevé ?
A) L'entraînement est trop lent
B) Le modèle peut diverger ou perdre les connaissances pré-entraînées
C) Le modèle converge plus rapidement
D) Aucun effet
Afficher la réponse
Réponse correcte : B
Un taux d'apprentissage trop élevé peut faire diverger le modèle (la perte explose) ou faire des mises à jour si importantes que les connaissances pré-entraînées sont détruites.
Question 23
Quel est l'avantage de sauvegarder des points de contrôle pendant l'entraînement ?
A) Réduit l'utilisation de la mémoire
B) Permet la récupération et la sélection du meilleur modèle
C) Accélère l'entraînement
D) Réduit la taille de l'ensemble de données
Afficher la réponse
Réponse correcte : B
Sauvegarder des points de contrôle vous permet de récupérer après des plantages, de sélectionner le point de contrôle le plus performant, et de continuer l'entraînement à partir de n'importe quel point.
Question 24
Quel format de précision utilise 2 octets par paramètre ?
A) float32
B) bfloat16/float16
C) int8
D) int4
Afficher la réponse
Réponse correcte : B
Les deux bfloat16 et float16 utilisent 2 octets (16 bits) par paramètre, soit la moitié des 4 octets de float32.
Question 25
Qu'est-ce que la rétention de capacité dans le contexte de l'évaluation de l'ajustement fin ?
A) Combien le modèle se souvient pendant une session
B) Le pourcentage de performance de référence de base maintenu après l'ajustement fin
C) Combien de paramètres sont retenus
D) Mémorisation des données d'entraînement
Afficher la réponse
Réponse correcte : B
La rétention de capacité mesure quel pourcentage de la performance du modèle de base sur des benchmarks généraux est maintenu après l'ajustement fin.
Question 26
Pourquoi pourriez-vous choisir l'ajustement fin complet plutôt que PEFT ?
A) C'est toujours mieux
B) Potentiel de personnalisation maximal et plafond de qualité
C) Il utilise moins de mémoire
D) C'est plus rapide à entraîner
Afficher la réponse
Réponse correcte : B
L'ajustement fin complet est choisi lorsque vous avez besoin d'un potentiel de personnalisation maximal et que vous disposez de ressources suffisantes, car il a le plafond de qualité le plus élevé.
Question 27
Quelle est la formule pour le temps d'entraînement approximatif ?
A) Taille de l'ensemble de données × mémoire GPU
B) (Taille de l'ensemble de données × Époques) / (Taille de lot × Débit)
C) Taux d'apprentissage × Époques
D) Taille du modèle / Nombre de GPU
Afficher la réponse
Réponse correcte : B
Temps d'entraînement ≈ (Total des tokens ou échantillons d'entraînement × Époques) / (Taille de lot effective × Débit en tokens/échantillons par seconde).
Question 28
Qu'est-ce que le décalage de distribution dans l'ajustement fin ?
A) Passer à un nouveau GPU
B) Lorsque les données d'ajustement fin ont des motifs différents des données de pré-entraînement
C) Changer l'optimiseur
D) Ajuster la taille de lot
Afficher la réponse
Réponse correcte : B
Le décalage de distribution se réfère à la différence entre la distribution des données de pré-entraînement (large, générale) et la distribution des données d'ajustement fin (spécialisée, étroite).
Question 29
Quel GPU vous faudrait-il pour l'ajustement fin complet d'un modèle 7B avec des optimisations d'efficacité ?
A) RTX 3090 (24GB)
B) A100-40GB
C) A100-80GB
D) H100
Afficher la réponse
Réponse correcte : C
Même avec des optimisations (bf16, gradient checkpointing), un modèle 7B nécessite 60-80GB pour l'ajustement fin complet, faisant de l'A100-80GB le GPU minimum adapté.
Question 30
Quel est le principal compromis du gradient checkpointing ?
A) Qualité vs vitesse
B) Mémoire vs calcul (plus de calcul, moins de mémoire)
C) Vitesse vs qualité
D) Taille de l'ensemble de données vs époques
Afficher la réponse
Réponse correcte : B
Le gradient checkpointing échange le calcul pour la mémoire—il utilise plus de calcul (recalcul des activations) pour réduire l'utilisation de la mémoire.
Résultats
| Score | Niveau |
|---|---|
| 27-30 | Excellent - Forte compréhension de l'ajustement fin complet ! |
| 21-26 | Bon - Revoir la section sur les exigences computationnelles |
| 15-20 | Moyen - Revoir tous les chapitres |
| Moins de 15 | Nécessite une révision complète |