Quiz : QLoRA et quantification
30 questions sur QLoRA, la quantification en 4 bits et l'entraînement économe en mémoire.
Question 1
Que combine QLoRA ?
A) Quantification et affinement complet
B) Quantification en 4 bits et LoRA
C) Entraînement en 8 bits et 16 bits
D) Modèles multiples
Afficher la réponse
Réponse correcte : B
QLoRA combine la quantification en 4 bits du modèle de base avec des adaptateurs LoRA pour un affinement efficace.
Question 2
Quel format de quantification QLoRA utilise-t-il par défaut ?
A) INT8
B) FP4
C) NF4 (4-bit NormalFloat)
D) Binaire
Afficher la réponse
Réponse correcte : C
QLoRA utilise NF4 (4-bit NormalFloat), conçu pour des poids normalement distribués.
Question 3
Combien de VRAM QLoRA nécessite-t-il pour un modèle 7B ?
A) ~28GB
B) ~14GB
C) ~6GB
D) ~1GB
Afficher la réponse
Réponse correcte : C
QLoRA nécessite environ 6GB de VRAM pour un modèle de 7 milliards de paramètres.
Question 4
Qu'est-ce que la double quantification ?
A) Exécuter la quantification deux fois
B) Quantifier les constantes de quantification
C) Utiliser deux GPU
D) Entraînement en double précision
Afficher la réponse
Réponse correcte : B
La double quantification quantifie les constantes de quantification elles-mêmes, économisant ainsi de la mémoire supplémentaire.
Question 5
Quelle bibliothèque fournit BitsAndBytesConfig ?
A) peft
B) transformers (utilisant bitsandbytes)
C) torch
D) accelerate
Afficher la réponse
Réponse correcte : B
BitsAndBytesConfig est fourni via transformers, qui utilise la bibliothèque bitsandbytes.
Questions 6-30
(Questions supplémentaires couvrant : prepare_model_for_kbit_training, point de contrôle de gradient, accumulation de gradient, optimiseurs paginés, NF4 vs FP4, calculs de mémoire, dtype de calcul, combinaisons d'optimisation, résolution des erreurs OOM, et détails pratiques de mise en œuvre)
Afficher toutes les réponses restantes
Q6-Q30 couvrent :
- Objectif de prepare_model_for_kbit_training (B : prépare le modèle quantifié pour l'entraînement)
- Compromis du point de contrôle de gradient (B : calcul pour mémoire)
- Calcul de la taille de lot effective (C : batch_size × accumulation_steps)
- Dtype de calcul recommandé (C : bfloat16)
- Économies de la double quantification (B : ~11%)
- Objectif de l'optimiseur paginé (B : pagine vers le CPU sous pression mémoire)
- Qualité de QLoRA vs FT complet (B : ~98%)
- Avantage de NF4 (B : optimal pour des poids normalement distribués)
- Réduction de mémoire de QLoRA vs LoRA (C : ~60%)
- Quand utiliser QLoRA (B : mémoire GPU limitée)
Résultats
| Score | Niveau |
|---|---|
| 27-30 | Excellent |
| 21-26 | Bon |
| 15-20 | Moyen |
| Moins de 15 | Révision nécessaire |