Quiz : Ajustement Fin Efficace en Paramètres
Testez vos connaissances sur les méthodes PEFT, leurs compromis et quand utiliser chacune.
30 questions - Cliquez sur chaque question pour révéler la réponse correcte.
Question 1
Que signifie PEFT ?
A) Ajustement Fin Efficace en Parallèle
B) Ajustement Fin Efficace en Paramètres
C) Entraînement Efficace des Caractéristiques Pré-entraînées
D) Ajustement Fin d'Embedding Partiel
Afficher la réponse
Réponse correcte : B
PEFT signifie Ajustement Fin Efficace en Paramètres, une famille de méthodes qui entraînent seulement un petit sous-ensemble des paramètres du modèle.
Question 2
Quel pourcentage de paramètres PEFT entraîne-t-il généralement ?
A) 50%
B) 25%
C) Moins de 1%
D) 10%
Afficher la réponse
Réponse correcte : C
Les méthodes PEFT entraînent généralement moins de 1% du total des paramètres du modèle (souvent de 0,01% à 0,5%).
Question 3
Pourquoi PEFT n'entraîne-t-il pas un oubli catastrophique ?
A) Il utilise plus de données
B) Les poids du modèle de base restent gelés
C) Il s'entraîne pendant moins d'époques
D) Il utilise une fonction de perte spéciale
Afficher la réponse
Réponse correcte : B
PEFT garde les poids du modèle de base gelés, donc les connaissances pré-entraînées originales sont préservées. Seuls les petits paramètres de l'adaptateur sont modifiés.
Question 4
Qu'est-ce que LoRA ?
A) Une architecture de modèle
B) Adaptation de Basse-Rangée, ajoutant des matrices entraînables aux poids gelés
C) Un type d'optimiseur
D) Un format de jeu de données
Afficher la réponse
Réponse correcte : B
LoRA (Adaptation de Basse-Rangée) ajoute des matrices de décomposition de basse-rangée entraînables (B et A) aux côtés des matrices de poids gelées.
Question 5
Dans LoRA, que contrôle le paramètre de rang (r) ?
A) Vitesse d'entraînement
B) La capacité et le nombre de paramètres entraînables
C) Taux d'apprentissage
D) Taille de lot
Afficher la réponse
Réponse correcte : B
Le rang (r) détermine la dimensionnalité des matrices de basse-rangée, contrôlant la capacité de l'adaptateur et le nombre de paramètres entraînables.
Question 6
Quelle est la principale différence entre LoRA et QLoRA ?
A) QLoRA utilise une fonction de perte différente
B) QLoRA combine une quantification en 4 bits avec LoRA
C) QLoRA entraîne plus de paramètres
D) QLoRA est uniquement pour les modèles d'image
Afficher la réponse
Réponse correcte : B
QLoRA (LoRA Quantifié) charge le modèle de base en précision de 4 bits et ajoute des adaptateurs LoRA par-dessus, réduisant considérablement les besoins en mémoire.
Question 7
Combien de mémoire QLoRA économise-t-il par rapport à LoRA pour un modèle 7B ?
A) 10%
B) 30%
C) ~60% (de ~14GB à ~6GB)
D) 90%
Afficher la réponse
Réponse correcte : C
QLoRA réduit la mémoire d'environ 14GB à 6GB pour un modèle 7B, économisant environ 60% par rapport à LoRA.
Question 8
Quel format de quantification QLoRA utilise-t-il ?
A) INT8
B) NF4 (4-bit NormalFloat)
C) Float16
D) Binaire
Afficher la réponse
Réponse correcte : B
QLoRA utilise la quantification NF4 (4-bit NormalFloat), conçue pour avoir un nombre égal de valeurs dans chaque bin de quantification pour les poids normalement distribués.
Question 9
Qu'est-ce que le Prefix Tuning ?
A) Entraîner uniquement la première couche
B) Ajouter des tokens virtuels entraînables comme préfixes à l'attention
C) Optimiser les prompts d'entrée
D) Une méthode de tokenisation
Afficher la réponse
Réponse correcte : B
Le Prefix Tuning ajoute des "tokens virtuels" entraînables comme préfixes aux états de clé et de valeur dans les couches d'attention.
Question 10
Quelle méthode PEFT apprend à redimensionner les activations ?
A) LoRA
B) Prefix Tuning
C) IA3
D) QLoRA
Afficher la réponse
Réponse correcte : C
IA3 (Adaptateur Infusé par Inhibition et Amplification des Activations Internes) apprend des vecteurs de mise à l'échelle pour redimensionner les activations plutôt que d'ajouter de nouveaux poids.
Question 11
Quelle fonction est utilisée pour appliquer PEFT à un modèle ?
A) apply_peft()
B) get_peft_model()
C) create_adapter()
D) add_lora()
Afficher la réponse
Réponse correcte : B
La fonction get_peft_model() de la bibliothèque PEFT enveloppe un modèle de base avec la configuration PEFT spécifiée.
Question 12
Que fait model.merge_and_unload() ?
A) Sauvegarde le modèle sur disque
B) Fusionne les poids de l'adaptateur dans le modèle de base et supprime le surcoût de l'adaptateur
C) Charge plusieurs adaptateurs
D) Libère la mémoire GPU
Afficher la réponse
Réponse correcte : B
merge_and_unload() fusionne les poids de l'adaptateur LoRA dans les poids du modèle de base, créant un modèle standard sans surcoût d'adaptateur à l'inférence.
Question 13
Quelle est la taille typique d'un fichier d'adaptateur LoRA par rapport à un modèle complet ?
A) Même taille
B) 50% du modèle complet
C) ~10-50MB vs ~15GB+
D) 10% du modèle complet
Afficher la réponse
Réponse correcte : C
Les fichiers d'adaptateur LoRA sont généralement de 10-50MB, comparés aux fichiers de modèle complet de 15GB+ pour un modèle 7B.
Question 14
À quoi sert le paramètre alpha de LoRA ?
A) Définir le taux d'apprentissage
B) Redimensionner la contribution des poids LoRA
C) Déterminer la taille de lot
D) Définir le taux de dropout
Afficher la réponse
Réponse correcte : B
L'alpha de LoRA est un facteur de mise à l'échelle qui contrôle l'ampleur de la contribution de l'adaptation LoRA à la sortie. La mise à l'échelle effective est alpha/rang.
Question 15
Quelles matrices de poids sont couramment ciblées pour LoRA dans les transformateurs ?
A) Couches d'embedding uniquement
B) Projections de requête, clé, valeur (q_proj, k_proj, v_proj)
C) Normalisation de couche
D) Softmax de sortie
Afficher la réponse
Réponse correcte : B
Les matrices de projection d'attention (q_proj, k_proj, v_proj, o_proj) et les couches feed-forward sont couramment ciblées pour LoRA.
Question 16
Qu'est-ce que le Prompt Tuning ?
A) Écrire de meilleurs prompts manuellement
B) Apprendre des embeddings continus préfixés aux entrées
C) Optimiser la tokenisation
D) Un type d'augmentation de données
Afficher la réponse
Réponse correcte : B
Le Prompt Tuning apprend des vecteurs d'embedding continus qui sont préfixés à la séquence d'entrée, servant de "soft prompts" appris.
Question 17
Quelle méthode PEFT utilise le moins de paramètres entraînables ?
A) LoRA
B) QLoRA
C) IA3 ou Prompt Tuning
D) Prefix Tuning
Afficher la réponse
Réponse correcte : C
IA3 et le Prompt Tuning utilisent le moins de paramètres (~0,01% du modèle), encore moins que LoRA (~0,1-1%).
Question 18
Qu'est-ce que la double quantification dans QLoRA ?
A) Quantifier deux fois de suite
B) Quantifier les constantes de quantification elles-mêmes
C) Utiliser deux formats de quantification différents
D) Quantifier les poids et les activations
Afficher la réponse
Réponse correcte : B
La double quantification quantifie également les constantes de quantification elles-mêmes, économisant environ 0,4 bits par paramètre.
Question 19
Quel est l'avantage de l'échange d'adaptateurs ?
A) Entraînement plus rapide
B) Utiliser un modèle de base avec plusieurs adaptateurs spécifiques à la tâche
C) Meilleure qualité
D) Taille de modèle plus petite
Afficher la réponse
Réponse correcte : B
L'échange d'adaptateurs vous permet d'utiliser un seul modèle de base avec plusieurs adaptateurs spécifiques à la tâche qui peuvent être rapidement échangés à l'exécution.
Question 20
Quand devriez-vous choisir l'ajustement fin complet plutôt que PEFT ?
A) Lorsque la mémoire est limitée
B) Lorsque la qualité maximale possible est critique et que les ressources sont disponibles
C) Lorsque vous avez besoin d'une itération rapide
D) Lors de l'entraînement de plusieurs tâches
Afficher la réponse
Réponse correcte : B
L'ajustement fin complet est préféré lorsque vous avez besoin de la qualité maximale possible et que vous disposez de ressources de calcul suffisantes.
Question 21
Qu'est-ce qu'AdaLoRA fait différemment de LoRA standard ?
A) Utilise un rang plus élevé
B) Alloue dynamiquement le rang en fonction de l'importance de la couche
C) Fonctionne uniquement avec QLoRA
D) Ne nécessite pas de configuration
Afficher la réponse
Réponse correcte : B
AdaLoRA alloue dynamiquement le rang à différentes matrices de poids en fonction de leur importance, utilisant potentiellement plus de rang pour les couches importantes et moins pour les autres.
Question 22
Quelle bibliothèque fournit BitsAndBytesConfig pour QLoRA ?
A) peft
B) transformers (utilisant bitsandbytes)
C) trl
D) datasets
Afficher la réponse
Réponse correcte : B
BitsAndBytesConfig est fourni par la bibliothèque transformers, qui utilise la bibliothèque bitsandbytes pour la quantification réelle.
Question 23
Quelle est la différence de qualité typique entre LoRA et l'ajustement fin complet ?
A) LoRA est 20% pire
B) LoRA est 1-5% inférieur sur la plupart des tâches
C) Ils sont identiques
D) LoRA est meilleur
Afficher la réponse
Réponse correcte : B
LoRA atteint généralement 90-99% de la qualité de l'ajustement fin complet, avec des différences de 1-5% sur la plupart des tâches.
Question 24
À quelle vitesse l'entraînement PEFT est-il comparé à l'ajustement fin complet ?
A) Même vitesse
B) 10% plus rapide
C) 2-3x plus rapide
D) 10x plus rapide
Afficher la réponse
Réponse correcte : C
L'entraînement PEFT est généralement 2-3x plus rapide que l'ajustement fin complet en raison de moins de calculs de gradient et de mises à jour de poids.
Question 25
Que se passe-t-il après la fusion d'un adaptateur LoRA ?
A) La qualité diminue
B) Le modèle devient plus grand
C) L'inférence s'exécute sans surcoût d'adaptateur
D) L'adaptateur est perdu définitivement
Afficher la réponse
Réponse correcte : C
Après la fusion, les poids de l'adaptateur sont intégrés dans les poids du modèle de base, donc l'inférence s'exécute sans aucun surcoût d'adaptateur, identique à un modèle ajusté finement de manière native.
Question 26
Quel est le rang de départ recommandé pour les expériences LoRA ?
A) r=1
B) r=16 ou r=32
C) r=256
D) r=1024
Afficher la réponse
Réponse correcte : B
Commencer avec r=16 ou r=32 est recommandé comme un bon équilibre entre capacité et efficacité. Ajustez vers le haut ou vers le bas en fonction des résultats.
Question 27
Quel dtype de calcul est couramment utilisé avec QLoRA ?
A) float32
B) int8
C) bfloat16
D) int4
Afficher la réponse
Réponse correcte : C
QLoRA utilise généralement bfloat16 comme dtype de calcul pour les calculs avant/arrière, même si les poids sont stockés en 4 bits.
Question 28
Quelle est la relation entre l'alpha de LoRA et le rang ?
A) Alpha devrait être beaucoup plus petit que le rang
B) Alpha est généralement 1,5-2x le rang
C) Alpha est égal au rang
D) Ils ne sont pas liés
Afficher la réponse
Réponse correcte : B
La pratique courante est de définir alpha à 1,5-2x le rang (par exemple, r=16, alpha=32), car la mise à l'échelle effective est alpha/rang.
Question 29
Que montre model.print_trainable_parameters() ?
A) Taille du modèle
B) Nombre et pourcentage de paramètres entraînables
C) Progression de l'entraînement
D) Utilisation de la mémoire GPU
Afficher la réponse
Réponse correcte : B
print_trainable_parameters() affiche le nombre de paramètres entraînables, le nombre total de paramètres et le pourcentage entraînable.
Question 30
Pour la plupart des cas d'utilisation, quelle méthode PEFT est recommandée pour commencer ?
A) IA3
B) Prefix Tuning
C) LoRA
D) AdaLoRA
Afficher la réponse
Réponse correcte : C
LoRA est la méthode PEFT la plus polyvalente et la plus utilisée, recommandée comme point de départ par défaut pour la plupart des tâches d'ajustement fin.
Résultats
| Score | Niveau |
|---|---|
| 27-30 | Excellent - Forte compréhension de PEFT ! |
| 21-26 | Bon - Révisez les méthodes spécifiques si nécessaire |
| 15-20 | Moyen - Revoyez tous les chapitres |
| Moins de 15 | Nécessite une révision complète |