Quiz : Introduction au Fine-Tuning
Testez vos connaissances sur les concepts de fine-tuning, la prise de décision et le paysage du fine-tuning.
30 questions - Cliquez sur chaque question pour révéler la réponse correcte.
Question 1
Qu'est-ce que le fine-tuning dans le contexte des LLMs ?
A) Entraîner un modèle à partir de zéro sur de nouvelles données
B) Continuer l'entraînement d'un modèle pré-entraîné sur des données spécifiques
C) Réduire la taille du modèle
D) Convertir le modèle dans un format différent
Afficher la réponse
Réponse correcte : B
Le fine-tuning continue l'entraînement d'un modèle pré-entraîné sur des données spécifiques pour l'adapter à des tâches ou domaines particuliers, en tirant parti des connaissances déjà acquises lors du pré-entraînement.
Question 2
Qu'est-ce que l'apprentissage par transfert ?
A) Déplacer un modèle entre différents GPU
B) Traduire du texte entre langues
C) Utiliser les connaissances du pré-entraînement pour améliorer les performances sur de nouvelles tâches
D) Transférer des données entre ensembles de données
Afficher la réponse
Réponse correcte : C
L'apprentissage par transfert est le concept d'utiliser les connaissances acquises lors du pré-entraînement sur de grands ensembles de données pour améliorer les performances sur des tâches spécifiques en aval grâce au fine-tuning.
Question 3
Quel scénario est LE MIEUX adapté pour RAG au lieu du fine-tuning ?
A) Enseigner un style d'écriture spécifique à un modèle
B) Faire en sorte qu'un modèle produise systématiquement du JSON
C) Fournir un accès à des informations sur les produits fréquemment mises à jour
D) Donner une personnalité spécifique à un modèle
Afficher la réponse
Réponse correcte : C
RAG est idéal lorsque les connaissances doivent être mises à jour fréquemment car vous pouvez simplement mettre à jour la base de données de récupération sans réentraîner le modèle. Le fine-tuning est meilleur pour le style, le format et la personnalité.
Question 4
Que signifie PEFT ?
A) Fine-Tuning Efficace en Paramètres
B) Entraînement de Caractéristiques Efficaces Pré-entraînées
C) Fine-Tuning d'Exécution Parallèle
D) Entraînement Complet à Précision Améliorée
Afficher la réponse
Réponse correcte : A
PEFT signifie Fine-Tuning Efficace en Paramètres, une famille de méthodes qui entraînent seulement un petit sous-ensemble de paramètres du modèle tout en gardant la plupart gelés.
Question 5
Qu'est-ce que l'oubli catastrophique ?
A) Lorsque les données d'entraînement sont perdues
B) Lorsqu'un modèle devient trop grand pour fonctionner
C) Lorsqu'un modèle perd des connaissances précédemment acquises après un entraînement sur de nouvelles données
D) Lorsque le taux d'apprentissage est trop élevé
Afficher la réponse
Réponse correcte : C
L'oubli catastrophique se produit lorsqu'un modèle voit ses performances sur des tâches précédemment apprises se dégrader après avoir été entraîné sur de nouvelles données.
Question 6
Quel pourcentage de paramètres LoRA entraîne-t-il typiquement ?
A) 50 %
B) 25 %
C) Moins de 1 %
D) 10 %
Afficher la réponse
Réponse correcte : C
LoRA entraîne typiquement moins de 1 % des paramètres du modèle original (souvent 0,1-0,5 %) tout en maintenant des performances comparables à un fine-tuning complet.
Question 7
Quel est le principal avantage de QLoRA par rapport à LoRA ?
A) Résultats de meilleure qualité
B) Exigences de mémoire significativement réduites grâce à la quantification
C) Vitesse d'entraînement plus rapide
D) Fonctionne avec plus d'architectures de modèles
Afficher la réponse
Réponse correcte : B
QLoRA combine la quantification en 4 bits avec LoRA, réduisant considérablement les exigences de mémoire (par exemple, de 14 Go à 6 Go pour un modèle 7B).
Question 8
Quelle quantité de VRAM est approximativement nécessaire pour QLoRA un modèle de 7B paramètres ?
A) 2 Go
B) 6 Go
C) 16 Go
D) 28 Go
Afficher la réponse
Réponse correcte : B
QLoRA nécessite environ 6 Go de VRAM pour un modèle de 7B paramètres, ce qui le rend faisable sur des GPU grand public et des instances Colab gratuites.
Question 9
Quelle bibliothèque fournit le BitsAndBytesConfig pour la quantification ?
A) transformers
B) peft
C) bitsandbytes
D) accelerate
Afficher la réponse
Réponse correcte : C
La bibliothèque bitsandbytes fournit la fonctionnalité de quantification, bien qu'elle soit configurée via la classe BitsAndBytesConfig de transformers.
Question 10
Qu'est-ce que DPO ?
A) Optimisation Directe des Paramètres
B) Orchestration de Pré-entraînement Profond
C) Optimisation Directe des Préférences
D) Opération de Traitement Distribué
Afficher la réponse
Réponse correcte : C
DPO (Optimisation Directe des Préférences) est une méthode d'alignement qui optimise directement le modèle en utilisant des paires de préférences sans avoir besoin d'un modèle de récompense séparé.
Question 11
Quand devriez-vous préférer l'ingénierie de prompt au fine-tuning ?
A) Lorsque vous avez besoin de la qualité maximale
B) Lorsque vous avez besoin d'une itération rapide et d'une personnalisation simple
C) Lorsque vous avez des ressources de calcul illimitées
D) Lorsque la tâche est très complexe
Afficher la réponse
Réponse correcte : B
L'ingénierie de prompt est idéale pour une itération rapide, une personnalisation simple et lorsque vous avez un budget limité. Elle ne nécessite aucune infrastructure d'entraînement.
Question 12
Quelle est la plage typique de taux d'apprentissage pour le fine-tuning LoRA ?
A) 1e-2 à 1e-3
B) 1e-4 à 1e-5
C) 1e-6 à 1e-7
D) 1.0
Afficher la réponse
Réponse correcte : B
Le fine-tuning LoRA utilise typiquement des taux d'apprentissage dans la plage de 1e-4 à 1e-5, ce qui est plus élevé que le fine-tuning complet car seul un petit nombre de paramètres est mis à jour.
Question 13
Lequel des cas suivants n'est PAS un bon cas d'utilisation pour le fine-tuning ?
A) Enseigner un style d'écriture spécifique
B) Fournir des prix d'actions en temps réel
C) Apprendre la terminologie d'un domaine
D) Formatage de sortie cohérent
Afficher la réponse
Réponse correcte : B
Les informations en temps réel ou fréquemment mises à jour sont mieux gérées par RAG ou des API externes. Le fine-tuning ne peut pas fournir de données en temps réel.
Question 14
À quoi sert le format Alpaca ?
A) Génération d'images
B) Structuration des données d'entraînement pour le suivi des instructions
C) Quantification de modèles
D) Tokenisation
Afficher la réponse
Réponse correcte : B
Le format Alpaca structure les données d'entraînement avec des champs d'instruction, d'entrée et de sortie pour entraîner des modèles de suivi des instructions.
Question 15
Quelle est la différence entre le format ShareGPT et le format Alpaca ?
A) ShareGPT est pour les images
B) ShareGPT prend en charge les conversations multi-tours
C) Alpaca est uniquement pour le code
D) Ils sont identiques
Afficher la réponse
Réponse correcte : B
Le format ShareGPT prend en charge les conversations multi-tours avec des messages basés sur des rôles, tandis qu'Alpaca est conçu pour des paires instruction-réponse à un seul tour.
Question 16
Que comprend le "pré-entraînement" pour un LLM ?
A) Fine-tuning sur des données utilisateur
B) Entraînement sur des données textuelles massives pour apprendre les modèles linguistiques
C) Quantification du modèle
D) Déploiement en production
Afficher la réponse
Réponse correcte : B
Le pré-entraînement implique un entraînement sur des trillions de tokens provenant de sources diverses pour acquérir une compréhension générale du langage, des faits et des capacités.
Question 17
Qu'est-ce qu'un "adaptateur" dans le contexte de PEFT ?
A) Un composant matériel
B) Un petit module entraînable ajouté à un modèle gelé
C) Un type d'optimiseur
D) Un format de données
Afficher la réponse
Réponse correcte : B
Un adaptateur est un petit module de réseau neuronal ajouté à un modèle pré-entraîné qui contient des paramètres entraînables tandis que le modèle de base reste gelé.
Question 18
Quelle approche a typiquement le coût par requête le plus bas à grande échelle ?
A) Ingénierie de prompt avec des prompts longs
B) RAG avec une grande base de connaissances
C) Fine-tuning (prompts plus courts, comportement intégré)
D) Ils coûtent tous la même chose
Afficher la réponse
Réponse correcte : C
Le fine-tuning entraîne des prompts plus courts et des comportements intégrés, réduisant les coûts par requête en tokens à grande échelle malgré des coûts d'entraînement initiaux plus élevés.
Question 19
Qu'est-ce que RLHF ?
A) Apprentissage Rapide pour Haute Fréquence
B) Apprentissage par Renforcement à partir de Retours Humains
C) Langage Régulier Haute Fidélité
D) Apprentissage par Récupération pour Fonctions Hybrides
Afficher la réponse
Réponse correcte : B
RLHF (Apprentissage par Renforcement à partir de Retours Humains) utilise les préférences humaines pour entraîner un modèle de récompense, puis utilise l'apprentissage par renforcement pour optimiser le modèle de langage.
Question 20
Comment DPO diffère-t-il de RLHF ?
A) DPO ne nécessite aucune donnée
B) DPO n'a pas besoin d'un modèle de récompense séparé
C) DPO est uniquement pour les modèles d'images
D) RLHF est plus simple
Afficher la réponse
Réponse correcte : B
DPO optimise directement le modèle en utilisant des paires de préférences sans entraîner un modèle de récompense séparé, simplifiant le pipeline RLHF.
Question 21
Quelle mémoire GPU est typiquement nécessaire pour un fine-tuning complet d'un modèle 7B ?
A) 6 Go
B) 14 Go
C) 28 Go+
D) 4 Go
Afficher la réponse
Réponse correcte : C
Le fine-tuning complet d'un modèle 7B nécessite typiquement 28 Go+ de VRAM en raison du stockage des poids du modèle, des gradients et des états de l'optimiseur.
Question 22
Quel est le but du paramètre de rang (r) de LoRA ?
A) Définir le taux d'apprentissage
B) Déterminer la capacité de l'adaptation de faible rang
C) Spécifier la taille du lot
D) Contrôler le dropout
Afficher la réponse
Réponse correcte : B
Le rang (r) détermine la dimensionnalité des matrices de faible rang et donc la capacité de l'adaptateur. Des rangs plus élevés permettent des adaptations plus complexes.
Question 23
Quelle bibliothèque fournit SFTTrainer pour le fine-tuning supervisé ?
A) transformers
B) peft
C) trl
D) datasets
Afficher la réponse
Réponse correcte : C
La bibliothèque TRL (Transformer Reinforcement Learning) fournit SFTTrainer pour le fine-tuning supervisé ainsi que des entraîneurs pour DPO et RLHF.
Question 24
Qu'est-ce qu'une approche hybride dans la personnalisation des LLM ?
A) Utiliser à la fois le CPU et le GPU
B) Combiner le fine-tuning avec RAG
C) Entraîner sur plusieurs langues
D) Utiliser plusieurs optimiseurs
Afficher la réponse
Réponse correcte : B
Une approche hybride combine des méthodes comme le fine-tuning pour le style/comportement avec RAG pour des connaissances dynamiques afin d'obtenir les avantages des deux.
Question 25
Quel est le principal avantage d'utiliser Unsloth pour le fine-tuning ?
A) Meilleure qualité de modèle
B) Entraînement 2x plus rapide avec moins de mémoire
C) Support de modèles plus grands
D) Meilleure tokenisation
Afficher la réponse
Réponse correcte : B
Unsloth offre une vitesse d'entraînement 2x plus rapide et une utilisation réduite de la mémoire grâce à des optimisations, ce qui le rend idéal pour une itération rapide.
Question 26
Quand utiliseriez-vous le fine-tuning complet plutôt que les méthodes PEFT ?
A) Lorsque vous avez des ressources de calcul limitées
B) Lorsque la personnalisation maximale et la qualité sont critiques
C) Lorsque vous voulez un entraînement plus rapide
D) Lorsque la mémoire est limitée
Afficher la réponse
Réponse correcte : B
Le fine-tuning complet est choisi lorsque vous avez besoin d'un potentiel de personnalisation maximal et disposez de ressources de calcul suffisantes pour des applications critiques.
Question 27
Qu'est-ce que l'instruction tuning ?
A) Entraînement sur du code
B) Entraînement sur des paires instruction-réponse pour suivre des instructions
C) Optimisation de la vitesse du modèle
D) Réduction de la taille du modèle
Afficher la réponse
Réponse correcte : B
L'instruction tuning entraîne des modèles sur des paires instruction-réponse pour leur apprendre à suivre les instructions des utilisateurs, formant la base des modèles de type chat.
Question 28
Quel format de quantification QLoRA utilise-t-il principalement ?
A) INT8
B) Float16
C) NF4 (4-bit NormalFloat)
D) BFloat16
Afficher la réponse
Réponse correcte : C
QLoRA utilise la quantification NF4 (4-bit NormalFloat), conçue pour avoir un nombre égal de valeurs dans chaque bin de quantification pour des poids normalement distribués.
Question 29
Quelle est la meilleure première étape lors de l'approche d'un nouveau projet de fine-tuning ?
A) Commencer immédiatement le fine-tuning complet
B) Essayer d'abord l'ingénierie de prompt pour établir une base de référence
C) Déployer le modèle de base en production
D) Collecter des millions d'exemples d'entraînement
Afficher la réponse
Réponse correcte : B
Commencer par l'ingénierie de prompt établit une base de référence et aide à déterminer si le fine-tuning est même nécessaire. De nombreuses tâches peuvent être résolues avec de bons prompts.
Question 30
Quel est le nombre typique d'exemples de haute qualité nécessaires pour un fine-tuning efficace ?
A) 10 exemples
B) 100-500 exemples
C) 1 million+ d'exemples toujours
D) Seulement 1 exemple
Afficher la réponse
Réponse correcte : B
100-500 exemples de haute qualité et diversifiés sont souvent suffisants pour de nombreuses tâches de fine-tuning. La qualité compte plus que la quantité.
Résultats
| Score | Niveau |
|---|---|
| 27-30 | Excellent - Solide fondation pour le fine-tuning ! |
| 21-26 | Bon - Révisez les domaines faibles |
| 15-20 | Moyen - Revoyez les chapitres |
| Moins de 15 | Nécessite une révision complète |