Glossaire des Termes de l'Affinage des LLM
Un glossaire complet de plus de 150 termes utilisés dans l'affinage des LLM, organisé par ordre alphabétique.
A
Adaptateur
Un petit module de réseau neuronal ajouté à un modèle pré-entraîné qui contient des paramètres entraînables. Pendant l'affinage, seuls les paramètres de l'adaptateur sont mis à jour tandis que le modèle de base reste figé.
Format Alpaca
Un format de jeu de données populaire pour l'affinage des instructions, composé de champs d'instruction, d'entrée et de sortie. Nommé d'après le modèle Alpaca de Stanford.
Mécanisme d'Attention
Le mécanisme central dans les transformateurs qui permet au modèle de pondérer l'importance des différentes parties de l'entrée lors du traitement de chaque position.
AutoModelForCausalLM
Classe de Hugging Face qui charge automatiquement l'architecture de modèle appropriée pour la modélisation de langage causal (génération de texte).
B
Rétropropagation
L'algorithme utilisé pour calculer les gradients pendant l'entraînement en propageant les erreurs à l'envers à travers le réseau.
Modèle de Base
Le modèle fondamental pré-entraîné avant l'application de tout affinage. Des exemples incluent Llama, Mistral et Falcon.
Taille de Lot
Le nombre d'exemples d'entraînement traités ensemble en une seule passe avant/arrière. Les lots plus grands nécessitent plus de mémoire mais peuvent être plus stables.
BFloat16 (bf16)
Un format de virgule flottante 16 bits qui maintient la même plage que float32 mais avec une précision réduite. Souvent préféré pour l'entraînement par rapport à float16.
bitsandbytes
Une bibliothèque qui permet une quantification efficace en 4 bits et 8 bits pour le chargement et l'entraînement de grands modèles de langage.
C
Oubli Catastrophique
Le phénomène où un modèle perd des connaissances précédemment acquises lorsqu'il est entraîné sur de nouvelles données. Un problème majeur dans l'affinage.
Modélisation de Langage Causal (CLM)
Un objectif d'entraînement où le modèle prédit le prochain jeton basé uniquement sur les jetons précédents. Utilisé pour les modèles de type GPT.
Modèle de Conversation
Une spécification de format pour convertir des conversations en jetons que le modèle attend, y compris des jetons spéciaux pour différents rôles.
Point de Contrôle
Un instantané enregistré des poids du modèle pendant l'entraînement, permettant la récupération et la continuation de l'entraînement.
IA Constitutionnelle (CAI)
Une technique de sécurité de l'IA qui entraîne des modèles à suivre un ensemble de principes ou une "constitution" pour un comportement éthique.
D
Fragmentation de Jeu de Données
Diviser un grand jeu de données en morceaux plus petits pour l'entraînement distribué ou pour réduire l'utilisation de la mémoire.
DeepSpeed
Une bibliothèque d'optimisation d'apprentissage profond par Microsoft qui permet un entraînement efficace de grands modèles grâce à diverses techniques.
Optimisation de Préférence Directe (DPO)
Une alternative plus simple au RLHF qui optimise directement le modèle en utilisant des données de préférence sans modèle de récompense séparé.
Double Quantification
Une technique dans QLoRA qui quantifie les constantes de quantification elles-mêmes, réduisant encore l'utilisation de la mémoire.
Abandon
Une technique de régularisation qui met aléatoirement certaines activations à zéro pendant l'entraînement pour éviter le surapprentissage.
E
Couche d'Embedding
La couche qui convertit les identifiants de jetons en représentations vectorielles denses que le modèle peut traiter.
Époque
Un passage complet à travers l'ensemble du jeu de données d'entraînement.
Perte d'Évaluation
La perte calculée sur un ensemble de validation mis de côté pour surveiller le surapprentissage pendant l'entraînement.
F
Affinage
Le processus d'entraînement supplémentaire d'un modèle pré-entraîné sur un jeu de données spécifique pour l'adapter à une tâche ou un domaine particulier.
Attention Flash
Une implémentation efficace de l'attention qui réduit l'utilisation de la mémoire et améliore la vitesse en évitant la matérialisation de la matrice d'attention complète.
Float16 (fp16)
Un format de virgule flottante 16 bits qui utilise la moitié de la mémoire de float32. Peut causer une instabilité numérique dans certains cas.
Float32 (fp32)
Précision standard de virgule flottante 32 bits, offrant une grande précision mais nécessitant plus de mémoire.
Paramètres Figés
Paramètres du modèle qui ne sont pas mis à jour pendant l'entraînement. Dans PEFT, la plupart des paramètres sont figés.
Affinage Complet
Approche traditionnelle d'affinage où tous les paramètres du modèle sont mis à jour pendant l'entraînement.
G
GGUF
Un format de fichier pour stocker des modèles quantifiés, couramment utilisé avec llama.cpp pour une inférence efficace sur CPU.
Accumulation de Gradient
Technique pour simuler des tailles de lot plus grandes en accumulant des gradients sur plusieurs passes avant de mettre à jour les poids.
Vérification de Gradient
Une technique d'économie de mémoire qui recalcule les activations pendant la passe arrière au lieu de les stocker.
Clipping de Gradient
Limiter l'amplitude des gradients pendant l'entraînement pour éviter les gradients explosifs.
H
Hallucination
Lorsqu'un modèle génère des informations plausibles mais incorrectes ou fabriquées.
Hub Hugging Face
Une plateforme pour partager et découvrir des modèles pré-entraînés, des jeux de données et des démonstrations.
Hyperparamètre
Une valeur de configuration définie avant le début de l'entraînement (par exemple, taux d'apprentissage, taille de lot) par opposition aux paramètres appris.
I
IA3 (Adaptateur Infusé par Inhibition et Amplification des Activations Internes)
Une méthode PEFT qui apprend à échelonner les activations plutôt qu'à ajouter de nouveaux poids, utilisant encore moins de paramètres que LoRA.
Inférence
Utiliser un modèle entraîné pour générer des prédictions sur de nouvelles entrées.
Affinage d'Instruction
Affiner un modèle pour suivre des instructions en s'entraînant sur des paires instruction-réponse.
INT4/INT8
Formats de quantification en entiers 4 bits et 8 bits utilisés pour réduire la taille du modèle et l'utilisation de la mémoire.
K
Distillation de Connaissance
Entraîner un modèle "étudiant" plus petit à imiter le comportement d'un modèle "enseignant" plus grand.
Cache KV
Cache Clé-Valeur qui stocke les clés et valeurs d'attention calculées pour accélérer la génération autorégressive.
L
Lissage d'Étiquette
Une technique de régularisation qui adoucit la distribution de probabilité cible pour éviter la surconfiance.
Taux d'Apprentissage
La taille de pas pour les mises à jour de gradient pendant l'optimisation. Hyperparamètre critique pour un entraînement réussi.
Plan de Taux d'Apprentissage
Une stratégie pour ajuster le taux d'apprentissage pendant l'entraînement (par exemple, échauffement, décroissance, atténuation cosinus).
Sonde Linéaire
Affiner uniquement une tête de classification linéaire sur des caractéristiques figées.
LoRA (Adaptation de Basse-Rang)
Une méthode PEFT qui ajoute des matrices de décomposition de basse-rang entraînables aux poids figés, réduisant considérablement les paramètres entraînables.
Alpha LoRA
Un hyperparamètre de mise à l'échelle dans LoRA qui contrôle l'amplitude de l'adaptation.
Rang LoRA
Le rang des matrices de basse-rang dans LoRA. Des rangs plus élevés augmentent la capacité mais aussi les paramètres.
Fonction de Perte
Une fonction qui mesure la différence entre les prédictions du modèle et la vérité terrain, guidant l'optimisation.
M
Modélisation de Langage Masqué (MLM)
Un objectif d'entraînement où des jetons aléatoires sont masqués et le modèle les prédit. Utilisé pour les modèles de type BERT.
MergeKit
Un outil pour fusionner plusieurs modèles ou adaptateurs affinés en un seul modèle.
Entraînement en Précision Mixte
Entraîner avec à la fois float16 et float32 pour réduire la mémoire tout en maintenant la stabilité numérique.
Fusion de Modèles
Combiner plusieurs modèles ou adaptateurs en un, souvent en moyennant les poids ou en utilisant des méthodes plus sophistiquées comme TIES ou DARE.
Entraînement Multi-GPU
Distribuer l'entraînement sur plusieurs GPU en utilisant le parallélisme de données ou de modèles.
N
NF4 (NormalFloat 4 bits)
Un format de quantification conçu pour avoir un nombre égal de valeurs dans chaque bin de quantification pour des poids normalement distribués.
Échantillonnage Nucleus (Top-p)
Une stratégie de décodage qui échantillonne à partir du plus petit ensemble de jetons dont la probabilité cumulative dépasse p.
O
ONNX
Format d'Échange de Réseau Neuronal Ouvert pour l'interopérabilité et le déploiement des modèles.
Optimiseur
Algorithme pour mettre à jour les poids du modèle pendant l'entraînement (par exemple, Adam, AdamW, SGD).
ORPO (Optimisation de Préférence par Ratio de Cotes)
Une méthode d'optimisation de préférence qui combine l'affinage supervisé et l'alignement de préférence en une seule étape.
Surapprentissage
Lorsqu'un modèle mémorise les données d'entraînement au lieu d'apprendre des motifs généraux, conduisant à une mauvaise généralisation.
P
PagedAttention
Un mécanisme d'attention utilisé dans vLLM qui gère la mémoire plus efficacement grâce à la pagination.
Nombre de Paramètres
Le nombre total de poids entraînables dans un modèle, souvent mesuré en milliards pour les LLM.
PEFT (Affinage Efficace en Paramètres)
Une famille de méthodes qui affine uniquement un petit sous-ensemble de paramètres tout en gardant la plupart du modèle figé.
Perplexité
Une métrique mesurant à quel point un modèle prédit bien le texte. Une perplexité plus faible indique une meilleure performance.
Données de Préférence
Données d'entraînement composées de paires ou de classements de réponses, utilisées pour RLHF, DPO, et méthodes connexes.
Affinage de Préfixe
Une méthode PEFT qui préfixe des "jetons virtuels" entraînables à l'entrée sans modifier les poids du modèle.
Pré-entraînement
Entraînement initial d'un modèle sur des données à grande échelle avant l'affinage spécifique à une tâche.
Affinage de Prompt
Similaire à l'affinage de préfixe, apprendre des prompts souples qui sont préfixés aux entrées.
Q
QLoRA (LoRA Quantifié)
Combiner la quantification en 4 bits avec LoRA pour permettre l'affinage de grands modèles sur du matériel grand public.
Quantification
Réduire la précision des poids du modèle (par exemple, de float16 à int4) pour réduire la mémoire et accélérer l'inférence.
R
Rang (dans LoRA)
La dimensionnalité des matrices de basse-rang. Contrôle le compromis entre capacité et efficacité.
Régularisation
Techniques pour éviter le surapprentissage, telles que l'abandon, la décroissance des poids, ou l'arrêt précoce.
Apprentissage par Renforcement à partir de Retours Humains (RLHF)
Une approche d'entraînement utilisant les préférences humaines pour entraîner un modèle de récompense, puis utilisant l'AR pour optimiser le modèle de langage.
Modèle de Récompense
Un modèle entraîné pour prédire les préférences humaines, utilisé dans RLHF pour fournir un signal d'entraînement.
S
Température d'Échantillonnage
Un paramètre contrôlant l'aléatoire dans la génération. Des valeurs plus élevées produisent des sorties plus diverses mais moins cohérentes.
Auto-Attention
Mécanisme d'attention où les requêtes, clés et valeurs proviennent toutes de la même séquence.
Longueur de Séquence
Le nombre de jetons dans une séquence d'entrée ou de sortie. Limité par l'architecture du modèle et la mémoire.
Format ShareGPT
Un format de jeu de données dérivé des conversations partagées de ChatGPT, utilisant une structure de message basée sur les rôles.
SFTTrainer
Classe TRL de Hugging Face pour l'affinage supervisé des modèles de langage.
SLERP (Interpolation Linéaire Sphérique)
Une méthode pour interpoler en douceur entre les poids des modèles lors de la fusion.
Prompt Souple
Vecteurs d'embedding appris préfixés aux entrées au lieu de prompts textuels discrets.
Décodage Spéculatif
Une technique qui utilise un modèle de brouillon plus petit pour proposer des jetons, vérifiés par le modèle plus grand pour une génération plus rapide.
Affinage Supervisé (SFT)
Affinage standard utilisant des paires entrée-sortie étiquetées avec une perte d'entropie croisée.
Prompt Système
Instructions fournies pour définir le comportement et le contexte du modèle pour une conversation.
T
Modules Cibles
Dans LoRA, les matrices de poids spécifiques (par exemple, q_proj, v_proj) où les adaptations de basse-rang sont appliquées.
Température
Voir Température d'Échantillonnage.
TIES (TrIm, Elect Sign & Merge)
Une méthode de fusion de modèles qui gère mieux les conflits de paramètres que la simple moyenne.
Tokenizer
Composant qui convertit le texte en identifiants de jetons et vice versa pour l'entrée/sortie du modèle.
Échantillonnage Top-k
Une stratégie de décodage qui ne considère que les k jetons suivants les plus probables.
Paramètres Entraînables
Paramètres qui sont mis à jour pendant l'entraînement, par opposition aux paramètres figés.
Apprentissage par Transfert
Utiliser les connaissances acquises d'une tâche pour améliorer la performance sur une tâche différente mais liée.
Transformateur
L'architecture de réseau neuronal sous-jacente aux LLM modernes, basée sur des mécanismes d'auto-attention.
TRL (Apprentissage par Renforcement de Transformateur)
Bibliothèque de Hugging Face fournissant des entraîneurs pour SFT, RLHF, DPO, et d'autres méthodes d'entraînement.
V
Ensemble de Validation
Une portion de données mise de côté utilisée pour évaluer la performance du modèle pendant l'entraînement.
vLLM
Un moteur d'inférence à haut débit pour les LLM utilisant PagedAttention.
VRAM (Mémoire Vidéo)
Mémoire GPU utilisée pour stocker les poids du modèle, les activations et les gradients pendant l'entraînement.
W
Échauffement
Augmenter progressivement le taux d'apprentissage au début de l'entraînement pour améliorer la stabilité.
Décroissance des Poids
Une technique de régularisation qui pénalise les grands poids pour éviter le surapprentissage.
Poids & Biais (W&B)
Une plateforme populaire pour le suivi des expériences, la journalisation des modèles et la visualisation.
Z
Optimiseur de Zéro Redondance (ZeRO)
Optimisation de mémoire de DeepSpeed qui partitionne les états de l'optimiseur, les gradients et les paramètres à travers les appareils.
Zero-Shot
Utiliser un modèle pour une tâche sans aucun entraînement ou exemple spécifique à la tâche.
Carte de Référence Rapide
| Concept | Informations Clés |
|---|---|
| Rang LoRA | Valeurs typiques : 8, 16, 32, 64 |
| Alpha LoRA | Souvent défini à 2x le rang |
| Taux d'Apprentissage | 1e-5 à 1e-4 pour l'affinage |
| Taille de Lot | 4-32 selon la VRAM |
| Époques | 1-5 pour la plupart des tâches d'affinage |
| Mémoire QLoRA | ~4-6GB pour les modèles 7B |
| Mémoire FT Complet | ~28GB+ pour les modèles 7B |