Chapitre 1 : Entraînement sur les données textuelles
Apprendre à une machine à comprendre le langage
Entraîner un LLM, c'est comme apprendre à un lecteur très rapide à comprendre comment fonctionne le langage. Mais au lieu d'enseigner des faits, nous enseignons des motifs.
D'où viennent les données d'entraînement ?
Les LLM modernes sont entraînés sur une quantité stupéfiante de texte :
Sources de données courantes
| Source | Ce qu'elle fournit |
|---|---|
| Pages Web | Sujets divers, texte conversationnel, opinions |
| Livres | Arguments structurés, narration, connaissances approfondies |
| Wikipédia | Connaissances factuelles, ton neutre |
| Articles scientifiques | Connaissances techniques, résultats de recherche |
| Dépôts de code | Modèles de programmation, documentation |
| Articles de presse | Événements actuels, style journalistique |
| Médias sociaux | Conversation décontractée, tendances |
L'échelle est époustouflante
- GPT-3 a été entraîné sur environ 570 Go de texte
- Cela représente environ 300 milliards de mots
- Équivalent à lire sans arrêt pendant des milliers d'années
Que signifie réellement "entraînement" ?
L'entraînement consiste à ajuster les paramètres du modèle pour qu'il s'améliore dans la prédiction du texte suivant.
Pensez-y comme ceci :
Imaginez que vous apprenez à prédire la météo :
- Vous regardez des millions de modèles météorologiques historiques
- Vous remarquez : "Quand les nuages se rassemblent, la pluie suit souvent"
- Vous ajustez votre modèle mental pour prédire la pluie quand vous voyez des nuages
- Avec le temps, vos prédictions s'améliorent
Les LLM font la même chose, mais avec le langage :
- Le modèle voit des milliards de phrases
- Il apprend des motifs comme : "Après 'Le chat s'est assis sur le', 'tapis' suit souvent"
- Il ajuste les paramètres pour faire de meilleures prédictions
- Avec le temps, il apprend la structure du langage
Le processus d'entraînement (simplifié)
Étape par étape :
- Prenez une phrase : "Le chat s'est assis sur le tapis"
- Cachez le dernier mot : "Le chat s'est assis sur le ___"
- Demandez au modèle de prédire : Le modèle pourrait dire "sol"
- Comparez à la réalité : Le mot réel était "tapis"
- Ajustez légèrement : Rendre "tapis" plus probable la prochaine fois dans ce contexte
- Répétez des milliards de fois
Ce que le modèle apprend
Structure du langage
- Règles de grammaire (sans qu'on les lui dise)
- Comment les phrases sont construites
- Ordre des mots pour différentes langues
Relations entre concepts
- "Paris" est lié à "France" comme "Tokyo" est lié à "Japon"
- "Roi" est lié à "Reine" comme "Homme" est lié à "Femme"
Styles d'écriture
- Langage formel vs. décontracté
- Écriture académique vs. créative
- Technique vs. grand public
Connaissances du monde (en quelque sorte)
- Faits souvent mentionnés dans les données d'entraînement
- Associations courantes entre concepts
- Mais PAS une base de données de faits vérifiés !
Ce que le modèle n'apprend PAS
❌ Faits vérifiés
Le modèle ne sait pas si quelque chose est vrai—seulement que cela a été beaucoup écrit.
❌ Informations en temps réel
Le modèle ne connaît que ce qui existait dans les données d'entraînement (avant sa "date limite de connaissance").
❌ Expériences personnelles
Il n'a pas vécu, ressenti ou expérimenté quoi que ce soit.
❌ Véritable compréhension
Il reconnaît des motifs, mais ne "comprend" pas au sens humain.
L'analogie de "lire tout"
Pensez à l'entraînement comme ceci :
| Lecteur humain | LLM |
|---|---|
| Lit des milliers de livres | Traite des milliards d'échantillons de texte |
| Développe une intuition sur le langage | Développe des motifs statistiques |
| Se souvient des faits clés (imparfaitement) | Encode des motifs (imparfaitement) |
| Peut généraliser à de nouveaux sujets | Peut généraliser à de nouvelles invites |
| Fait des erreurs de mémoire | Fait des erreurs de motifs |
L'idée clé : Les LLM développent une intuition sur le langage sans le comprendre comme les humains.
Problèmes des données d'entraînement
1. Biais dans les données
Si les données d'entraînement contiennent des biais, le modèle les apprend :
- Préjugés historiques
- Angles morts culturels
- Surreprésentation de certains points de vue
2. Informations obsolètes
- Les données d'entraînement ont une date limite
- Les informations changent après l'entraînement
3. Variation de la qualité
- Tout sur Internet n'est pas exact
- Le modèle ne peut pas distinguer les sources fiables des non fiables
4. Questions de droits d'auteur
- Certaines données d'entraînement peuvent être protégées par des droits d'auteur
- Les débats juridiques sont en cours
Pré-entraînement vs. Affinage
Pré-entraînement (La fondation)
- Ensemble de données massif (pratiquement tout Internet)
- Apprendre des motifs de langage généraux
- Très coûteux et chronophage
- Réalisé une fois, par l'entreprise
Affinage (La spécialisation)
- Ensemble de données plus petit et spécifique
- Ajuster pour des tâches particulières (chat, code, etc.)
- Beaucoup moins cher et plus rapide
- Peut être fait par quiconque avec des ressources
RLHF (Le rendre utile)
- Les évaluateurs humains notent les réponses
- Le modèle apprend à produire des réponses mieux notées
- Rend les sorties plus utiles et moins nuisibles
- Ce qui transforme GPT en ChatGPT
Points clés à retenir
✅ Les LLM sont entraînés sur des milliards d'échantillons de texte provenant d'Internet et de livres
✅ L'entraînement signifie ajuster les paramètres pour mieux prédire le texte
✅ Le modèle apprend des motifs et des relations, pas des faits vérifiés
✅ Les limitations des données d'entraînement (biais, âge, qualité) affectent les sorties
✅ L'affinage et le RLHF rendent les modèles de base plus utiles
Réfléchissez-y
- Pourquoi un LLM pourrait-il donner des informations obsolètes sur un événement récent ?
- Si Internet contient à la fois des informations vraies et fausses, comment cela pourrait-il affecter un LLM ?
- Pourquoi une entreprise voudrait-elle affiner un modèle pré-entraîné plutôt que de s'entraîner à partir de zéro ?
Prochaines étapes
Examinons maintenant le mécanisme central dans Chapitre 2 : Prédire le mot suivant.