Chapitre 2 : Prédire le mot suivant
Le mécanisme central des LLM
Tout ce qu'un LLM fait—répondre à des questions, écrire des histoires, coder—se résume à une opération simple : prédire quel mot devrait venir ensuite.
L'idée de base
Un LLM génère du texte en se demandant à plusieurs reprises : "Étant donné tout ce qui précède, quel mot est le plus susceptible de venir ensuite ?"
Un exemple simple
Invite : "La capitale de la France est"
Le modèle calcule les probabilités :
- "Paris" → 95% de probabilité
- "Lyon" → 2% de probabilité
- "Berlin" → 0,1% de probabilité
- "pizza" → 0,0001% de probabilité
Il choisit "Paris" (ou échantillonne aléatoirement pondéré par la probabilité).
Comment la prédiction crée la conversation
Voyons comment une question devient une réponse :
Votre entrée
"De quelle couleur est le ciel ?"
Le processus du modèle
- Voit : "De quelle couleur est le ciel ?"
- Prédit le mot suivant : "Le" (probable début d'une réponse)
- Voit : "De quelle couleur est le ciel ? Le"
- Prédit : "ciel" (fait sens dans le contexte)
- Voit : "De quelle couleur est le ciel ? Le ciel"
- Prédit : "est" (grammaticalement correct)
- Prédit : "bleu" (le schéma de réponse qu'il a appris)
- Continue jusqu'à : Fin de la réponse détectée
Sortie : "Le ciel est bleu."
Pourquoi cela semble intelligent
Ce mécanisme simple produit un comportement apparemment intelligent parce que :
1. Les schémas encodent la connaissance
Lorsqu'il est entraîné sur du texte comme :
- "Le ciel est bleu pendant la journée"
- "Le ciel apparaît bleu à cause de la diffusion de la lumière"
- "Un ciel bleu est un signe de beau temps"
Le modèle apprend que "bleu" suit fortement "ciel est" dans les contextes de questions-réponses.
2. Le contexte façonne la prédiction
Le même mot a des prédictions différentes selon le contexte :
| Contexte | Mot suivant probable |
|---|---|
| "La rive de la rivière..." | "était" (contexte naturel) |
| "La banque où je dépose..." | "argent" (contexte financier) |
| "Veuillez renvoyer la balle..." | "tir" (contexte sportif) |
3. L'échelle permet le raisonnement
Avec suffisamment de paramètres et d'entraînement, le modèle peut suivre des schémas logiques :
"Si A cause B, et B cause C, alors A cause ___" → "C"
Probabilité et aléatoire
Température : Contrôler la créativité
Les LLM ont un réglage de "température" qui affecte comment ils choisissent le mot suivant :
| Température | Comportement | Cas d'utilisation |
|---|---|---|
| Basse (0.1) | Choisit toujours le mot le plus probable | Réponses factuelles, code |
| Moyenne (0.7) | Un peu de variété, toujours cohérent | Conversation générale |
| Haute (1.0+) | Plus aléatoire, créatif, risqué | Écriture créative, remue-méninges |
Exemple à différentes températures
Invite : "Le temps aujourd'hui est"
- Température basse : "ensoleillé" (choisi 10/10 fois)
- Température moyenne : "ensoleillé" (7/10), "beau" (2/10), "agréable" (1/10)
- Température haute : "spectaculaire" (3/10), "rappelant le printemps" (2/10), "inattenduement doux" (2/10)...
La nature statistique des LLM
Les LLM sont des machines à probabilité
Cela explique de nombreux comportements
Pourquoi les LLM peuvent être "créatifs" : Ils peuvent choisir des mots moins probables mais valides.
Pourquoi les sorties varient : L'échantillonnage aléatoire signifie que différentes exécutions peuvent donner des réponses différentes.
Pourquoi ils peuvent se tromper : Haute probabilité ≠ correct. Les schémas "confiants" ne sont pas toujours vrais.
Comportements émergents
Lorsque vous combinez :
- Des milliards de paramètres
- Des trillions d'exemples d'entraînement
- La prédiction du mot suivant
Vous obtenez des capacités qui n'ont pas été explicitement programmées :
Exemples de capacités émergentes
| Capacité | Comment elle émerge |
|---|---|
| Traduction | Schémas appris à partir de textes multilingues |
| Génération de code | Schémas appris à partir de dépôts de code |
| Mathématiques | Schémas appris à partir de problèmes mathématiques et solutions |
| Raisonnement | Schémas appris à partir d'arguments logiques |
| Résumé | Appris à condenser à partir d'exemples de résumés |
Pourquoi cela fonctionne si bien
L'hypothèse de compression
Pour bien prédire le texte, un modèle doit comprendre implicitement :
- Grammaire et syntaxe
- Faits sur le monde
- Logique et raisonnement
- Différents styles d'écriture
- Contexte et flux de conversation
La prédiction force le modèle à apprendre tout cela.
L'hypothèse de mise à l'échelle
À mesure que les modèles deviennent plus grands :
- Ils apprennent plus de schémas
- Ils combinent les schémas plus efficacement
- De nouvelles capacités "émergent" à certaines échelles
- La performance continue de s'améliorer (jusqu'à présent)
Limitations de la prédiction
1. Correspondance de schémas, pas de raisonnement
Le modèle trouve des schémas, pas la vérité. Si des informations fausses apparaissent dans les schémas, elles peuvent être reproduites.
2. Pas de conscience de soi
Le modèle ne "sait" pas qu'il génère du texte. Il fait juste des prédictions.
3. Risque d'hallucination
Lorsqu'il n'existe pas de schéma fort, le modèle génère un texte plausible mais potentiellement faux.
4. Sensibilité à l'invite
De petits changements dans l'entrée peuvent causer de grands changements dans la sortie.
La boucle autorégressive
Autorégressif signifie que la sortie du modèle est réintroduite comme entrée pour la prédiction suivante.
Entrée : "Bonjour"
Prédit : "là"
Nouvelle entrée : "Bonjour là"
Prédit : "!"
Nouvelle entrée : "Bonjour là !"
Prédit : "Comment"
Nouvelle entrée : "Bonjour là ! Comment"
...et ainsi de suite
C'est pourquoi :
- Les longues sorties sont générées morceau par morceau
- Les erreurs précoces peuvent se cumuler
- Le modèle peut "voir" sa propre sortie précédente
Points clés à retenir
✅ Tout ce qu'un LLM fait est la prédiction du mot suivant
✅ Les probabilités sont calculées pour tous les mots suivants possibles
✅ La température contrôle l'aléatoire vs la prévisibilité
✅ L'échelle et l'entraînement permettent des capacités émergentes
✅ Prédiction ≠ compréhension, menant à des hallucinations
✅ Chaque mot généré devient une entrée pour la prédiction suivante
Réfléchissez-y
- Si un LLM prédit "Paris" avec 95% de probabilité pour "capitale de la France est ___", d'où vient ce 95% ?
- Pourquoi une température élevée peut-elle être bonne pour l'écriture créative mais mauvaise pour les questions factuelles ?
- Comment la boucle autorégressive explique-t-elle pourquoi les erreurs précoces dans une réponse peuvent entraîner plus d'erreurs ?
Prochaines étapes
Comprenons maintenant comment les LLM "se souviennent" des conversations dans Chapitre 3 : Contexte et mémoire.