Chapitre 1 : Comprendre les modèles de langage
De l'autocomplétion à la conversation
Vous utilisez des modèles de langage tous les jours, probablement sans vous en rendre compte. Lorsque votre téléphone suggère le mot suivant pendant que vous tapez, c'est un simple modèle de langage en action. Les grands modèles de langage sont le même concept, mais de manière beaucoup plus puissante.
Qu'est-ce qu'un modèle de langage ?
Un modèle de langage est un programme informatique qui prédit quel texte vient ensuite. Donnez-lui un début, et il prédit une continuation.
L'analogie de l'autocomplétion
Pensez à l'autocomplétion de votre téléphone :
- Vous tapez "Bon mat..."
- Votre téléphone suggère "matin"
- Vous tapez "Comment ça va..."
- Votre téléphone suggère "vous"
C'est un modèle de langage dans sa forme la plus simple. Il a appris à partir de millions de messages texte que "Bon mat..." est généralement suivi de "matin".
Les LLM sont la même idée, mais au lieu de prédire des mots uniques, ils peuvent prédire des paragraphes entiers, des essais, voire des livres.
Comment la prédiction devient conversation
Voici l'idée clé : générer du texte, c'est simplement prédire ce qui vient ensuite, une pièce à la fois.
Quand vous demandez à ChatGPT "Quelle est la capitale de la France ?", voici ce qui se passe :
- Le modèle voit votre question
- Il prédit le mot suivant le plus probable : "La"
- Puis le suivant : "capitale"
- Puis : "de"
- Puis : "la"
- Puis : "France"
- Puis : "est"
- Puis : "Paris"
- Et ainsi de suite...
Chaque mot est une prédiction basée sur tout ce qui précède. La magie est qu'après un entraînement sur des milliards d'exemples, ces prédictions deviennent remarquablement cohérentes et utiles.
Pourquoi "grand" est important
Le mot "grand" dans Grand Modèle de Langage se réfère à deux choses :
1. Taille du modèle (Paramètres)
| Modèle | Paramètres | Analogie |
|---|---|---|
| Autocomplétion simple | Milliers | Un dictionnaire de poche |
| GPT-2 (2019) | 1,5 milliard | Une petite bibliothèque |
| GPT-3 (2020) | 175 milliards | Une immense bibliothèque universitaire |
| GPT-4 (2023) | ~1 trillion+ | Toutes les bibliothèques du monde combinées |
Les paramètres sont comme les cellules de mémoire du modèle. Plus de paramètres signifie que le modèle peut stocker plus de motifs et de relations.
2. Taille des données d'entraînement
Les LLM modernes sont entraînés sur :
- Des milliards de pages web
- Des millions de livres
- Des articles scientifiques
- Des dépôts de code
- Wikipédia (toutes langues)
- Des articles de presse
- Et bien plus encore...
L'échelle change tout
Quelque chose de remarquable se produit lorsque vous rendez ces modèles suffisamment grands : des capacités émergentes apparaissent.
Qu'est-ce que les capacités émergentes ?
Ce sont des capacités qui n'ont pas été explicitement programmées mais qui "émergent" de l'échelle :
- Raisonnement : Résoudre des problèmes logiques étape par étape
- Génération de code : Écrire des programmes fonctionnels
- Traduction : Convertir entre les langues
- Résumé : Condenser de longs documents
- Écriture créative : Générer des histoires, des poèmes, et plus
Les petits modèles ne peuvent pas faire ces choses. Les grands modèles le peuvent soudainement—c'est comme une transition de phase en physique.
Du calculateur à l'assistant
À mesure que les modèles ont grandi :
- 2018 : Pouvaient compléter des phrases
- 2019 : Pouvaient écrire des paragraphes cohérents
- 2020 : Pouvaient répondre à des questions et avoir des conversations
- 2022 : Pouvaient raisonner, coder, et créer de manière sophistiquée
- 2023 : Pouvaient traiter des images, de l'audio, et plus
Ce que les LLM "savent" réellement
Voici une distinction importante :
Les LLM ne stockent pas les faits comme une base de données
Ils n'ont pas une table disant "Capitale de la France = Paris." Au lieu de cela, ils ont appris que lorsque le texte commence par "La capitale de la France est...", il est presque toujours suivi de "Paris."
Ils ont appris des motifs, pas mémorisé des faits
C'est pourquoi les LLM peuvent :
- Générer du contenu créatif qu'ils n'ont jamais vu
- Combiner des idées de nouvelles façons
- Parfois faire des erreurs sur les "faits"
Pensez-y comme ceci : Une personne bien lue ne mémorise pas chaque phrase qu'elle a jamais lue. Au lieu de cela, elle développe une compréhension de la façon dont le langage fonctionne et quels concepts sont liés les uns aux autres.
Exemples concrets
Exemple 1 : Rédaction de courriels
Vous commencez à taper : "J'espère que ce courriel vous trouve..." Le LLM prédit : "...bien. Je vous contacte au sujet de notre prochaine réunion..."
Exemple 2 : Complétion de code
Vous écrivez : def calculer_moyenne(nombres):
Le LLM prédit la fonction entière basée sur le nom et les motifs courants.
Exemple 3 : Écriture créative
Vous demandez : "Écris un haïku sur la programmation" Le LLM génère un poème qui suit la structure du haïku parce qu'il a appris ces motifs.
Points clés à retenir
✅ Les modèles de langage prédisent quel texte vient ensuite
✅ "Grand" signifie des milliards de paramètres et des données d'entraînement vastes
✅ L'échelle permet des capacités émergentes comme le raisonnement et la création
✅ Les LLM apprennent des motifs, pas des faits—cela a des implications importantes
✅ Chaque réponse est une série de prédictions, un jeton à la fois
Réfléchissez-y
Avant de continuer, considérez :
- Lorsque vous utilisez l'autocomplétion sur votre téléphone, quels motifs a-t-il appris de votre saisie ?
- Pourquoi la prédiction du "mot suivant" pourrait-elle mener à des paragraphes cohérents ?
- Qu'est-ce qui pourrait mal tourner lorsqu'un modèle ne fait que prédire des motifs ?
Prochaines étapes
Maintenant que vous comprenez ce que sont les modèles de langage, explorons comment ils ont évolué dans Chapitre 2 : De GPT à GPT-4.