Chapitre 2 : De GPT à GPT-4
Brève histoire des LLM modernes
Le passage des premiers modèles de langage aux puissants assistants IA d'aujourd'hui s'est fait remarquablement vite : environ cinq ans ont suffi pour transformer ce que l'IA peut faire avec le langage.
Que signifie GPT ?
GPT = Générative Pré-entraînée Transformateur
- Générative : Elle génère du nouveau texte
- Pré-entraînée : Elle est entraînée sur beaucoup de données avant que vous ne l'utilisiez
- Transformateur : L'architecture (type de réseau neuronal) qu'elle utilise
L'architecture Transformer, introduite en 2017, a été la percée clé qui a rendu possibles les LLM modernes. Nous explorerons cela plus en détail dans le Module 2.
La chronologie de GPT
2018 : GPT-1 - Le début
| Métrique | Valeur |
|---|---|
| Paramètres | 117 millions |
| Données d'entraînement | ~5 Go de texte |
| Capacités | Complétion de texte basique |
Ce qu'il pouvait faire : Compléter des phrases, mais perdait souvent la cohérence sur des textes plus longs.
Signification : A prouvé que le pré-entraînement sur beaucoup de texte, puis l'ajustement pour des tâches spécifiques, était puissant.
2019 : GPT-2 - "Trop dangereux pour être publié"
| Métrique | Valeur |
|---|---|
| Paramètres | 1,5 milliard |
| Données d'entraînement | ~40 Go de texte |
| Capacités | Paragraphes cohérents |
Ce qu'il pouvait faire : Écrire des paragraphes cohérents et des articles courts qui semblaient souvent écrits par des humains.
La controverse : OpenAI n'a initialement pas publié le modèle complet, craignant une utilisation abusive pour de fausses nouvelles. Cela a déclenché des débats sur la sécurité de l'IA qui continuent aujourd'hui.
Démo célèbre : Étant donné le prompt sur les licornes dans les Andes, GPT-2 a généré un article de fausses nouvelles convaincant sur des scientifiques découvrant des licornes.
2020 : GPT-3 - Le changement de jeu
| Métrique | Valeur |
|---|---|
| Paramètres | 175 milliards |
| Données d'entraînement | ~570 Go de texte |
| Capacités | Apprentissage par quelques exemples |
Ce qu'il pouvait faire :
- Répondre à des questions
- Écrire du code
- Traduire des langues
- Résumer des documents
- Tout cela sans entraînement spécifique à une tâche !
La percée : "Apprentissage par quelques exemples"—vous pouviez simplement montrer à GPT-3 quelques exemples dans le prompt, et il comprenait quoi faire.
Exemple d'apprentissage par quelques exemples :
Traduire l'anglais en français :
Anglais : Hello → Français : Bonjour
Anglais : Thank you → Français : Merci
Anglais : Good morning → Français :
GPT-3 produirait correctement "Bonjour" sans aucun entraînement spécifique à la traduction.
2022 : ChatGPT - Le moment où l'IA est devenue grand public
| Métrique | Valeur |
|---|---|
| Modèle de base | GPT-3.5 |
| Innovation clé | Ajustement conversationnel |
| Jalons d'utilisateurs | 100 millions d'utilisateurs en 2 mois |
Ce qui a changé : ChatGPT n'était pas seulement un modèle plus intelligent—il était entraîné pour avoir des conversations en utilisant une technique appelée RLHF (Apprentissage par renforcement à partir de retours humains).
Le moment ChatGPT :
- Application grand public à la croissance la plus rapide de l'histoire
- A atteint 100 millions d'utilisateurs en 2 mois (TikTok a pris 9 mois, Instagram a pris 2,5 ans)
- A rendu l'IA accessible à tout le monde
Pourquoi cela semblait différent :
- Flux de conversation naturel
- Pouvait refuser des demandes nuisibles
- Admettait quand il ne savait pas quelque chose
- Semblait comme parler à un assistant utile
2023 : GPT-4 - Multimodal et plus capable
| Métrique | Valeur |
|---|---|
| Paramètres | Non divulgué (~1 trillion+) |
| Capacités | Texte + vision |
| Performance | Réussit de nombreux examens professionnels |
Nouvelles capacités :
- Vision : Peut comprendre les images, pas seulement le texte
- Contexte plus long : Peut traiter ~128 000 tokens (environ 300 pages)
- Meilleur raisonnement : Se classe dans les percentiles supérieurs sur de nombreux examens professionnels
Performance aux examens :
| Examen | GPT-3.5 | GPT-4 |
|---|---|---|
| Examen du barreau | Dernier 10% | Premier 10% |
| SAT Math | 70e percentile | 89e percentile |
| GRE Verbal | 63e percentile | 99e percentile |
Qu'est-ce qui s'est amélioré avec chaque version ?
1. Cohérence et longueur
2. Capacité de raisonnement
- GPT-2 : Pouvait faire correspondre des motifs mais pas raisonner
- GPT-3 : Raisonnement logique basique
- GPT-4 : Raisonnement complexe en plusieurs étapes
3. Suivi des instructions
- GPT-2 : Nécessitait que les prompts ressemblent aux données d'entraînement
- GPT-3 : Pouvait suivre des instructions simples
- ChatGPT : Conçu pour la conversation naturelle
- GPT-4 : Suit des instructions complexes et nuancées
4. Sécurité et alignement
- Premier GPT : Générerait n'importe quel contenu
- ChatGPT : Entraîné à refuser des demandes nuisibles
- GPT-4 : Compréhension plus nuancée de la sécurité
Le paysage concurrentiel
Le succès de ChatGPT a déclenché une course à l'IA :
2023 : L'année de la compétition des LLM
| Mois | Événement |
|---|---|
| Février | Google annonce Bard (maintenant Gemini) |
| Mars | Anthropic lance Claude |
| Mars | Lancement de GPT-4 |
| Juillet | Meta publie Llama 2 en open source |
| Décembre | Google lance Gemini |
Pourquoi la concurrence est importante :
- Innovation plus rapide
- Prix plus bas
- Plus d'options pour les utilisateurs
- Alternatives open source
Résumé des jalons clés
| Année | Jalons | Signification |
|---|---|---|
| 2017 | Architecture Transformer | La fondation de tous les LLM modernes |
| 2018 | GPT-1 | A prouvé que le pré-entraînement fonctionne |
| 2019 | GPT-2 | A montré des capacités préoccupantes |
| 2020 | GPT-3 | A démontré l'apprentissage par quelques exemples |
| 2022 | ChatGPT | A rendu l'IA accessible à tout le monde |
| 2023 | GPT-4 | A atteint un niveau humain sur de nombreuses tâches |
| 2023 | Explosion open source | A démocratisé l'accès à la technologie LLM |
Pourquoi GPT est devenu célèbre
Plusieurs facteurs combinés :
- Accessibilité : ChatGPT était gratuit et facile à utiliser
- Capacité : Il pouvait réellement faire des choses utiles
- Conversationnel : Il était naturel d'interagir avec
- Timing : Le travail à distance a rendu les outils numériques plus importants
- Viralité : Des résultats étonnants ont été largement partagés sur les réseaux sociaux
Points clés à retenir
✅ GPT a évolué de 117M à 1T+ paramètres en 5 ans
✅ Chaque version a apporté des améliorations qualitatives, pas seulement quantitatives
✅ L'innovation de ChatGPT résidait dans l'utilisabilité, pas seulement dans la capacité
✅ GPT-4 a ajouté la vision et a considérablement amélioré le raisonnement
✅ La concurrence stimule une innovation rapide dans toute l'industrie
Réfléchissez-y
- Pourquoi pensez-vous que ChatGPT s'est répandu plus rapidement que toute technologie précédente ?
- Que pourrait faire GPT-5 que GPT-4 ne peut pas ?
- Comment les modèles open source pourraient-ils changer le paysage de l'IA ?
Prochaines étapes
Voyons maintenant qui d'autre construit des LLM dans Chapitre 3 : Principaux fournisseurs de LLM.