Chapitre 1 : Modèles de langage de grande taille (LLMs)
Comprendre l'IA derrière la génération de texte
Les modèles de langage de grande taille sont la technologie qui alimente ChatGPT, Claude, et pratiquement tous les systèmes modernes de génération de texte. Comprendre ce qu'ils sont et comment ils fonctionnent est fondamental pour les utiliser efficacement.
Qu'est-ce qui rend un modèle de langage "grand" ?
Paramètres
Le terme "grand" dans LLM se réfère principalement au nombre de paramètres—les valeurs ajustables qui stockent ce que le modèle a appris.
| Modèle | Paramètres | Taille relative |
|---|---|---|
| BERT (2018) | 340 millions | Petit |
| GPT-2 (2019) | 1,5 milliard | Moyen |
| GPT-3 (2020) | 175 milliards | Grand |
| GPT-4 (2023) | ~1,7 trillion | Énorme |
| Llama 3 (2024) | Jusqu'à 405B | Grand |
Données d'entraînement
"Grand" se réfère également aux données d'entraînement—des téraoctets de texte provenant de :
- Livres et publications
- Sites web et articles
- Répertoires de code
- Conversations et forums
- Articles académiques
Ressources de calcul
L'entraînement nécessite des milliers de GPU fonctionnant pendant des semaines ou des mois.
Comment les LLM génèrent du texte
Le processus central : Prédiction du prochain jeton
Au cœur, les LLM prédisent "ce qui vient ensuite" étant donné le texte précédent :
Le modèle ne récupère pas d'informations—il génère du texte basé sur des motifs appris.
Jeton par jeton
La génération se fait un jeton à la fois :
Étape 1 : "Le temps aujourd'hui est" → "ensoleillé"
Étape 2 : "Le temps aujourd'hui est ensoleillé" → "et"
Étape 3 : "Le temps aujourd'hui est ensoleillé et" → "chaud"
...continue jusqu'à la fin
Capacités clés des LLM
1. Compréhension du langage naturel
Les LLM peuvent :
- Analyser des phrases complexes
- Comprendre le contexte et les nuances
- Identifier le sentiment et le ton
- Extraire des informations clés
2. Génération de texte
Les LLM peuvent produire :
- Paragraphes et essais cohérents
- Différents styles et tons
- Contenu technique et créatif
- Plusieurs langues
3. Suivi des instructions
Les LLM modernes peuvent :
- Répondre à des demandes spécifiques
- Suivre des instructions en plusieurs étapes
- Adapter le format de sortie
- Poser des questions de clarification
4. Apprentissage en contexte
Les LLM peuvent :
- Apprendre à partir d'exemples dans le prompt
- Appliquer des motifs à partir de quelques exemples
- S'adapter sans réentraînement
Paramètres importants pour les utilisateurs
Température
Contrôle l'aléatoire/la créativité :
| Température | Effet | Meilleur pour |
|---|---|---|
| 0.0 - 0.3 | Très prévisible, concentré | Contenu factuel, code |
| 0.4 - 0.7 | Équilibré | Écriture générale |
| 0.8 - 1.0+ | Créatif, varié | Remue-méninges, écriture créative |
Max Tokens
Définit la longueur maximale de la réponse.
Top-P (Échantillonnage de Noyau)
Alternative à la température—considère uniquement les jetons les plus probables qui s'additionnent à la probabilité P.
Pénalités de fréquence/présence
Réduit la répétition en pénalisant les jetons qui sont déjà apparus.
Fenêtre de contexte : La limite de mémoire
La fenêtre de contexte détermine combien de texte le modèle peut "se souvenir" dans une conversation.
Tailles des fenêtres de contexte
| Modèle | Fenêtre de Contexte | Mots Approximatifs |
|---|---|---|
| GPT-3.5 | 16K jetons | ~12,000 mots |
| GPT-4 | 128K jetons | ~100,000 mots |
| Claude 3 | 200K jetons | ~150,000 mots |
| Gemini 1.5 | 1M+ jetons | ~750,000 mots |
Pourquoi le contexte est important
- Les conversations plus longues restent cohérentes
- Peut analyser des documents entiers
- Référence des informations antérieures
- Meilleure compréhension des sujets complexes
Capacités vs. Limitations
Ce que les LLM excellent à faire ✅
-
Écriture et édition
- Génération de brouillons
- Amélioration du style
- Correction grammaticale
-
Résumé
- Documents longs aux points clés
- Notes de réunion
- Articles de recherche
-
Traduction
- Traductions naturelles
- Sensibilité au contexte culturel
- Paires de langues multiples
-
Assistance au code
- Écriture de code
- Débogage
- Explication
-
Analyse
- Revue de documents
- Analyse de sentiment
- Identification de motifs
Ce que les LLM ont du mal à faire ❌
-
Précision factuelle
- Peut halluciner des faits
- Pas d'informations en temps réel
- Peut confondre des détails
-
Raisonnement mathématique
- Calculs complexes peu fiables
- Énigmes logiques aléatoires
- Devrait être vérifié
-
Mémoire cohérente
- Limité à la fenêtre de contexte
- Pas de véritable mémoire à long terme
- Peut se contredire
-
Événements actuels
- Date de coupure des connaissances
- Pas de données en temps réel
- Peut être obsolète
-
Compréhension du monde physique
- Raisonnement spatial faible
- Causalité physique floue
- Conséquences réelles
L'importance des prompts
La qualité de votre sortie dépend fortement de votre entrée.
Bonnes caractéristiques de prompt
❌ Mauvais : "Écrivez quelque chose sur l'IA"
✅ Bon : "Rédigez une introduction de billet de blog de 300 mots
expliquant l'intelligence artificielle aux propriétaires de
petites entreprises. Utilisez un langage simple, incluez
un exemple réel, et terminez par une question pour engager
les lecteurs."
Composants de prompt
- Tâche : Ce que vous voulez faire
- Contexte : Informations de base
- Format : Comment la sortie doit apparaître
- Exemples : Exemples d'entrées/sorties
- Contraintes : Limitations ou exigences
Comprendre "l'hallucination"
Les LLM peuvent générer des informations confiantes mais incorrectes.
Pourquoi cela arrive
- Le modèle prédit un texte plausible, pas des faits vérifiés
- Les données d'entraînement peuvent contenir des erreurs
- Le modèle n'a aucun moyen de vérifier la vérité
Comment atténuer
- Vérifiez indépendamment les faits importants
- Demandez des sources (bien qu'elles puissent être inventées)
- Utilisez pour des brouillons, pas comme autorité finale
- Recoupez avec des sources fiables
Points clés à retenir
✅ Les LLM sont "grands" en raison des paramètres, des données d'entraînement et du calcul
✅ Ils génèrent du texte en prédisant le prochain jeton
✅ La température et d'autres réglages contrôlent les caractéristiques de sortie
✅ La fenêtre de contexte limite la quantité que le modèle peut considérer
✅ Ils excellent dans l'écriture, le résumé et l'analyse
✅ Ils ont du mal avec les faits, les mathématiques et les informations en temps réel
✅ La qualité du prompt affecte significativement la qualité de la sortie
Prochaines étapes
Comparons maintenant les principales plateformes dans Chapitre 2 : ChatGPT, Claude, et les concurrents.