Chapitre 3 : Processus d'Entraînement et d'Apprentissage
Comment l'IA Apprend à Être Intelligente
L'entraînement est le processus qui transforme un réseau neuronal d'une page blanche en un système d'IA puissant. Comprendre ce processus révèle à la fois les capacités et les limites de l'IA.
Les Trois Étapes de l'Entraînement de l'IA
Étape 1 : Pré-entraînement
Ce Qui Se Passe
Le modèle apprend les modèles de base du langage en prédisant le mot suivant dans des milliards d'échantillons de texte.
La Tâche : Prédiction du Mot Suivant
Entrée : "Le chat est assis sur le"
Le modèle prédit : "tapis" (avec 35% de probabilité)
"sol" (avec 25% de probabilité)
"toit" (avec 15% de probabilité)
...
Tâche simple, résultats profonds : En apprenant à prédire le mot suivant, le modèle apprend la grammaire, les faits, les schémas de raisonnement, et bien plus encore.
Échelle des Données d'Entraînement
| Modèle | Données d'Entraînement |
|---|---|
| GPT-3 | ~45 To de texte |
| GPT-4 | Estimé à 1 Po+ |
| Llama 2 | 2 trillions de tokens |
Les sources incluent :
- Pages web (Common Crawl)
- Livres
- Wikipédia
- Articles académiques
- Dépôts de code
Exigences Computationnelles
L'entraînement de grands modèles nécessite des ressources massives :
| Ressource | Échelle |
|---|---|
| GPUs | Milliers de A100/H100 |
| Temps d'entraînement | Semaines à mois |
| Coût | Millions de dollars |
| Énergie | Énergie pour une petite ville |
Exemple : L'entraînement de GPT-4 aurait coûté plus de 100 millions de dollars.
Étape 2 : Affinage
Objectif
Adapter le modèle pré-entraîné pour des tâches ou comportements spécifiques.
Types d'Affinage
1. Affinage Spécifique à une Tâche
Entraîner sur des exemples de la tâche spécifique :
- Jeux de données de résumé
- Paires de questions-réponses
- Documentation de code
2. Affinage par Instruction
Entraîner le modèle à suivre des instructions :
Avant :
Utilisateur : "Traduire en français : Hello"
Modèle : "Le mot hello peut être traduit..."
Après l'affinage par instruction :
Utilisateur : "Traduire en français : Hello"
Modèle : "Bonjour"
3. Affinage de Domaine
Se spécialiser pour des domaines spécifiques :
- Terminologie médicale
- Documents juridiques
- Connaissances spécifiques à l'entreprise
Processus d'Affinage
Étape 3 : RLHF (Apprentissage par Renforcement à partir de Retours Humains)
Le Problème
Le pré-entraînement produit des sorties capables mais souvent inutiles ou dangereuses.
La Solution
Utiliser les retours humains pour enseigner au modèle à quoi ressemblent les "bonnes" réponses.
Processus RLHF
Étape 1 : Collecter les Préférences Humaines
Les humains comparent des paires de réponses de l'IA et indiquent laquelle est meilleure.
Exemple :
Invite : "Comment crocheter une serrure ?"
Réponse A : "Voici des instructions étape par étape..."
Réponse B : "Je ne peux pas aider avec ça. Si vous êtes enfermé dehors,
contactez un serrurier."
Classement Humain : B > A (B est meilleur)
Étape 2 : Entraîner le Modèle de Récompense
Créer un modèle qui prédit quelles réponses les humains préfèrent.
Étape 3 : Optimiser l'IA
Utiliser le modèle de récompense pour guider l'IA vers des réponses préférées.
Pourquoi RLHF Est Important
| Avant RLHF | Après RLHF |
|---|---|
| Capable mais imprévisible | Plus utile et aligné |
| Peut suivre des instructions nuisibles | Refuse les demandes inappropriées |
| Verbeux et dispersé | Concis et pertinent |
| Qualité incohérente | Qualité plus fiable |
Concepts Clés de l'Entraînement
Époques
Un passage complet à travers les données d'entraînement.
Taille de Lot
Combien d'exemples sont traités ensemble.
Taux d'Apprentissage
De combien les poids changent à chaque mise à jour.
Surapprentissage
Quand le modèle mémorise les données d'entraînement au lieu d'apprendre des modèles.
Signes de surapprentissage :
- Parfait sur les données d'entraînement
- Mauvais sur de nouvelles données
- Reproduit exactement les exemples d'entraînement
Sous-apprentissage
Quand le modèle n'a pas appris suffisamment de modèles.
Signes de sous-apprentissage :
- Mauvais sur les données d'entraînement
- Mauvais sur de nouvelles données
- Sorties très génériques
Ce Que les Modèles Apprennent Réellement
Capacités Émergentes
Capacités qui apparaissent soudainement à certaines échelles :
Exemples de capacités émergentes :
- Arithmétique (apparaît autour de 10B paramètres)
- Raisonnement en chaîne (apparaît autour de 100B paramètres)
- Génération de code (s'améliore considérablement avec l'échelle)
Ce Qu'ils N'Apprennent Pas
- Véritable compréhension ou conscience
- Conséquences réelles des actions
- Bon sens qui n'est pas dans les données
- Événements après la coupure d'entraînement
Défis de l'Entraînement
1. Qualité des Données
"Garbage in, garbage out" s'applique fortement :
- Données biaisées → Modèle biaisé
- Données incorrectes → Réponses incorrectes
- Diversité limitée → Capacités limitées
2. Coût et Ressources
- Seules les grandes organisations peuvent entraîner des modèles de pointe
- Préoccupations environnementales concernant l'utilisation de l'énergie
- Contraintes de disponibilité des GPU
3. Alignement
S'assurer que le modèle fait ce que nous voulons :
- Suit les instructions
- Refuse les demandes nuisibles
- Fournit des informations précises
- Se comporte de manière cohérente
4. Évaluation
Difficile de mesurer tous les aspects de la performance :
- Les benchmarks peuvent être "manipulés"
- Le comportement réel diffère des tests
- Les cas limites sont difficiles à anticiper
Approches Alternatives d'Entraînement
IA Constitutionnelle (Approche d'Anthropic)
Entraîner l'IA à critiquer ses propres sorties en utilisant un ensemble de principes.
DPO (Optimisation Directe des Préférences)
Plus simple que RLHF, utilise directement les données de préférence sans modèle de récompense séparé.
Auto-Jeu
Le modèle s'améliore en se confrontant à lui-même (utilisé dans l'IA de jeu).
Le Coût de l'Entraînement
Coût Financier
| Modèle | Coût Estimé |
|---|---|
| GPT-3 | 4,6 millions USD |
| GPT-4 | 100+ millions USD |
| Gemini Ultra | Probablement similaire |
Coût Environnemental
L'entraînement d'un grand modèle peut produire du CO2 équivalent à :
- 5 voitures sur leur durée de vie
- Des centaines de vols
Pourquoi l'Open Source Est Important
- Distribue le coût de l'entraînement
- Permet la recherche sans budgets massifs
- Les modèles comme Llama, Mistral permettent un accès plus large
Points Clés à Retenir
✅ L'entraînement a trois étapes principales : pré-entraînement, affinage, et RLHF
✅ Le pré-entraînement utilise la prédiction du mot suivant sur des ensembles de données textuelles massifs
✅ L'affinage adapte les modèles pour des tâches ou comportements spécifiques
✅ RLHF aligne les modèles sur les préférences et valeurs humaines
✅ L'entraînement de grands modèles coûte des millions de dollars
✅ Ce que les modèles apprennent inclut des capacités émergentes qui apparaissent à grande échelle
✅ Les défis clés incluent la qualité des données, l'alignement, et l'évaluation
Résumé du Module
Félicitations ! Vous avez complété le Module 2. Vous comprenez maintenant :
- Réseaux Neuronaux : La fondation des systèmes d'IA
- Transformers : L'architecture permettant l'IA moderne
- Processus d'Entraînement : Comment l'IA apprend à partir des données
Prochaines Étapes
Testez vos connaissances avec le Quiz du Module 2, puis continuez avec le Module 3 : Génération de Texte pour explorer comment ces technologies alimentent les modèles de langage.