Module 3 : Entraînement des LLM
Aperçu du module
L'entraînement des modèles de langage de grande taille nécessite des ressources computationnelles massives, des données soigneusement sélectionnées et des techniques d'entraînement distribuées sophistiquées. Ce module explore le pipeline complet d'entraînement, des données au modèle entraîné.
Objectifs d'apprentissage
- ✅ Comprendre les objectifs de pré-entraînement (prédiction du prochain jeton, LM masqué)
- ✅ Expliquer les pipelines de collecte et de prétraitement des données
- ✅ Décrire les techniques d'entraînement distribué (données, modèle, parallélisme de tenseurs)
- ✅ Comprendre les exigences de calcul pour l'entraînement des LLM
Contenu du module
Chapitre 1 : Objectifs de pré-entraînement
Prédiction du prochain jeton, modélisation de langage masqué, approches causales vs bidirectionnelles.
Chapitre 2 : Collecte et prétraitement des données
Extraction web, nettoyage des données, déduplication, filtrage de qualité, tokenisation.
Chapitre 3 : Techniques d'entraînement distribué
Parallélisme de données, parallélisme de modèle, parallélisme de tenseurs, parallélisme de pipeline, ZeRO.