Module 1 : Introduction aux modèles de langage de grande taille
Aperçu du module
Ce module d'introduction fournit une base complète pour comprendre les modèles de langage de grande taille (LLM). Nous explorerons ce qui rend ces modèles "grands", retracerons leur évolution à partir des approches antérieures et examinerons le paysage actuel des modèles disponibles.
Objectifs d'apprentissage
À la fin de ce module, vous serez en mesure de :
- ✅ Définir ce qui constitue un modèle de langage de grande taille
- ✅ Expliquer les caractéristiques clés qui distinguent les LLM des modèles antérieurs
- ✅ Décrire l'évolution historique des RNN aux Transformers
- ✅ Identifier les principaux fournisseurs de LLM et leurs offres
- ✅ Comparer les modèles open-source et propriétaires
Contenu du module
Chapitre 1 : Que sont les modèles de langage de grande taille ?
Explorez la définition, les caractéristiques d'échelle et les capacités émergentes des LLM. Comprenez ce qui les différencie des modèles de langage plus petits.
Chapitre 2 : Histoire - Des RNN aux Transformers
Retracez l'évolution des modèles de langage neuronaux des réseaux de neurones récurrents aux LSTM jusqu'à l'architecture révolutionnaire Transformer.
Chapitre 3 : Le paysage des LLM aujourd'hui
Examinez l'écosystème actuel des LLM, y compris les principaux acteurs comme OpenAI, Anthropic, Google et Meta, ainsi que la communauté open-source dynamique.
Aperçu des concepts clés
| Concept | Définition |
|---|---|
| Modèle de langage de grande taille | Réseau neuronal avec des milliards de paramètres entraîné sur de vastes corpus de texte |
| Capacités émergentes | Capacités qui apparaissent uniquement à grande échelle, absentes dans les modèles plus petits |
| Transformer | Architecture basée sur l'auto-attention, permettant un traitement parallèle |
| Pré-entraînement | Entraînement initial sur de grandes données textuelles non étiquetées |
| Lois de l'échelle | Relation prévisible entre la taille du modèle, les données et la performance |
Lectures recommandées
Avant de plonger dans ce module, envisagez de consulter :
- Attention Is All You Need - L'article original sur le Transformer
- Language Models are Few-Shot Learners - Article sur GPT-3
Estimation du temps
- Lecture : 2-3 heures
- Quiz : 30-45 minutes
- Total : 3-4 heures