Module 5 : Tokenisation et Embeddings
Comprendre comment le texte est converti en nombres et représenté dans l'espace vectoriel.
Objectifs d'apprentissage
- ✅ Comprendre la tokenisation BPE, WordPiece et SentencePiece
- ✅ Expliquer les limitations des fenêtres contextuelles et les solutions
- ✅ Décrire les espaces d'embedding et leurs applications
Chapitres
- Algorithmes de tokenisation : BPE, WordPiece, SentencePiece
- Fenêtres contextuelles : Limites, modèles à long contexte, découpage
- Espaces d'embedding : Représentations vectorielles, similarité, visualisation