Chapitre 3 : Espaces d'Embedding et Représentations
Qu'est-ce qu'un Embedding ?
Représentations vectorielles denses qui capturent le sens sémantique :
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = model.encode([
"Machine learning is fascinating",
"AI and ML are interesting topics",
"I like pizza"
])
# Les deux premiers sont similaires, le troisième est différent
Similarité Sémantique
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([embeddings[0]], [embeddings[1]])
# Haute similarité pour des phrases liées
Applications
| Application | Comment les Embeddings Aident |
|---|---|
| Recherche | Trouver des documents sémantiquement similaires |
| Regroupement | Grouper le contenu lié |
| RAG | Récupérer le contexte pertinent |
| Classification | Vecteurs de caractéristiques pour ML |
Points Clés
astuce
- Les embeddings capturent le sens sémantique dans des vecteurs
- La similarité cosinus mesure la relation sémantique
- Essentiel pour RAG et la recherche sémantique