Chapitre 2 : Modèles d'Embedding

Introduction

Choisir le bon modèle d'embedding est crucial pour la performance de RAG. Ce chapitre couvre les principaux fournisseurs d'embeddings et leurs modèles.

OpenAI Embeddings

text-embedding-3-small

from openai import OpenAI

client = OpenAI()

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-small"
)

embedding = response.data[0].embedding  # 1536 dimensions

Spécification	Valeur
Dimensions	1536
Max tokens	8191
Prix	$0.02 / 1M tokens
Qualité	Bonne

text-embedding-3-large

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=3072  # Can reduce: 256, 1024, etc.
)

Spécification	Valeur
Dimensions	3072 (configurable)
Max tokens	8191
Prix	$0.13 / 1M tokens
Qualité	Excellente

Réduction de Dimension

# Reduce dimensions for efficiency
response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=1024  # Reduced from 3072
)
# Still maintains good quality!

Cohere Embeddings

embed-v3

import cohere

co = cohere.Client("your-api-key")

response = co.embed(
    texts=["What is RAG?"],
    model="embed-english-v3.0",
    input_type="search_document"  # or "search_query"
)

embeddings = response.embeddings

Caractéristiques clés :

• Différents modes pour les documents vs les requêtes
• Options de compression
• Support multilingue

Spécification	Valeur
Dimensions	1024
Max tokens	512
Prix	$0.10 / 1M tokens
Qualité	Excellente

Types d'Entrée

# For indexing documents
doc_embeddings = co.embed(
    texts=documents,
    model="embed-english-v3.0",
    input_type="search_document"
)

# For search queries
query_embedding = co.embed(
    texts=[query],
    model="embed-english-v3.0",
    input_type="search_query"
)

Modèles Open Source

Sentence Transformers

from sentence_transformers import SentenceTransformer

# Load model
model = SentenceTransformer('all-MiniLM-L6-v2')

# Generate embeddings
embeddings = model.encode([
    "What is RAG?",
    "Retrieval Augmented Generation explained"
])

Modèles populaires :

Modèle	Dimensions	Qualité	Vitesse
all-MiniLM-L6-v2	384	Bonne	Rapide
all-mpnet-base-v2	768	Meilleure	Moyenne
multi-qa-mpnet-base	768	Meilleure pour Q&R	Moyenne

Modèles BGE (BAAI)

from sentence_transformers import SentenceTransformer

# BGE models
model = SentenceTransformer('BAAI/bge-large-en-v1.5')

# With instruction prefix (recommended)
queries = ["Represent this sentence for searching: What is RAG?"]
docs = ["Represent this document for retrieval: RAG combines..."]

query_emb = model.encode(queries)
doc_emb = model.encode(docs)

Modèle	Dimensions	Score MTEB
bge-small-en-v1.5	384	62.17
bge-base-en-v1.5	768	63.55
bge-large-en-v1.5	1024	64.23

Modèles E5 (Microsoft)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('intfloat/e5-large-v2')

# Requires prefixes
queries = ["query: What is RAG?"]
passages = ["passage: RAG is a technique..."]

Utilisation avec LangChain

# OpenAI
from langchain.embeddings import OpenAIEmbeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# Cohere
from langchain.embeddings import CohereEmbeddings
embeddings = CohereEmbeddings(model="embed-english-v3.0")

# HuggingFace
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-en-v1.5"
)

# Use with vector store
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings
)

Tableau de Comparaison

Modèle	Fournisseur	Dims	Prix/1M	Qualité	Vitesse
text-embedding-3-small	OpenAI	1536	$0.02	Bonne	Rapide
text-embedding-3-large	OpenAI	3072	$0.13	Excellente	Moyenne
embed-v3	Cohere	1024	$0.10	Excellente	Rapide
bge-large-en-v1.5	BAAI	1024	Gratuit	Excellente	Auto-hébergé
all-MiniLM-L6-v2	SBERT	384	Gratuit	Bonne	Très Rapide

Résumé

• OpenAI - Meilleur pour la plupart des cas d'utilisation, API facile
• Cohere - Qualité excellente, optimisation de recherche
• BGE/E5 - Meilleur open source, auto-hébergé
• MiniLM - Rapide et léger, suffisamment bon

---

Prochaines Étapes

Continuez vers Chapitre 3 : Choisir des Modèles pour des conseils de décision.