Capítulo 2: Modelos de Embedding

Introdução

Escolher o modelo de embedding correto é fundamental para o desempenho do RAG. Este capítulo apresenta os principais provedores de embedding e seus modelos.

Embeddings da OpenAI

text-embedding-3-small

from openai import OpenAI

client = OpenAI()

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-small"
)

embedding = response.data[0].embedding  # 1536 dimensions

Especificação	Valor
Dimensões	1536
Máx. tokens	8191
Preço	$0.02 / 1M tokens
Qualidade	Boa

text-embedding-3-large

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=3072  # Can reduce: 256, 1024, etc.
)

Especificação	Valor
Dimensões	3072 (configurável)
Máx. tokens	8191
Preço	$0.13 / 1M tokens
Qualidade	Excelente

Redução de Dimensionalidade

# Reduce dimensions for efficiency
response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=1024  # Reduced from 3072
)
# Still maintains good quality!

Embeddings da Cohere

embed-v3

import cohere

co = cohere.Client("your-api-key")

response = co.embed(
    texts=["What is RAG?"],
    model="embed-english-v3.0",
    input_type="search_document"  # or "search_query"
)

embeddings = response.embeddings

Principais características:

• Modos diferentes para documentos e queries
• Opções de compressão
• Suporte multilíngue

Especificação	Valor
Dimensões	1024
Máx. tokens	512
Preço	$0.10 / 1M tokens
Qualidade	Excelente

Tipos de Entrada

# For indexing documents
doc_embeddings = co.embed(
    texts=documents,
    model="embed-english-v3.0",
    input_type="search_document"
)

# For search queries
query_embedding = co.embed(
    texts=[query],
    model="embed-english-v3.0",
    input_type="search_query"
)

Modelos Open Source

Sentence Transformers

from sentence_transformers import SentenceTransformer

# Load model
model = SentenceTransformer('all-MiniLM-L6-v2')

# Generate embeddings
embeddings = model.encode([
    "What is RAG?",
    "Retrieval Augmented Generation explained"
])

Modelos populares:

Modelo	Dimensões	Qualidade	Velocidade
all-MiniLM-L6-v2	384	Boa	Rápida
all-mpnet-base-v2	768	Melhor	Média
multi-qa-mpnet-base	768	Melhor para Q&A	Média

Modelos BGE (BAAI)

from sentence_transformers import SentenceTransformer

# BGE models
model = SentenceTransformer('BAAI/bge-large-en-v1.5')

# With instruction prefix (recommended)
queries = ["Represent this sentence for searching: What is RAG?"]
docs = ["Represent this document for retrieval: RAG combines..."]

query_emb = model.encode(queries)
doc_emb = model.encode(docs)

Modelo	Dimensões	Pontuação MTEB
bge-small-en-v1.5	384	62.17
bge-base-en-v1.5	768	63.55
bge-large-en-v1.5	1024	64.23

Modelos E5 (Microsoft)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('intfloat/e5-large-v2')

# Requires prefixes
queries = ["query: What is RAG?"]
passages = ["passage: RAG is a technique..."]

Uso com LangChain

# OpenAI
from langchain.embeddings import OpenAIEmbeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# Cohere
from langchain.embeddings import CohereEmbeddings
embeddings = CohereEmbeddings(model="embed-english-v3.0")

# HuggingFace
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-en-v1.5"
)

# Use with vector store
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings
)

Tabela Comparativa

Modelo	Provedor	Dimensões	Preço/1M	Qualidade	Velocidade
text-embedding-3-small	OpenAI	1536	$0.02	Boa	Rápida
text-embedding-3-large	OpenAI	3072	$0.13	Excelente	Média
embed-v3	Cohere	1024	$0.10	Excelente	Rápida
bge-large-en-v1.5	BAAI	1024	Gratuito	Excelente	Self-host
all-MiniLM-L6-v2	SBERT	384	Gratuito	Boa	Muito rápida

Resumo

• OpenAI – Melhor para a maioria dos casos, API fácil de usar
• Cohere – Qualidade excelente, otimizado para busca
• BGE/E5 – Melhor open source, auto-hospedado
• MiniLM – Rápido e leve, qualidade suficiente

---

Próximos Passos

Continue para Capítulo 3: Escolhendo Modelos para orientações de decisão.