Capítulo 2: Modelos de Embedding

Introducción

Elegir el modelo de embedding adecuado es crucial para el rendimiento de RAG. Este capítulo cubre los principales proveedores de embeddings y sus modelos.

Embeddings de OpenAI

text-embedding-3-small

from openai import OpenAI

client = OpenAI()

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-small"
)

embedding = response.data[0].embedding  # 1536 dimensions

Especificación	Valor
Dimensiones	1536
Máx. tokens	8191
Precio	$0.02 / 1M tokens
Calidad	Buena

text-embedding-3-large

response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=3072  # Can reduce: 256, 1024, etc.
)

Especificación	Valor
Dimensiones	3072 (configurable)
Máx. tokens	8191
Precio	$0.13 / 1M tokens
Calidad	Excelente

Reducción de Dimensiones

# Reduce dimensions for efficiency
response = client.embeddings.create(
    input="What is RAG?",
    model="text-embedding-3-large",
    dimensions=1024  # Reduced from 3072
)
# Still maintains good quality!

Embeddings de Cohere

embed-v3

import cohere

co = cohere.Client("your-api-key")

response = co.embed(
    texts=["What is RAG?"],
    model="embed-english-v3.0",
    input_type="search_document"  # or "search_query"
)

embeddings = response.embeddings

Características clave:

• Diferentes modos para documentos y consultas
• Opciones de compresión
• Soporte multilingüe

Especificación	Valor
Dimensiones	1024
Máx. tokens	512
Precio	$0.10 / 1M tokens
Calidad	Excelente

Tipos de Entrada

# For indexing documents
doc_embeddings = co.embed(
    texts=documents,
    model="embed-english-v3.0",
    input_type="search_document"
)

# For search queries
query_embedding = co.embed(
    texts=[query],
    model="embed-english-v3.0",
    input_type="search_query"
)

Modelos Open Source

Sentence Transformers

from sentence_transformers import SentenceTransformer

# Load model
model = SentenceTransformer('all-MiniLM-L6-v2')

# Generate embeddings
embeddings = model.encode([
    "What is RAG?",
    "Retrieval Augmented Generation explained"
])

Modelos populares:

Modelo	Dimensiones	Calidad	Velocidad
all-MiniLM-L6-v2	384	Buena	Rápida
all-mpnet-base-v2	768	Mejor	Media
multi-qa-mpnet-base	768	Mejor para Q&A	Media

Modelos BGE (BAAI)

from sentence_transformers import SentenceTransformer

# BGE models
model = SentenceTransformer('BAAI/bge-large-en-v1.5')

# With instruction prefix (recommended)
queries = ["Represent this sentence for searching: What is RAG?"]
docs = ["Represent this document for retrieval: RAG combines..."]

query_emb = model.encode(queries)
doc_emb = model.encode(docs)

Modelo	Dimensiones	Puntuación MTEB
bge-small-en-v1.5	384	62.17
bge-base-en-v1.5	768	63.55
bge-large-en-v1.5	1024	64.23

Modelos E5 (Microsoft)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('intfloat/e5-large-v2')

# Requires prefixes
queries = ["query: What is RAG?"]
passages = ["passage: RAG is a technique..."]

Uso con LangChain

# OpenAI
from langchain.embeddings import OpenAIEmbeddings
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

# Cohere
from langchain.embeddings import CohereEmbeddings
embeddings = CohereEmbeddings(model="embed-english-v3.0")

# HuggingFace
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-en-v1.5"
)

# Use with vector store
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings
)

Tabla Comparativa

Modelo	Proveedor	Dims	Precio/1M	Calidad	Velocidad
text-embedding-3-small	OpenAI	1536	$0.02	Buena	Rápida
text-embedding-3-large	OpenAI	3072	$0.13	Excelente	Media
embed-v3	Cohere	1024	$0.10	Excelente	Rápida
bge-large-en-v1.5	BAAI	1024	Gratis	Excelente	Auto-hospedado
all-MiniLM-L6-v2	SBERT	384	Gratis	Buena	Muy rápida

Resumen

• OpenAI - Mejor para la mayoría de los casos, API sencilla
• Cohere - Calidad excelente, optimizado para búsqueda
• BGE/E5 - Mejor open source, auto-hospedado
• MiniLM - Rápido y ligero, suficientemente bueno

---

Próximos Pasos

Continúe a Capítulo 3: Selección de Modelos para orientación en la toma de decisiones.