Pular para o conteúdo principal

Capítulo 3: Espaços de Embedding e Representações

O que são Embeddings?​

Representações vetoriais densas que capturam o significado semântico:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = model.encode([
"Machine learning is fascinating",
"AI and ML are interesting topics",
"I like pizza"
])

# First two are similar, third is different

Similaridade Semântica​

similarity(A,B)=A⋅B∣∣A∣∣×∣∣B∣∣\text{similarity}(A, B) = \frac{A \cdot B}{||A|| \times ||B||}
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([embeddings[0]], [embeddings[1]])
# High similarity for related sentences

Aplicações​

AplicaçãoComo Embeddings Ajudam
BuscaEncontrar documentos semanticamente similares
AgrupamentoAgrupar conteúdos relacionados
RAGRecuperar contexto relevante
ClassificaçãoVetores de características para ML

Principais Pontos​

dica
  1. Embeddings capturam significado semântico em vetores
  2. Similaridade cosseno mede a relação semântica
  3. Essencial para RAG e busca semântica