Glossário de Sistemas RAG
Um glossário abrangente de termos usados em sistemas RAG (Geração Aumentada por Recuperação).
A
ANN (Approximate Nearest Neighbor): Algoritmos que encontram vizinhos aproximadamente mais próximos mais rápido do que a busca exata, trocando um pouco de precisão por velocidade.
Relevância da Resposta: Métrica que mede o quanto a resposta gerada aborda a pergunta original.
B
BGE (Beijing Academy General Embedding): Modelos de embedding open-source da BAAI conhecidos por alta qualidade.
BM25: Algoritmo de ranqueamento baseado em palavras-chave usado em sistemas tradicionais de recuperação de informação.
C
Chunk: Um segmento de texto criado ao dividir documentos maiores para indexação e recuperação.
Sobreposição de Chunk: Texto compartilhado entre chunks consecutivos para preservar o contexto nas bordas.
Chroma: Banco de dados vetorial open-source e leve, popular para desenvolvimento.
Precisão de Contexto: Métrica RAGAS que mede a relevância dos documentos recuperados.
Revocação de Contexto: Métrica RAGAS que mede se todas as informações necessárias foram recuperadas.
Similaridade Cosseno: Métrica de similaridade que mede o ângulo entre dois vetores (intervalo: -1 a 1).
Cross-Encoder: Modelo que pontua pares de consulta-documento juntos para reranqueamento.
D
Recuperação Densa: Recuperação usando representações vetoriais densas (embeddings) ao invés de palavras-chave esparsas.
Carregador de Documento: Componente que extrai texto de vários formatos de arquivo (PDF, DOCX, etc.).
E
Embedding: Representação vetorial densa de texto que captura significado semântico.
Distância Euclidiana: Métrica de distância que mede a distância em linha reta entre vetores.
F
FAISS (Facebook AI Similarity Search): Biblioteca de alto desempenho para busca por similaridade e clusterização de vetores densos.
Fidedignidade: Métrica que mede se a resposta gerada está fundamentada no contexto recuperado (sem alucinações).
Fine-tuning: Treinamento de um modelo em dados específicos para alterar seu comportamento ou conhecimento.
G
Geração: A fase em que um LLM produz uma resposta usando o contexto recuperado.
GPT (Generative Pre-trained Transformer): Família de modelos de linguagem de grande porte da OpenAI.
H
Alucinação: Quando um LLM gera informações falsas ou não suportadas com confiança.
HNSW (Hierarchical Navigable Small World): Algoritmo baseado em grafos popular para busca rápida de vizinhos aproximadamente mais próximos.
HyDE (Hypothetical Document Embeddings): Técnica de gerar uma resposta hipotética para melhorar a recuperação.
Busca Híbrida: Combinação de busca por palavras-chave (BM25) e busca semântica (vetorial).
I
Indexação: Processo offline de preparar documentos para recuperação (carregar, dividir, embutir, armazenar).
Produto Interno (Produto Escalar): Métrica de similaridade; para vetores normalizados, equivalente à similaridade cosseno.
IVF (Inverted File Index): Algoritmo de busca vetorial que agrupa vetores para busca mais rápida.
K
Knowledge Cutoff: A data após a qual um LLM não possui conhecimento de dados de treinamento.
L
LangChain: Framework popular para construir aplicações com LLM, incluindo pipelines RAG.
LangSmith: Plataforma de depuração e monitoramento para aplicações LangChain.
LCEL (LangChain Expression Language): Sintaxe declarativa para compor componentes LangChain.
LlamaIndex: Framework focado em indexação e consulta de dados para aplicações com LLM.
LLM (Large Language Model): Modelos de redes neurais treinados em grandes corpora de texto (GPT-4, Claude, Llama, etc.).
M
Metadados: Informações adicionais armazenadas com documentos (fonte, data, autor, etc.).
Milvus: Banco de dados vetorial open-source e distribuído para implantações em larga escala.
MMR (Maximum Marginal Relevance): Método de recuperação que equilibra relevância com diversidade.
MRR (Mean Reciprocal Rank): Métrica que mede quão alto o primeiro documento relevante é ranqueado.
MTEB (Massive Text Embedding Benchmark): Benchmark padrão para comparação de modelos de embedding.
Recuperação Multi-Consulta: Geração de múltiplas variações de consulta para melhorar a cobertura da recuperação.
Multi-Tenancy: Atender múltimas organizações a partir de uma única plataforma com isolamento de dados.
N
Namespace: Partição em um banco de dados vetorial para isolar dados (por exemplo, por cliente).
O
OCR (Optical Character Recognition): Conversão de imagens de texto em texto legível por máquina.
P
pgvector: Extensão do PostgreSQL que habilita busca por similaridade vetorial.
Pinecone: Banco de dados vetorial em nuvem totalmente gerenciado.
Precisão@K: Percentual de documentos recuperados (top K) que são relevantes.
Prompt: Entrada de texto para um LLM, frequentemente incluindo instruções e contexto.
Q
Qdrant: Banco de dados vetorial de alto desempenho escrito em Rust.
Expansão de Consulta: Adição de termos relacionados e sinônimos a uma consulta.
Reescrita de Consulta: Uso de um LLM para reformular consultas visando melhor recuperação.
R
RAG (Retrieval-Augmented Generation): Técnica que combina recuperação de documentos com geração por LLM.
RAGAS: Framework para avaliação automatizada de pipelines RAG.
Recall@K: Percentual de todos os documentos relevantes que aparecem nos top K resultados.
Reciprocal Rank Fusion (RRF): Método para combinar rankings de múltiplos recuperadores.
Reranqueamento: Reavaliação dos resultados iniciais de recuperação com um modelo mais poderoso.
Recuperação: Fase online de encontrar documentos relevantes para uma consulta.
Retriever: Componente que busca documentos relevantes em uma base de conhecimento.
S
Cache Semântico: Armazenamento em cache de resultados para consultas semanticamente similares.
Busca Semântica: Encontrar documentos com base no significado em vez de palavras-chave exatas.
Self-Query: Uso de um LLM para extrair tanto a consulta semântica quanto filtros de metadados a partir da entrada.
Sentence Transformers: Biblioteca e modelos para geração de embeddings de sentenças.
Sharding: Distribuição de dados entre múltiplos nós de banco de dados.
T
Text Splitter: Componente que divide documentos em chunks menores.
Token: Menor unidade de texto processada por LLMs (aproximadamente 4 caracteres em inglês).
Top-K: Os K resultados mais similares/relevantes a serem retornados.
V
Vetor: Array numérico que representa texto no espaço de embedding.
Banco de Dados Vetorial: Banco de dados otimizado para armazenar e buscar vetores de alta dimensão.
Vector Store: Componente que armazena embeddings e permite busca por similaridade.
W
Weaviate: Banco de dados vetorial open-source com vetorização embutida.
Referência Rápida
| Termo | Categoria | Definição |
|---|---|---|
| RAG | Core | Recuperação + Geração |
| Embedding | Core | Representação vetorial |
| Chunk | Processamento | Segmento de texto |
| HNSW | Algoritmo | Busca ANN |
| RAGAS | Avaliação | Avaliação de RAG |
| Alucinação | Problema | Saída falsa |
| Top-K | Recuperação | Número de resultados |