Glosario de Sistemas RAG
Un glosario completo de términos utilizados en sistemas RAG (Generación Aumentada por Recuperación).
A
ANN (Approximate Nearest Neighbor): Algoritmos que encuentran vecinos aproximadamente más cercanos más rápido que la búsqueda exacta, intercambiando algo de precisión por velocidad.
Relevancia de la Respuesta: Métrica que mide qué tan bien la respuesta generada aborda la pregunta original.
B
BGE (Beijing Academy General Embedding): Modelos de embedding de código abierto de BAAI conocidos por su alta calidad.
BM25: Algoritmo de ranking basado en palabras clave utilizado en sistemas tradicionales de recuperación de información.
C
Chunk: Un segmento de texto creado al dividir documentos más grandes para su indexación y recuperación.
Superposición de Chunks: Texto compartido entre chunks consecutivos para preservar el contexto en los límites.
Chroma: Base de datos vectorial ligera y de código abierto, popular para desarrollo.
Precisión de Contexto: Métrica RAGAS que mide la relevancia de los documentos recuperados.
Recall de Contexto: Métrica RAGAS que mide si se recuperó toda la información necesaria.
Similitud de Coseno: Métrica de similitud que mide el ángulo entre dos vectores (rango: -1 a 1).
Cross-Encoder: Modelo que puntúa pares consulta-documento juntos para reordenar resultados.
D
Recuperación Densa: Recuperación utilizando representaciones vectoriales densas (embeddings) en lugar de palabras clave dispersas.
Cargador de Documentos: Componente que extrae texto de varios formatos de archivo (PDF, DOCX, etc.).
E
Embedding: Representación vectorial densa de texto que captura el significado semántico.
Distancia Euclidiana: Métrica de distancia que mide la distancia en línea recta entre vectores.
F
FAISS (Facebook AI Similarity Search): Biblioteca de alto rendimiento para búsqueda de similitud y agrupamiento de vectores densos.
Fidelidad: Métrica que mide si la respuesta generada está fundamentada en el contexto recuperado (sin alucinaciones).
Fine-tuning: Entrenamiento de un modelo con datos específicos para cambiar su comportamiento o conocimiento.
G
Generación: La fase en la que un LLM produce una respuesta utilizando el contexto recuperado.
GPT (Generative Pre-trained Transformer): Familia de modelos de lenguaje grande de OpenAI.
H
Alucinación: Cuando un LLM genera información falsa o no respaldada de manera confiada.
HNSW (Hierarchical Navigable Small World): Algoritmo basado en grafos, popular para búsqueda rápida de vecinos aproximadamente más cercanos.
HyDE (Hypothetical Document Embeddings): Técnica de generar una respuesta hipotética para mejorar la recuperación.
Búsqueda Híbrida: Combinación de búsqueda por palabras clave (BM25) y búsqueda semántica (vectorial).
I
Indexación: Proceso offline de preparar documentos para recuperación (cargar, dividir, embeder, almacenar).
Producto Interno (Producto Punto): Métrica de similitud; para vectores normalizados, equivalente a la similitud de coseno.
IVF (Inverted File Index): Algoritmo de búsqueda vectorial que agrupa vectores para una búsqueda más rápida.
K
Knowledge Cutoff: Fecha después de la cual un LLM no tiene conocimiento de datos de entrenamiento.
L
LangChain: Framework popular para construir aplicaciones LLM incluyendo pipelines RAG.
LangSmith: Plataforma de depuración y monitoreo para aplicaciones LangChain.
LCEL (LangChain Expression Language): Sintaxis declarativa para componer componentes de LangChain.
LlamaIndex: Framework enfocado en indexación y consulta de datos para aplicaciones LLM.
LLM (Large Language Model): Modelos de redes neuronales entrenados con grandes corpus de texto (GPT-4, Claude, Llama, etc.).
M
Metadatos: Información adicional almacenada junto con los documentos (fuente, fecha, autor, etc.).
Milvus: Base de datos vectorial distribuida y de código abierto para implementaciones a gran escala.
MMR (Maximum Marginal Relevance): Método de recuperación que equilibra relevancia con diversidad.
MRR (Mean Reciprocal Rank): Métrica que mide qué tan alto se ubica el primer documento relevante.
MTEB (Massive Text Embedding Benchmark): Benchmark estándar para comparar modelos de embedding.
Recuperación Multi-Consulta: Generación de múltiples variantes de consulta para mejorar la cobertura de recuperación.
Multi-Tenancy: Servicio a múltiples organizaciones desde una sola plataforma con aislamiento de datos.
N
Namespace: Partición en una base de datos vectorial para aislar datos (por ejemplo, por cliente).
O
OCR (Reconocimiento Óptico de Caracteres): Conversión de imágenes de texto en texto legible por máquina.
P
pgvector: Extensión de PostgreSQL que habilita la búsqueda de similitud vectorial.
Pinecone: Base de datos vectorial en la nube totalmente gestionada.
Precisión@K: Porcentaje de documentos recuperados (top K) que son relevantes.
Prompt: Entrada de texto a un LLM, a menudo incluyendo instrucciones y contexto.
Q
Qdrant: Base de datos vectorial de alto rendimiento escrita en Rust.
Expansión de Consulta: Adición de términos relacionados y sinónimos a una consulta.
Reescritura de Consulta: Uso de un LLM para reformular consultas y mejorar la recuperación.
R
RAG (Retrieval-Augmented Generation): Técnica que combina recuperación de documentos con generación por LLM.
RAGAS: Framework para evaluación automatizada de pipelines RAG.
Recall@K: Porcentaje de todos los documentos relevantes que aparecen en los primeros K resultados.
Reciprocal Rank Fusion (RRF): Método para combinar rankings de múltiples recuperadores.
Reordenamiento: Recalificación de los resultados iniciales de recuperación con un modelo más potente.
Recuperación: Fase online de búsqueda de documentos relevantes para una consulta.
Retriever: Componente que obtiene documentos relevantes de una base de conocimiento.
S
Cacheo Semántico: Almacenamiento en caché de resultados para consultas semánticamente similares.
Búsqueda Semántica: Encontrar documentos basados en el significado en lugar de palabras clave exactas.
Self-Query: Uso de un LLM para extraer tanto la consulta semántica como los filtros de metadatos de la entrada.
Sentence Transformers: Librería y modelos para generar embeddings de oraciones.
Sharding: Distribución de datos entre múltiples nodos de base de datos.
T
Text Splitter: Componente que divide documentos en chunks más pequeños.
Token: Unidad más pequeña de texto procesada por los LLMs (aproximadamente 4 caracteres en inglés).
Top-K: Los K resultados más similares/relevantes a devolver.
V
Vector: Arreglo numérico que representa texto en el espacio de embedding.
Base de Datos Vectorial: Base de datos optimizada para almacenar y buscar vectores de alta dimensión.
Vector Store: Componente que almacena embeddings y permite la búsqueda por similitud.
W
Weaviate: Base de datos vectorial de código abierto con vectorización incorporada.
Referencia Rápida
| Término | Categoría | Definición |
|---|---|---|
| RAG | Núcleo | Recuperación + Generación |
| Embedding | Núcleo | Representación vectorial |
| Chunk | Procesamiento | Segmento de texto |
| HNSW | Algoritmo | Búsqueda ANN |
| RAGAS | Evaluación | Evaluación RAG |
| Alucinación | Problema | Salida falsa |
| Top-K | Recuperación | Número de resultados |