Quiz: Evaluación y Optimización
30 preguntas sobre evaluación de RAG, RAGAS y depuración.
P1: ¿Cuáles son las dos áreas principales de la evaluación de RAG?
Respuesta: Calidad de recuperación y calidad de generación.
P2: ¿Qué mide Precision@K?
Respuesta: El porcentaje de documentos recuperados (los primeros K) que son relevantes.
P3: ¿Qué mide Recall@K?
Respuesta: El porcentaje de todos los documentos relevantes que fueron recuperados en los primeros K.
P4: ¿Qué es MRR?
Respuesta: Mean Reciprocal Rank (Promedio de Rango Recíproco): mide qué tan alto aparece el primer documento relevante.
P5: ¿Qué mide la fidelidad (faithfulness)?
Respuesta: Si la respuesta generada está fundamentada en (respaldada por) el contexto recuperado.
P6: ¿Qué es RAGAS?
Respuesta: Retrieval Augmented Generation Assessment: un marco para la evaluación automatizada de RAG.
P7: ¿Qué mide context_precision en RAGAS?
Respuesta: Si los documentos recuperados son relevantes para la pregunta.
P8: ¿Qué mide context_recall?
Respuesta: Si se recuperó toda la información necesaria para responder.
P9: ¿Cuál es una buena puntuación de fidelidad (faithfulness)?
Respuesta: Por encima de 0.9 es excelente; por debajo de 0.7 indica problemas de alucinación.
P10: ¿Cuál es la causa principal de "documentos incorrectos recuperados"?
Respuesta: Tamaño de fragmento inadecuado, modelo de embedding incorrecto o ausencia de filtros de metadatos.
P11: ¿Para qué se utiliza LangSmith?
Respuesta: Trazado y depuración de aplicaciones LangChain: ver todas las llamadas y respuestas.
P12: ¿Cómo saber si el LLM está ignorando el contexto?
Respuesta: La respuesta no refleja los documentos recuperados o los contradice.
P13: ¿Qué causa alucinaciones en RAG?
Respuesta: Documentos incorrectos recuperados, el LLM extrapolando más allá del contexto o problemas con el prompt.
P14: ¿Cómo se reducen las alucinaciones?
Respuesta: Mejor recuperación, prompts de fundamentación explícitos, menor temperatura.
P15: ¿Qué datos necesita RAGAS?
Respuesta: Preguntas, respuestas, contextos (documentos recuperados) y respuestas de referencia (ground truth).
P16: ¿Con qué frecuencia se debe evaluar un sistema RAG?
Respuesta: De forma continua/semanal, especialmente después de cambios en los datos o el pipeline.
P17: ¿Primer paso de depuración para respuestas incorrectas?
Respuesta: Verificar qué documentos están siendo recuperados.
P18: ¿Cómo depurar problemas de prompt?
Respuesta: Imprimir el prompt completo que se envía al LLM.
P19: ¿Qué reduce la latencia en RAG?
Respuesta: Operaciones asíncronas, caché, modelos más pequeños, limitar el tamaño del contexto.
P20: ¿Qué reduce los costos en RAG?
Respuesta: Caché, modelos de embedding más pequeños, procesamiento por lotes (batching), limitar el contexto.
P21: ¿Qué es answer_relevancy en RAGAS?
Respuesta: Mide si la respuesta realmente aborda la pregunta realizada.
P22: Si context_recall es bajo, ¿cuál es el problema?
Respuesta: La recuperación está omitiendo documentos relevantes: se necesita una mejor recuperación.
P23: Si la fidelidad (faithfulness) es baja, ¿cuál es el problema?
Respuesta: El LLM está inventando información que no está en el contexto: alucinando.
P24: ¿Cómo comprobar si los embeddings funcionan?
Respuesta: Probar con documentos similares conocidos y verificar que estén cerca en el espacio vectorial.
P25: ¿Cuál es el Recall@K ideal?
Respuesta: Por encima de 0.9: se busca capturar la mayoría de los documentos relevantes.
P26: ¿Por qué hacer seguimiento de métricas a lo largo del tiempo?
Respuesta: Detectar degradación a medida que cambian los datos o después de actualizaciones del pipeline.
P27: ¿Qué es A/B testing en RAG?
Respuesta: Comparar dos configuraciones de RAG para ver cuál tiene mejor desempeño.
P28: ¿Qué herramienta cuenta los tokens en el contexto?
Respuesta: tiktoken para modelos de OpenAI, o tokenizadores específicos del modelo.
P29: ¿Cuándo usar evaluación automática vs manual?
Respuesta: Automática para escala/regresión; manual para evaluación cualitativa detallada.
P30: ¿Qué es ground truth en RAGAS?
Respuesta: La respuesta esperada/correcta contra la cual se comparan las respuestas generadas.
Resultados
| Puntuación | Nivel |
|---|---|
| 27-30 | Excelente |
| 21-26 | Bueno |
| 15-20 | Promedio |
| Menos de 15 | Requiere revisión |