Quiz: Avaliação e Otimização
30 perguntas sobre avaliação de RAG, RAGAS e depuração.
Q1: Quais são as duas principais áreas de avaliação de RAG?
Resposta: Qualidade da recuperação e qualidade da geração.
Q2: O que o Precision@K mede?
Resposta: A porcentagem de documentos recuperados (top K) que são relevantes.
Q3: O que o Recall@K mede?
Resposta: A porcentagem de todos os documentos relevantes que foram recuperados no top K.
Q4: O que é MRR?
Resposta: Mean Reciprocal Rank - mede quão alto o primeiro documento relevante aparece.
Q5: O que a fidelidade (faithfulness) mede?
Resposta: Se a resposta gerada está fundamentada (apoiada) no contexto recuperado.
Q6: O que é RAGAS?
Resposta: Retrieval Augmented Generation Assessment - um framework para avaliação automatizada de RAG.
Q7: O que o context_precision mede no RAGAS?
Resposta: Se os documentos recuperados são relevantes para a pergunta.
Q8: O que o context_recall mede?
Resposta: Se todas as informações necessárias para responder foram recuperadas.
Q9: Qual é uma boa pontuação de fidelidade (faithfulness)?
Resposta: Acima de 0,9 é excelente; abaixo de 0,7 indica problemas de alucinação.
Q10: Qual é a principal causa de "documentos errados recuperados"?
Resposta: Tamanho de chunk inadequado, modelo de embedding errado ou ausência de filtros de metadados.
Q11: Para que serve o LangSmith?
Resposta: Rastrear e depurar aplicações LangChain - visualizar todas as chamadas e respostas.
Q12: Como saber se o LLM está ignorando o contexto?
Resposta: A resposta não reflete os documentos recuperados ou os contradiz.
Q13: O que causa alucinações em RAG?
Resposta: Documentos errados recuperados, LLM extrapolando além do contexto ou problemas no prompt.
Q14: Como reduzir alucinações?
Resposta: Melhor recuperação, prompts de grounding explícitos, temperatura mais baixa.
Q15: Quais dados o RAGAS precisa?
Resposta: Perguntas, respostas, contextos (docs recuperados) e respostas de referência (ground truth).
Q16: Com que frequência você deve avaliar sistemas RAG?
Resposta: Continuamente/semanalmente, especialmente após mudanças nos dados ou no pipeline.
Q17: Primeiro passo de depuração para respostas erradas?
Resposta: Verificar quais documentos estão sendo recuperados.
Q18: Como depurar problemas de prompt?
Resposta: Imprimir o prompt completo enviado ao LLM.
Q19: O que reduz a latência do RAG?
Resposta: Operações assíncronas, cache, modelos menores, limitação do tamanho do contexto.
Q20: O que reduz os custos do RAG?
Resposta: Cache, modelos de embedding menores, batching, limitação do contexto.
Q21: O que é answer_relevancy no RAGAS?
Resposta: Mede se a resposta realmente aborda a pergunta feita.
Q22: Se o context_recall está baixo, qual é o problema?
Resposta: A recuperação está deixando de fora documentos relevantes - é necessário melhorar a recuperação.
Q23: Se a fidelidade (faithfulness) está baixa, qual é o problema?
Resposta: O LLM está inventando informações que não estão no contexto - alucinação.
Q24: Como verificar se os embeddings estão funcionando?
Resposta: Testar com documentos similares conhecidos e verificar se estão próximos no espaço vetorial.
Q25: Qual é o Recall@K ideal?
Resposta: Acima de 0,9 - deseja-se capturar a maioria dos documentos relevantes.
Q26: Por que acompanhar métricas ao longo do tempo?
Resposta: Detectar degradação conforme os dados mudam ou após atualizações no pipeline.
Q27: O que é A/B testing em RAG?
Resposta: Comparar duas configurações de RAG para ver qual tem melhor desempenho.
Q28: Qual ferramenta conta tokens no contexto?
Resposta: tiktoken para modelos OpenAI, ou tokenizers específicos do modelo.
Q29: Quando usar avaliação automática vs manual?
Resposta: Automática para escala/regressão; manual para avaliação de qualidade mais detalhada.
Q30: O que é ground truth no RAGAS?
Resposta: A resposta esperada/correta com a qual as respostas geradas são comparadas.
Resultados
| Pontuação | Nível |
|---|---|
| 27-30 | Excelente |
| 21-26 | Bom |
| 15-20 | Médio |
| Abaixo de 15 | Precisa de revisão |