Quiz: Sistemas RAG em Produção
30 perguntas sobre escalabilidade, cache e segurança.
Q1: Com qual quantidade de documentos você deve considerar sharding?
Resposta: Normalmente, em torno de 1M+ documentos requer sharding.
Q2: O que é cache semântico?
Resposta: Cache de resultados para consultas semelhantes a consultas já vistas anteriormente.
Q3: Qual o benefício do cache de embedding?
Resposta: Reduz chamadas à API para embeddings de consultas repetidas.
Q4: O que é multi-tenancy?
Resposta: Atender múltiplos clientes/organizações em um único sistema com isolamento de dados.
Q5: Como namespaces ajudam no multi-tenancy?
Resposta: Os dados de cada tenant são armazenados em um namespace separado, isolando as buscas.
Q6: O que é prompt injection?
Resposta: Entrada maliciosa projetada para manipular o comportamento do LLM.
Q7: Como prevenir prompt injection?
Resposta: Validação de entrada, sanitização e design seguro de prompts.
Q8: O que deve ser registrado em logs de auditoria no RAG?
Resposta: ID do usuário, consulta, documentos acessados, timestamp e metadados da resposta.
Q9: O que são permissões em nível de documento?
Resposta: Controle sobre quais usuários podem acessar quais documentos específicos.
Q10: Como implementar permissões em nível de documento?
Resposta: Armazenar os IDs de documentos permitidos por usuário e filtrar os resultados da busca.
Q11: Para que serve o processamento assíncrono?
Resposta: Lidar com alto volume de consultas e indexação em lote sem bloqueio.
Q12: Qual é o limiar típico de cache semântico?
Resposta: Similaridade de 0,95+ – só fazer cache de consultas muito semelhantes.
Q13: Quando o cache deve ser invalidado?
Resposta: Quando os documentos subjacentes são atualizados ou excluídos.
Q14: Qual é o tipo de cache mais rápido?
Resposta: Cache de resposta – retorna a resposta completa em cache (<50ms).
Q15: Como lidar com 10M+ documentos?
Resposta: Banco de dados vetorial distribuído com sharding.
Q16: O que é indexação baseada em fila?
Resposta: Adicionar documentos a uma fila para indexação assíncrona em segundo plano.
Q17: O que é balanceamento de carga em RAG?
Resposta: Distribuir consultas entre múltiplas instâncias RAG.
Q18: Qual metadado habilita multi-tenancy?
Resposta: Campo tenant_id armazenado com cada documento.
Q19: O que é isolamento de dados?
Resposta: Garantir que um tenant não possa acessar os dados de outro tenant.
Q20: O que é TTL em cache?
Resposta: Time To Live – por quanto tempo os itens em cache permanecem válidos.
Q21: Por que usar Redis para cache em RAG?
Resposta: Armazenamento em memória rápido com suporte a TTL e opções de persistência.
Q22: Qual o tradeoff de um TTL de cache menor?
Resposta: Maior atualidade, mas menos acertos de cache e custos mais altos.
Q23: Como funciona o sharding?
Resposta: Divide os dados entre múltiplos nós do banco de dados com base em uma chave.
Q24: O que deve ser criptografado?
Resposta: Documentos em repouso, chaves de API e dados em trânsito.
Q25: O que é uma auditoria de segurança em RAG?
Resposta: Revisão regular de controles de acesso, logs e vulnerabilidades.
Q26: Com que frequência os logs de auditoria devem ser revisados?
Resposta: Continuamente via monitoramento automatizado, revisão manual mensal.
Q27: O que é processamento em lote para indexação?
Resposta: Processar documentos em grupos ao invés de um por vez.
Q28: Qual custo o cache reduz?
Resposta: Chamadas à API de embedding, chamadas à API do LLM e recursos computacionais.
Q29: O que é escalabilidade horizontal?
Resposta: Adicionar mais instâncias/nós ao invés de máquinas maiores.
Q30: Qual a consideração de SLA para RAG em produção?
Resposta: Garantias de tempo de resposta (ex: percentil 95 <3 segundos).