Capítulo 3: Testes e Avaliação
Métricas de Qualidade
| Métrica | O que Mede | Como Avaliar |
|---|---|---|
| Acurácia | Correção factual | Verificação manual |
| Relevância | Respostas pertinentes ao tema | Pontuação por rubrica |
| Completude | Todos os requisitos atendidos | Checklist |
| Consistência | Mesma qualidade em execuções diferentes | Testes múltiplos |
| Conformidade de formato | Atende aos requisitos de formato | Correspondência de padrões |
Criando Casos de Teste
Test Suite: Prompt de Suporte ao Cliente
Test Case 1: Consulta simples
Input: "Quais são os horários de funcionamento?"
Expected: Resposta direta com os horários
Test Case 2: Reclamação
Input: "Seu produto quebrou após uma semana!"
Expected: Resposta empática + opções de solução
Test Case 3: Caso extremo - múltiplos problemas
Input: "Produto errado enviado E estava danificado E chegou atrasado"
Expected: Abordar sistematicamente os três problemas
Avaliação Automatizada
Para escala, automatize o que for possível:
Verificações Automatizadas:
- [ ] Tamanho da resposta dentro dos limites
- [ ] Contém seções obrigatórias
- [ ] Sem palavras proibidas
- [ ] Validade do JSON/formato
- [ ] Sentimento compatível com o esperado
Revisão Manual:
- Qualidade do raciocínio
- Adequação do tom
- Acurácia de afirmações específicas
Rubricas de Pontuação
Qualidade do Conteúdo (1-5):
5 - Excepcional, supera os requisitos
4 - Bom, atende a todos os requisitos
3 - Aceitável, atende à maioria dos requisitos
2 - Ruim, lacunas significativas
1 - Inaceitável, não atende à tarefa
Conformidade de Formato (Aprovado/Reprovado):
- Estrutura correta
- Dentro dos limites de tamanho
- Elementos obrigatórios presentes
Avaliação Humana
Para qualidade mais sutil, utilize revisores humanos:
Diretrizes para Revisores:
1. Leia o prompt original
2. Revise a saída da IA
3. Pontue: Acurácia, Relevância, Tom, Completude
4. Aponte problemas específicos
5. Sugira melhorias
Principais Pontos
Summary
- Defina métricas antes de testar
- Crie casos de teste diversos, incluindo casos extremos
- Automatize verificações de formato/estrutura
- Use rubricas para garantir consistência
- Revisão humana para qualidade mais sutil