Capítulo 3: Pruebas y Evaluación
Métricas de Calidad
| Métrica | Qué Mide | Cómo Evaluar |
|---|---|---|
| Precisión | Corrección factual | Verificación manual |
| Relevancia | Respuestas pertinentes | Puntuación con rúbrica |
| Integridad | Cumplimiento de todos los requisitos | Lista de verificación |
| Consistencia | Misma calidad en varias ejecuciones | Pruebas múltiples |
| Cumplimiento de formato | Coincide con los requisitos | Coincidencia de patrones |
Creación de Casos de Prueba
Test Suite: Customer Support Prompt
Test Case 1: Simple inquiry
Input: "What are your business hours?"
Expected: Direct answer with hours
Test Case 2: Complaint
Input: "Your product broke after one week!"
Expected: Empathetic response + solution options
Test Case 3: Edge case - multiple issues
Input: "Wrong item sent AND it was damaged AND late"
Expected: Address all three issues systematically
Evaluación Automatizada
Para escalar, automatice lo que sea posible:
Automated Checks:
- [ ] Response length within bounds
- [ ] Contains required sections
- [ ] No forbidden words
- [ ] JSON/format validity
- [ ] Sentiment matches expectation
Manual Review:
- Quality of reasoning
- Appropriateness of tone
- Accuracy of specific claims
Rúbricas de Evaluación
Content Quality (1-5):
5 - Exceptional, exceeds requirements
4 - Good, meets all requirements
3 - Acceptable, meets most requirements
2 - Poor, significant gaps
1 - Unacceptable, doesn't address task
Format Compliance (Pass/Fail):
- Correct structure
- Within length limits
- Required elements present
Evaluación Humana
Para calidad matizada, utilice revisores humanos:
Reviewer Guidelines:
1. Read the original prompt
2. Review the AI output
3. Score on: Accuracy, Relevance, Tone, Completeness
4. Note specific issues
5. Suggest improvements
Puntos Clave
Summary
- Defina las métricas antes de probar
- Cree casos de prueba diversos incluyendo casos límite
- Automatice las verificaciones de formato/estructura
- Use rúbricas para la consistencia
- Revisión humana para calidad matizada