Chapitre 1 : Référentiels Communs
Référentiels Clés
| Référentiel | Mesure | Tâches |
|---|---|---|
| MMLU | Connaissance | 57 sujets |
| HellaSwag | Bon sens | Complétion de phrases |
| HumanEval | Code | Fonctions Python |
| GSM8K | Mathématiques | Problèmes de mots |
| TruthfulQA | Véracité | Précision factuelle |
MMLU (Massive Multitask Language Understanding)
57 sujets du niveau élémentaire au niveau professionnel :
- STEM, sciences humaines, sciences sociales
- Questions à choix multiples
- Teste l'étendue des connaissances
HumanEval
Référentiel de génération de code :
def check_solution(problem, solution):
"""
Exécuter des cas de test contre le code généré
"""
test_results = run_tests(solution, problem.test_cases)
return all(test_results)
# Métrique : pass@k - probabilité de réussir avec k tentatives
Limites des Référentiels
- Contamination des données : Entraînement sur les données de test
- Optimisation : Optimisation pour les référentiels
- Portée étroite : Peut manquer de performance dans le monde réel