Chapitre 1 : Évaluer les modèles ajustés
Évaluation complète du modèle
L'évaluation garantit que votre modèle ajusté répond aux exigences de qualité.
Métriques d'évaluation
| Métrique | Cas d'utilisation | Outil |
|---|---|---|
| Perplexité | Modélisation du langage | Intégré |
| ROUGE | Résumé | bibliothèque evaluate |
| BLEU | Traduction | bibliothèque evaluate |
| Taux de victoire | Préférence | juge GPT-4 |
| Précision de la tâche | Classification | Personnalisé |
Utilisation de lm-evaluation-harness
# Install
pip install lm-eval
# Evaluate
lm_eval --model hf \
--model_args pretrained=./my-model \
--tasks hellaswag,arc_easy,mmlu \
--batch_size 4
Évaluation personnalisée
def evaluate_task_quality(model, tokenizer, test_cases):
"""Évaluer sur des cas de test personnalisés."""
scores = []
for test in test_cases:
inputs = tokenizer(test["prompt"], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
response = tokenizer.decode(outputs[0])
# Score (pourrait être basé sur des règles ou sur un LLM)
score = score_response(response, test["expected"])
scores.append(score)
return sum(scores) / len(scores)
Rétention des capacités
Vérifiez toujours si les capacités du modèle de base sont préservées :
# Compare before/after on standard benchmarks
baseline = evaluate_benchmark(base_model)
finetuned = evaluate_benchmark(finetuned_model)
retention = finetuned / baseline
print(f"Capability retention: {retention:.1%}")