إنتقل إلى المحتوى الرئيسي

الفصل 1: تقييم النماذج المحسّنة

تقييم شامل للنموذج​

يضمن التقييم أن النموذج المحسّن يلبي متطلبات الجودة.

مقاييس التقييم​

المقياسحالة الاستخدامالأداة
Perplexityنمذجة اللغةمدمج
ROUGEالتلخيصمكتبة evaluate
BLEUالترجمةمكتبة evaluate
Win RateالتفضيلGPT-4 judge
Task Accuracyالتصنيفمخصص

استخدام lm-evaluation-harness​

# Install
pip install lm-eval

# Evaluate
lm_eval --model hf \
    --model_args pretrained=./my-model \
    --tasks hellaswag,arc_easy,mmlu \
    --batch_size 4

التقييم المخصص​

def evaluate_task_quality(model, tokenizer, test_cases):
    """Evaluate on custom test cases."""
    scores = []
    for test in test_cases:
        inputs = tokenizer(test["prompt"], return_tensors="pt")
        outputs = model.generate(**inputs, max_new_tokens=200)
        response = tokenizer.decode(outputs[0])
        
        # Score (could be rule-based or LLM-based)
        score = score_response(response, test["expected"])
        scores.append(score)
    
    return sum(scores) / len(scores)

الحفاظ على القدرات​

تحقق دائمًا مما إذا كانت قدرات النموذج الأساسي محفوظة:

# Compare before/after on standard benchmarks
baseline = evaluate_benchmark(base_model)
finetuned = evaluate_benchmark(finetuned_model)

retention = finetuned / baseline
print(f"Capability retention: {retention:.1%}")

تابع إلى الفصل 2 →