الفصل 1: المعايير الشائعة
المعايير الرئيسية
| المعيار | يقيس | المهام |
|---|---|---|
| MMLU | المعرفة | 57 موضوعًا |
| HellaSwag | الفهم العام | إكمال الجمل |
| HumanEval | البرمجة | دوال بايثون |
| GSM8K | الرياضيات | مسائل كلامية |
| TruthfulQA | الصدق | الدقة الواقعية |
MMLU (فهم اللغة متعدد المهام الضخم)
57 موضوعًا من المستوى الابتدائي إلى المهني:
- العلوم والتكنولوجيا والهندسة والرياضيات، العلوم الإنسانية، العلوم الاجتماعية
- أسئلة متعددة الخيارات
- يختبر مدى المعرفة
HumanEval
معيار توليد الشيفرة:
def check_solution(problem, solution):
"""
تشغيل حالات الاختبار ضد الشيفرة المولدة
"""
test_results = run_tests(solution, problem.test_cases)
return all(test_results)
# المقياس: pass@k - احتمال النجاح مع k محاولات
قيود المعايير
- تلوث البيانات: التدريب على بيانات الاختبار
- التلاعب: التحسين للمعايير
- نطاق ضيق: قد يفوت الأداء في العالم الحقيقي