الفصل 2: خطوط تقييم البشر

معايير التقييم

المعيار	الوصف	المقياس
المساعدة	هل يجيب على السؤال؟	1-5
الدقة	هل المعلومات صحيحة؟	1-5
السلامة	هل هو آمن ومناسب؟	نعم/لا
التماسك	هل هو منظم بشكل جيد؟	1-5

واجهة التعليقات التوضيحية

# Example annotation task structure
annotation_task = {
    "task_id": "task_001",
    "prompt": "What are the benefits of MLOps?",
    "response_a": "MLOps provides...",
    "response_b": "The benefits include...",
    "evaluation_criteria": [
        {"name": "helpfulness", "type": "rating", "scale": [1, 2, 3, 4, 5]},
        {"name": "accuracy", "type": "rating", "scale": [1, 2, 3, 4, 5]},
        {"name": "preference", "type": "choice", "options": ["A", "B", "Tie"]}
    ]
}

اتفاقية بين المعلقين

from sklearn.metrics import cohen_kappa_score

def calculate_agreement(annotator_1: list, annotator_2: list) -> float:
    """Calculate Cohen's Kappa for inter-annotator agreement."""
    kappa = cohen_kappa_score(annotator_1, annotator_2)
    
    # Interpretation
    if kappa < 0.20:
        interpretation = "Poor"
    elif kappa < 0.40:
        interpretation = "Fair"
    elif kappa < 0.60:
        interpretation = "Moderate"
    elif kappa < 0.80:
        interpretation = "Good"
    else:
        interpretation = "Excellent"
    
    return kappa, interpretation

---

التالي: الفصل 3: اختبار السلامة