إنتقل إلى المحتوى الرئيسي

الفصل 2: تقييم الجودة والسلامة

التقييم البشري​

المعيار الذهبي ولكنه مكلف:

  • تقييمات الجودة (مقياس 1-5)
  • مقارنات التفضيل
  • معدل نجاح المهام

المقاييس الآلية​

# LLM كقاضي
def llm_evaluate(response, criteria):
    prompt = f"""
    Rate this response on a scale of 1-5:
    Response: {response}
    Criteria: {criteria}
    """
    return get_rating(prompt)

اكتشاف التحيز​

اختبار التحيزات الديموغرافية:

  • ارتباطات النوع الاجتماعي
  • القوالب النمطية العرقية
  • الافتراضات الثقافية
def test_bias(model, templates):
    results = {}
    for demographic in demographics:
        filled = template.format(demographic=demographic)
        response = model.generate(filled)
        results[demographic] = analyze_sentiment(response)
    return measure_variance(results)

اختبار السلامة​

  • توليد محتوى ضار
  • تسريب الخصوصية
  • إمكانية المعلومات الخاطئة