إنتقل إلى المحتوى الرئيسي

الفصل 3: دراسات الإزالة

فهم ما يعمل ولماذا​

تقوم دراسات الإزالة باختبار المكونات بشكل منهجي لفهم مساهمتها.

ما الذي يجب إزالته​

المكونالتغيرات للاختبار
LoRA Rank4, 8, 16, 32, 64
الوحدات المستهدفةالحد الأدنى → الكامل
معدل التعلممقياس لوغاريتمي
حجم البيانات100, 500, 1K, 5K
العصور1, 2, 3, 5

إطار عمل الإزالة​

def run_ablation(base_config, param_name, param_values):
    """Run ablation for a single parameter."""
    results = []
    
    for value in param_values:
        config = base_config.copy()
        config[param_name] = value
        
        # Train
        model = train_model(config)
        
        # Evaluate
        score = evaluate_model(model)
        
        results.append({
            param_name: value,
            "score": score,
        })
    
    return results

الإبلاغ عن النتائج​

LoRA Rankدرجة المهمةوقت التدريب
485.2%45 دقيقة
887.1%50 دقيقة
1688.3%55 دقيقة
3288.5%65 دقيقة
6488.4%80 دقيقة

رؤية: يوفر التصنيف 16 أفضل توازن بين الجودة والكفاءة.

أفضل الممارسات​

  1. تغيير شيء واحد في كل مرة
  2. استخدام نفس البذرة للتكرار
  3. تشغيل بذور متعددة للنتائج النهائية
  4. توثيق كل شيء
  5. التركيز على الفروق العملية

الاستمرار إلى الاختبار →