إنتقل إلى المحتوى الرئيسي

الفصل 1: التعلم التعزيزي من التغذية الراجعة البشرية

عملية RLHF​

1. تدريب النموذج الأساسي مسبقًا
2. الضبط الدقيق (SFT) على العروض التوضيحية
3. تدريب نموذج المكافأة على التفضيلات البشرية
4. الضبط الدقيق باستخدام PPO باستخدام نموذج المكافأة

تدريب نموذج المكافأة​

يقارن البشر بين أزواج من الاستجابات:

# بيانات التفضيل البشري
{
  "prompt": "اشرح الحوسبة الكمومية",
  "chosen": "تفسير جيد...",
  "rejected": "تفسير ضعيف..."
}

# يتعلم نموذج المكافأة: reward(chosen) > reward(rejected)

تدريب PPO​

from trl import PPOTrainer, PPOConfig

ppo_config = PPOConfig(
    learning_rate=1.41e-5,
    batch_size=256,
    mini_batch_size=1,
)

ppo_trainer = PPOTrainer(
    model=model,
    ref_model=ref_model,
    tokenizer=tokenizer,
    config=ppo_config,
)

قيد تباعد KL​

منع النموذج من الانحراف بعيدًا عن الأصل:

L=−E[r(x,y)]+β⋅DKL(πθ∣∣πref)\mathcal{L} = -\mathbb{E}[r(x,y)] + \beta \cdot D_{KL}(\pi_\theta || \pi_{ref})