إنتقل إلى المحتوى الرئيسي

الفصل 1: الضبط الدقيق الكامل

متى يُستخدم الضبط الدقيق الكامل​

  • تغيير كبير في المجال عن بيانات التدريب المسبق
  • توفر حساب وبيانات كافية
  • الحاجة إلى أداء أقصى

متطلبات الحوسبة​

حجم النموذجVRAM (FP16)VRAM (LoRA)
7B56GB16GB
13B104GB32GB
70B560GB80GB

حلقة التدريب​

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    learning_rate=2e-5,
    warmup_steps=100,
    fp16=True,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)

trainer.train()

النسيان الكارثي​

يمكن أن يتسبب الضبط الدقيق الكامل في نسيان النموذج للمعرفة المدربة مسبقًا. التخفيفات:

  • معدلات تعلم أقل
  • تدريب أقصر
  • التنظيم
  • مخازن إعادة التشغيل