الوحدة 3: الضبط الدقيق الفعال للمعلمات (PEFT)
الضبط الدقيق الفعال للجميع
تقدم هذه الوحدة الضبط الدقيق الفعال للمعلمات (PEFT)، وهي مجموعة من الأساليب التي تجعل الضبط الدقيق متاحًا على الأجهزة الاستهلاكية مع الحفاظ على الجودة.
ما ستتعلمه
في هذه الوحدة، سوف:
- تفهم دوافع PEFT ولماذا تم تطويره
- تقارن بين PEFT والضبط الدقيق الكامل لتعرف متى تستخدم كل منهما
- تستكشف جميع أساليب PEFT الرئيسية بما في ذلك LoRA، QLoRA، ضبط المقدمة، والمزيد
- تختار الأسلوب المناسب لحالتك الخاصة
هيكل الوحدة
| الفصل | الموضوع | المدة |
|---|---|---|
| الفصل 1 | مقدمة في PEFT | 25 دقيقة |
| الفصل 2 | PEFT مقابل الضبط الدقيق الكامل | 25 دقيقة |
| الفصل 3 | نظرة عامة على أساليب PEFT | 30 دقيقة |
| الاختبار | اختبار الوحدة 3 | 30 دقيقة |
معاينة المفاهيم الرئيسية
PEFT (الضبط الدقيق الفعال للمعلمات)
أساليب تدرب فقط مجموعة صغيرة من المعلمات بينما تبقي النموذج الأساسي مجمدًا.
LoRA (التكيف منخفض الرتبة)
يضيف مصفوفات منخفضة الرتبة قابلة للتدريب إلى الأوزان المجمدة، وهو الأسلوب الأكثر شيوعًا في PEFT.
المحولات
وحدات صغيرة قابلة للتدريب يتم إدخالها بين الطبقات المجمدة.
ضبط المقدمة
يضيف "رموز افتراضية" قابلة للتدريب كمقدمات إلى المدخلات.
لماذا هذا مهم
أساليب PEFT قد ديمقراطية ضبط LLM الدقيق:
- الوصولية: تدريب نماذج 7B+ على وحدات معالجة الرسوميات الاستهلاكية
- تخفيض التكلفة: توفير أكثر من 90% من الذاكرة
- الحفاظ على الجودة: نتائج قابلة للمقارنة مع الضبط الدقيق الكامل
- المرونة: مزج وتبديل المحولات لمهام مختلفة
- الأمان: لا نسيان كارثي للمعرفة الأساسية
المتطلبات الأساسية
قبل بدء هذه الوحدة، يجب عليك:
- أن تكون قد أكملت الوحدتين 1 و 2
- تفهم لماذا يعتبر الضبط الدقيق الكامل مكلفًا في الموارد
- تكون على دراية بمفاهيم الشبكات العصبية
- تعرف العمليات الأساسية في PyTorch
لنبدأ!
ابدأ مع الفصل 1: مقدمة في PEFT.
الوقت المقدر لإكمال هذه الوحدة: ساعتان