الوحدة 4: التعمق في LoRA
إتقان التكيف منخفض الرتبة
توفر هذه الوحدة تعمقًا شاملاً في LoRA (التكيف منخفض الرتبة)، وهي الطريقة الأكثر شيوعًا وفعالية لـ PEFT لضبط النماذج اللغوية الكبيرة.
ما ستتعلمه
في هذه الوحدة، سوف:
- تفهم كيفية عمل LoRA على مستوى بديهي ورياضي
- تتقن المعاملات الفائقة لـ LoRA بما في ذلك الرتبة، ألفا، والوحدات المستهدفة
- تنفذ تدريب LoRA باستخدام مكتبة Hugging Face PEFT
- تحسن تكوينات LoRA لحالتك الخاصة
هيكل الوحدة
| الفصل | الموضوع | المدة |
|---|---|---|
| الفصل 1 | فهم LoRA | 30 دقيقة |
| الفصل 2 | رياضيات LoRA | 30 دقيقة |
| الفصل 3 | تنفيذ LoRA مع PEFT | 35 دقيقة |
| الاختبار | اختبار الوحدة 4 | 30 دقيقة |
معاينة المفاهيم الرئيسية
التحليل منخفض الرتبة
تفكيك مصفوفة كبيرة إلى منتجات من مصفوفات أصغر.
الرتبة (r)
البعدية لمصفوفات LoRA، التي تتحكم في السعة مقابل الكفاءة.
مقياس ألفا
معامل فائق يتحكم في حجم مساهمة LoRA.
الوحدات المستهدفة
مصفوفات الأوزان المحددة التي يتم تطبيق LoRA عليها.
لماذا تهم LoRA
أصبحت LoRA المعيار الفعلي للضبط الفعال لأنها:
- تقلل المعاملات القابلة للتدريب بنسبة 99%+ مع الحفاظ على الجودة
- تمكن التدريب على وحدات معالجة الرسوميات للمستهلكين
- يمكن دمجها بسهولة مع النموذج الأساسي للنشر
- تسمح بوجود محولات متعددة خاصة بالمهام على نموذج أساسي واحد
- مفهومة جيدًا ومختبرة بشكل واسع
المتطلبات الأساسية
قبل بدء هذه الوحدة، يجب عليك:
- أن تكون قد أكملت الوحدات 1-3
- فهم أساسيات ضرب المصفوفات
- أن تكون مرتاحًا مع Python وPyTorch
- الحصول على وحدة معالجة الرسوميات للتمارين العملية
لنبدأ!
ابدأ مع الفصل 1: فهم LoRA.
الوقت المقدر لإكمال هذه الوحدة: 2.5 ساعة