اختبار: QLoRA والتكميم
30 سؤالًا حول QLoRA، التكميم بـ 4 بت، والتدريب الفعال من حيث الذاكرة.
السؤال 1
ما الذي يجمعه QLoRA؟
A) التكميم والتدريب الكامل
B) التكميم بـ 4 بت وLoRA
C) التدريب بـ 8 بت و16 بت
D) نماذج متعددة
إظهار الإجابة
الإجابة الصحيحة: B
يجمع QLoRA بين التكميم بـ 4 بت للنموذج الأساسي مع محولات LoRA للتدريب الفعال.
السؤال 2
ما هو تنسيق التكميم الذي يستخدمه QLoRA افتراضيًا؟
A) INT8
B) FP4
C) NF4 (4-bit NormalFloat)
D) ثنائي
إظهار الإجابة
الإجابة الصحيحة: C
يستخدم QLoRA NF4 (4-bit NormalFloat)، المصمم للأوزان الموزعة بشكل طبيعي.
السؤال 3
كم تحتاج QLoRA من VRAM لنموذج 7B؟
A) ~28GB
B) ~14GB
C) ~6GB
D) ~1GB
إظهار الإجابة
الإجابة الصحيحة: C
يتطلب QLoRA حوالي 6GB من VRAM لنموذج يحتوي على 7 مليارات معلمة.
السؤال 4
ما هو التكميم المزدوج؟
A) تشغيل التكميم مرتين
B) تكميم ثوابت التكميم
C) استخدام وحدتي معالجة رسومات
D) التدريب بدقة مزدوجة
إظهار الإجابة
الإجابة الصحيحة: B
يقوم التكميم المزدوج بتكميم ثوابت التكميم نفسها، مما يوفر ذاكرة إضافية.
السؤال 5
أي مكتبة توفر BitsAndBytesConfig؟
A) peft
B) transformers (باستخدام bitsandbytes)
C) torch
D) accelerate
إظهار الإجابة
الإجابة الصحيحة: B
يتم توفير BitsAndBytesConfig من خلال transformers، التي تستخدم مكتبة bitsandbytes.
الأسئلة 6-30
(أسئلة إضافية تغطي: prepare_model_for_kbit_training، التحقق من التدرج، تراكم التدرج، المحسنات المصفحة، NF4 مقابل FP4، حسابات الذاكرة، نوع البيانات المحسوبة، مجموعات التحسين، استكشاف أخطاء OOM وإصلاحها، وتفاصيل التنفيذ العملي)
إظهار جميع الإجابات المتبقية
تغطي الأسئلة 6-30:
- الغرض من prepare_model_for_kbit_training (B: إعداد النموذج المكمم للتدريب)
- المقايضة في التحقق من التدرج (B: الحساب مقابل الذاكرة)
- حساب حجم الدفعة الفعال (C: batch_size × accumulation_steps)
- نوع البيانات المحسوبة الموصى به (C: bfloat16)
- توفير التكميم المزدوج (B: ~11%)
- الغرض من المحسن المصفح (B: الترحيل إلى وحدة المعالجة المركزية عند ضغط الذاكرة)
- جودة QLoRA مقابل FT الكامل (B: ~98%)
- ميزة NF4 (B: مثالي للأوزان الموزعة بشكل طبيعي)
- تقليل الذاكرة من QLoRA مقابل LoRA (C: ~60%)
- متى يتم استخدام QLoRA (B: ذاكرة GPU محدودة)
النتائج
| النتيجة | المستوى |
|---|---|
| 27-30 | ممتاز |
| 21-26 | جيد |
| 15-20 | متوسط |
| أقل من 15 | يلزم المراجعة |