اختبار: الضبط الدقيق الفعال للمعلمات
اختبر معرفتك بأساليب PEFT، والمفاضلات بينها، ومتى تستخدم كل منها.
30 سؤالاً - انقر على كل سؤال للكشف عن الإجابة الصحيحة.
السؤال 1
ماذا تعني PEFT؟
A) الضبط الدقيق الموازي الفعال
B) الضبط الدقيق الفعال للمعلمات
C) التدريب المسبق الفعال لميزات التدريب
D) الضبط الدقيق للجزء المضمن
إظهار الإجابة
الإجابة الصحيحة: B
PEFT تعني الضبط الدقيق الفعال للمعلمات، وهي مجموعة من الأساليب التي تدرب فقط مجموعة صغيرة من معلمات النموذج.
السؤال 2
ما هي النسبة المئوية للمعلمات التي تدربها PEFT عادةً؟
A) 50%
B) 25%
C) أقل من 1%
D) 10%
إظهار الإجابة
الإجابة الصحيحة: C
أساليب PEFT تدرب عادةً أقل من 1% من إجمالي معلمات النموذج (غالبًا 0.01% إلى 0.5%).
السؤال 3
لماذا لا تسبب PEFT النسيان الكارثي؟
A) تستخدم المزيد من البيانات
B) تبقى أوزان النموذج الأساسي مجمدة
C) تدرب لعدد أقل من العصور
D) تستخدم دالة خسارة خاصة
إظهار الإجابة
الإجابة الصحيحة: B
تحافظ PEFT على أوزان النموذج الأساسي مجمدة، لذا يتم الحفاظ على المعرفة الأصلية المدربة مسبقًا. يتم تعديل فقط معلمات المحول الصغيرة.
السؤال 4
ما هو LoRA؟
A) بنية نموذج
B) التكيف منخفض الرتبة، إضافة مصفوفات قابلة للتدريب إلى الأوزان المجمدة
C) نوع من المحسنات
D) تنسيق مجموعة بيانات
إظهار الإجابة
الإجابة الصحيحة: B
LoRA (التكيف منخفض الرتبة) يضيف مصفوفات تفكيك منخفضة الرتبة قابلة للتدريب (B و A) بجانب مصفوفات الأوزان المجمدة.
السؤال 5
في LoRA، ماذا يتحكم معلمة الرتبة (r)؟
A) سرعة التدريب
B) السعة وعدد المعلمات القابلة للتدريب
C) معدل التعلم
D) حجم الدفعة
إظهار الإجابة
الإجابة الصحيحة: B
تحدد الرتبة (r) الأبعاد للمصفوفات منخفضة الرتبة، مما يتحكم في سعة المحول وعدد المعلمات القابلة للتدريب.
السؤال 6
ما هو الفرق الرئيسي بين LoRA و QLoRA؟
A) QLoRA تستخدم دالة خسارة مختلفة
B) QLoRA تجمع بين التكميم 4-بت و LoRA
C) QLoRA تدرب المزيد من المعلمات
D) QLoRA مخصصة لنماذج الصور فقط
إظهار الإجابة
الإجابة الصحيحة: B
QLoRA (LoRA المكممة) تحمل النموذج الأساسي بدقة 4-بت وتضيف محولات LoRA في الأعلى، مما يقلل بشكل كبير من متطلبات الذاكرة.
السؤال 7
كم توفر QLoRA من الذاكرة مقارنة بـ LoRA لنموذج 7B؟
A) 10%
B) 30%
C) ~60% (من ~14GB إلى ~6GB)
D) 90%
إظهار الإجابة
الإجابة الصحيحة: C
تقلل QLoRA الذاكرة من حوالي 14GB إلى 6GB لنموذج 7B، مما يوفر حوالي 60% مقارنة بـ LoRA.
السؤال 8
ما هو تنسيق التكميم الذي تستخدمه QLoRA؟
A) INT8
B) NF4 (4-bit NormalFloat)
C) Float16
D) ثنائي
إظهار الإجابة
الإجابة الصحيحة: B
تستخدم QLoRA تكميم NF4 (4-bit NormalFloat)، المصمم ليحتوي على أعداد متساوية من القيم في كل حاوية تكميم للأوزان الموزعة بشكل طبيعي.
السؤال 9
ما هو ضبط المقدمة؟
A) تدريب الطبقة الأولى فقط
B) إضافة رموز افتراضية قابلة للتدريب كمقدمات للانتباه
C) تحسين المدخلات
D) طريقة ترميز
إظهار الإجابة
الإجابة الصحيحة: B
ضبط المقدمة يضيف "رموز افتراضية" قابلة للتدريب كمقدمات لحالات المفتاح والقيمة في طبقات الانتباه.
السؤال 10
أي طريقة PEFT تتعلم إعادة ضبط التنشيطات؟
A) LoRA
B) ضبط المقدمة
C) IA3
D) QLoRA
إظهار الإجابة
الإجابة الصحيحة: C
IA3 (المحول المدمج عن طريق تثبيط وتضخيم التنشيطات الداخلية) يتعلم متجهات التدرج لإعادة ضبط التنشيطات بدلاً من إضافة أوزان جديدة.
السؤال 11
ما هي الدالة المستخدمة لتطبيق PEFT على نموذج؟
A) apply_peft()
B) get_peft_model()
C) create_adapter()
D) add_lora()
إظهار الإجابة
الإجابة الصحيحة: B
دالة get_peft_model() من مكتبة PEFT تغلف النموذج الأساسي بتكوين PEFT المحدد.
السؤال 12
ماذا يفعل model.merge_and_unload()؟
A) يحفظ النموذج على القرص
B) يدمج أوزان المحول في النموذج الأساسي ويزيل الحمل الزائد للمحول
C) يحمل محولات متعددة
D) يفرغ ذاكرة GPU
إظهار الإجابة
الإجابة الصحيحة: B
merge_and_unload() يدمج أوزان محول LoRA في أوزان النموذج الأساسي، مما يخلق نموذجًا قياسيًا بدون حمل زائد للمحول عند الاستدلال.
السؤال 13
ما هو حجم ملف محول LoRA النموذجي مقارنة بنموذج كامل؟
A) نفس الحجم
B) 50% من النموذج الكامل
C) ~10-50MB مقابل ~15GB+
D) 10% من النموذج الكامل
إظهار الإجابة
الإجابة الصحيحة: C
ملفات محول LoRA تكون عادةً 10-50MB، مقارنة بملفات النموذج الكامل التي تكون 15GB+ لنموذج 7B.
السؤال 14
ما هو استخدام معلمة ألفا في LoRA؟
A) ضبط معدل التعلم
B) ضبط مساهمة أوزان LoRA
C) تحديد حجم الدفعة
D) ضبط معدل الإسقاط
إظهار الإجابة
الإجابة الصحيحة: B
ألفا في LoRA هي عامل ضبط يتحكم في حجم مساهمة تكيف LoRA في المخرجات. الضبط الفعلي هو ألفا/الرتبة.
السؤال 15
أي مصفوفات الأوزان تستهدف عادةً لـ LoRA في المحولات؟
A) طبقات التضمين فقط
B) إسقاطات الاستعلام، المفتاح، القيمة (q_proj, k_proj, v_proj)
C) تطبيع الطبقة
D) الإخراج الناعم
إظهار الإجابة
الإجابة الصحيحة: B
مصفوفات إسقاط الانتباه (q_proj, k_proj, v_proj, o_proj) وطبقات التغذية الأمامية تستهدف عادةً لـ LoRA.
السؤال 16
ما هو ضبط الموجه؟
A) كتابة موجهات أفضل يدويًا
B) تعلم تضمينات مستمرة تسبق المدخلات
C) تحسين الترميز
D) نوع من زيادة البيانات
إظهار الإجابة
الإجابة الصحيحة: B
ضبط الموجه يتعلم متجهات تضمين مستمرة تسبق تسلسل المدخلات، وتعمل كموجهات "ناعمة" متعلمة.
السؤال 17
أي طريقة PEFT تستخدم أقل عدد من المعلمات القابلة للتدريب؟
A) LoRA
B) QLoRA
C) IA3 أو ضبط الموجه
D) ضبط المقدمة
إظهار الإجابة
الإجابة الصحيحة: C
IA3 وضبط الموجه يستخدمان أقل عدد من المعلمات (~0.01% من النموذج)، حتى أقل من LoRA (~0.1-1%).
السؤال 18
ما هو التكميم المزدوج في QLoRA؟
A) التكميم مرتين على التوالي
B) تكميم ثوابت التكميم نفسها
C) استخدام تنسيقين مختلفين للتكميم
D) تكميم الأوزان والتنشيطات
إظهار الإجابة
الإجابة الصحيحة: B
التكميم المزدوج يكمم أيضًا ثوابت التكميم نفسها، مما يوفر حوالي ~0.4 بت لكل معلمة.
السؤال 19
ما هي فائدة تبديل المحول؟
A) تدريب أسرع
B) استخدام نموذج أساسي واحد مع محولات خاصة بالمهام متعددة
C) جودة أفضل
D) حجم نموذج أصغر
إظهار الإجابة
الإجابة الصحيحة: B
تبديل المحول يسمح لك باستخدام نموذج أساسي واحد مع محولات خاصة بالمهام متعددة يمكن تبديلها بسرعة أثناء التشغيل.
السؤال 20
متى يجب اختيار الضبط الدقيق الكامل على PEFT؟
A) عندما تكون الذاكرة محدودة
B) عندما تكون الجودة القصوى ممكنة حاسمة والموارد متاحة
C) عندما تحتاج إلى تكرار سريع
D) عند تدريب مهام متعددة
إظهار الإجابة
الإجابة الصحيحة: B
يفضل الضبط الدقيق الكامل عندما تحتاج إلى الجودة القصوى الممكنة وتتوفر لديك موارد حسابية كافية.
السؤال 21
ماذا يفعل AdaLoRA بشكل مختلف عن LoRA القياسي؟
A) يستخدم رتبة أعلى
B) يخصص الرتبة ديناميكيًا بناءً على أهمية الطبقة
C) يعمل فقط مع QLoRA
D) لا يتطلب تكوينًا
إظهار الإجابة
الإجابة الصحيحة: B
AdaLoRA يخصص الرتبة ديناميكيًا لمصفوفات الأوزان المختلفة بناءً على أهميتها، مما قد يستخدم رتبة أكبر للطبقات المهمة وأقل للآخرين.
السؤال 22
أي مكتبة توفر BitsAndBytesConfig لـ QLoRA؟
A) peft
B) transformers (باستخدام bitsandbytes)
C) trl
D) datasets
إظهار الإجابة
الإجابة الصحيحة: B
BitsAndBytesConfig يتم توفيرها من خلال مكتبة transformers، التي تستخدم مكتبة bitsandbytes للتكميم الفعلي.
السؤال 23
ما هو الفرق النموذجي في الجودة بين LoRA والضبط الدقيق الكامل؟
A) LoRA أسوأ بنسبة 20%
B) LoRA أقل بنسبة 1-5% في معظم المهام
C) متطابقان
D) LoRA أفضل
إظهار الإجابة
الإجابة الصحيحة: B
LoRA تحقق عادةً 90-99% من جودة الضبط الدقيق الكامل، مع اختلافات بنسبة 1-5% في معظم المهام.
السؤال 24
كم هو أسرع تدريب PEFT مقارنة بالضبط الدقيق الكامل؟
A) نفس السرعة
B) أسرع بنسبة 10%
C) أسرع 2-3 مرات
D) أسرع 10 مرات
إظهار الإجابة
الإجابة الصحيحة: C
تدريب PEFT عادةً أسرع 2-3 مرات من الضبط الدقيق الكامل بسبب حسابات التدرج الأقل وتحديثات الأوزان.
السؤال 25
ماذا يحدث بعد دمج محول LoRA؟
A) تنخفض الجودة
B) يصبح النموذج أكبر
C) يعمل الاستدلال بدون حمل زائد للمحول
D) يفقد المحول بشكل دائم
إظهار الإجابة
الإجابة الصحيحة: C
بعد الدمج، يتم دمج أوزان المحول في أوزان النموذج الأساسي، لذا يعمل الاستدلال بدون أي حمل زائد للمحول، مماثل لنموذج مضبوط بدقة أصليًا.
السؤال 26
ما هي الرتبة الموصى بها لبدء تجارب LoRA؟
A) r=1
B) r=16 أو r=32
C) r=256
D) r=1024
إظهار الإجابة
الإجابة الصحيحة: B
البدء بـ r=16 أو r=32 موصى به كتوازن جيد بين السعة والكفاءة. ضبط لأعلى أو لأسفل بناءً على النتائج.
السؤال 27
أي نوع من dtypes الحسابي يستخدم عادةً مع QLoRA؟
A) float32
B) int8
C) bfloat16
D) int4
إظهار الإجابة
الإجابة الصحيحة: C
QLoRA تستخدم عادةً bfloat16 كنوع dtypes الحسابي للحسابات الأمامية/الخلفية، حتى لو كانت الأوزان مخزنة في 4-بت.
السؤال 28
ما هي العلاقة بين ألفا LoRA والرتبة؟
A) يجب أن تكون ألفا أصغر بكثير من الرتبة
B) ألفا عادةً 1.5-2x الرتبة
C) ألفا تساوي الرتبة
D) غير مرتبطين
إظهار الإجابة
الإجابة الصحيحة: B
الممارسة الشائعة هي ضبط ألفا لتكون 1.5-2x الرتبة (مثلًا، r=16، ألفا=32)، حيث أن الضبط الفعلي هو ألفا/الرتبة.
السؤال 29
ماذا يظهر model.print_trainable_parameters()؟
A) حجم النموذج
B) عدد ونسبة المعلمات القابلة للتدريب
C) تقدم التدريب
D) استخدام ذاكرة GPU
إظهار الإجابة
الإجابة الصحيحة: B
print_trainable_parameters() يعرض عدد المعلمات القابلة للتدريب، إجمالي المعلمات، والنسبة القابلة للتدريب.
السؤال 30
لأغلب حالات الاستخدام، أي طريقة PEFT يوصى بالبدء بها؟
A) IA3
B) ضبط المقدمة
C) LoRA
D) AdaLoRA
إظهار الإجابة
الإجابة الصحيحة: C
LoRA هي الطريقة الأكثر تنوعًا واستخدامًا على نطاق واسع لـ PEFT، ويوصى بها كنقطة انطلاق افتراضية لمعظم مهام الضبط الدقيق.
النتائج
| النتيجة | المستوى |
|---|---|
| 27-30 | ممتاز - فهم قوي لـ PEFT! |
| 21-26 | جيد - راجع الأساليب المحددة حسب الحاجة |
| 15-20 | متوسط - أعد زيارة جميع الفصول |
| أقل من 15 | يحتاج إلى مراجعة شاملة |