اختبار: الضبط الدقيق الكامل
اختبر معرفتك حول الضبط الدقيق الكامل، المتطلبات الحسابية، والنسيان الكارثي.
30 سؤالاً - انقر على كل سؤال للكشف عن الإجابة الصحيحة.
السؤال 1
ماذا يعني "الضبط الدقيق الكامل"؟
A) تدريب الطبقة الأولى فقط
B) تحديث جميع معلمات النموذج أثناء التدريب
C) التدريب ليوم كامل
D) استخدام جميع وحدات معالجة الرسوم المتاحة
إظهار الإجابة
الإجابة الصحيحة: B
الضبط الدقيق الكامل يعني تحديث جميع المعلمات القابلة للتدريب في النموذج أثناء عملية التدريب، على عكس طرق PEFT التي تقوم بتحديث مجموعة فرعية فقط.
السؤال 2
ما هي المكونات الأربعة الرئيسية التي تستهلك ذاكرة GPU أثناء التدريب؟
A) CPU، RAM، SSD، GPU
B) أوزان النموذج، التدرجات، حالات المحسن، التنشيطات
C) المدخلات، المخرجات، الخسارة، الدقة
D) التقديم، التراجع، التحديث، الحفظ
إظهار الإجابة
الإجابة الصحيحة: B
الأربعة الرئيسية التي تستهلك الذاكرة هي: أوزان النموذج، التدرجات (بنفس حجم الأوزان)، حالات المحسن (AdamW يخزن حالتين لكل معلمة)، والتنشيطات (القيم الوسيطة للتراجع).
السؤال 3
كم تضيف محسن AdamW من الذاكرة لكل معلمة (في float32)؟
A) 4 بايت
B) 8 بايت (2 حالات × 4 بايت)
C) 2 بايت
D) 16 بايت
إظهار الإجابة
الإجابة الصحيحة: B
يخزن AdamW حالتين لكل معلمة (الزخم والتباين)، كل منهما في float32 (4 بايت)، مما يجعل المجموع 8 بايت لكل معلمة.
السؤال 4
ما هي ذاكرة GPU التقريبية المطلوبة للضبط الدقيق الكامل لنموذج 7B مع bf16؟
A) 7 جيجابايت
B) 14 جيجابايت
C) 60-80 جيجابايت
D) 280 جيجابايت
إظهار الإجابة
الإجابة الصحيحة: C
يتطلب نموذج 7B حوالي 60-80 جيجابايت للضبط الدقيق الكامل مع bf16، بما في ذلك الأوزان (14 جيجابايت)، التدرجات (14 جيجابايت)، حالات المحسن (56 جيجابايت في fp32)، والتنشيطات.
السؤال 5
لماذا يفضل bfloat16 غالبًا على float16 للتدريب؟
A) إنه أسرع
B) يستخدم ذاكرة أقل
C) له نفس نطاق float32، مما يقلل من خطر الفائض
D) مطلوب من جميع وحدات معالجة الرسوم
إظهار الإجابة
الإجابة الصحيحة: C
يحافظ BFloat16 على نفس نطاق الأسس مثل float32 (فقط مع دقة أقل)، مما يجعله أكثر استقرارًا للتدريب. Float16 له نطاق أضيق ويمكن أن يسبب فائض/نقص.
السؤال 6
ماذا يفعل التحقق من التدرجات؟
A) يحفظ نقاط التحقق من النموذج
B) يبادل الحساب بالذاكرة عن طريق إعادة حساب التنشيطات
C) يقطع التدرجات الكبيرة
D) يجمع التدرجات على الدفعات
إظهار الإجابة
الإجابة الصحيحة: B
يوفر التحقق من التدرجات الذاكرة بعدم تخزين جميع التنشيطات أثناء تمرير التقديم. بدلاً من ذلك، يعيد حسابها أثناء تمرير التراجع، مما يبادل الحساب الإضافي بالذاكرة المخفضة.
السؤال 7
ما هو استخدام تراكم التدرجات؟
A) منع انفجار التدرجات
B) محاكاة أحجام دفعات أكبر بذاكرة محدودة
C) تخزين التدرجات للتحليل لاحقًا
D) تقليل وقت التدريب
إظهار الإجابة
الإجابة الصحيحة: B
يسمح تراكم التدرجات بمحاكاة أحجام دفعات فعالة أكبر عن طريق تراكم التدرجات عبر تمريرات تقديم دفعات صغيرة متعددة قبل تحديث الأوزان.
السؤال 8
ما هو نطاق معدل التعلم النموذجي للضبط الدقيق الكامل؟
A) 1e-2 إلى 1e-3
B) 1e-5 إلى 5e-5
C) 1e-7 إلى 1e-8
D) 1.0
إظهار الإجابة
الإجابة الصحيحة: B
يستخدم الضبط الدقيق الكامل عادةً معدلات تعلم في نطاق 1e-5 إلى 5e-5 - أقل من طرق PEFT لأن المزيد من المعلمات يتم تحديثها.
السؤال 9
ما هو النسيان الكارثي؟
A) عندما يتم فقدان بيانات التدريب
B) عندما يفقد النموذج المعرفة المكتسبة سابقًا بعد التدريب على بيانات جديدة
C) عندما يصبح النموذج كبيرًا جدًا
D) عندما تنفجر التدرجات
إظهار الإجابة
الإجابة الصحيحة: B
يحدث النسيان الكارثي عندما يتدهور أداء الشبكة العصبية في المهام التي تعلمتها سابقًا بعد أن تم تدريبها على بيانات جديدة.
السؤال 10
لماذا تساعد طرق PEFT في منع النسيان الكارثي؟
A) يستخدمون المزيد من البيانات
B) يبقون أوزان النموذج الأساسي مجمدة
C) يدربون لعدد أكبر من العصور
D) يستخدمون معدلات تعلم أعلى
إظهار الإجابة
الإجابة الصحيحة: B
تحافظ طرق PEFT على أوزان النموذج الأساسي مجمدة، لذا يتم الحفاظ على المعرفة الأصلية. يتم تدريب فقط معلمات المحولات الصغيرة.
السؤال 11
ما هو اضمحلال الوزن؟
A) انخفاض أوزان النموذج بمرور الوقت
B) تقنية تنظيمية تعاقب الأوزان الكبيرة
C) تدهور ذاكرة GPU
D) تقليل معدل التعلم
إظهار الإجابة
الإجابة الصحيحة: B
اضمحلال الوزن هو تقنية تنظيمية تضيف عقوبة للقيم الكبيرة للأوزان، مما يساعد على منع الإفراط في التكيف والحفاظ على التعميم.
السؤال 12
ما هو الإحماء في التدريب؟
A) انتظار وصول GPU إلى درجة الحرارة المثلى
B) زيادة معدل التعلم تدريجيًا في بداية التدريب
C) تحميل البيانات مسبقًا في الذاكرة
D) تشغيل دفعة اختبار صغيرة أولاً
إظهار الإجابة
الإجابة الصحيحة: B
يزيد الإحماء تدريجيًا من معدل التعلم من قيمة صغيرة إلى المعدل المستهدف، مما يساعد على استقرار التدريب في المراحل المبكرة عندما قد تكون التدرجات غير مستقرة.
السؤال 13
ما هو DeepSpeed ZeRO Stage 2؟
A) لا تحسين
B) تقسيم حالات المحسن فقط
C) تقسيم حالات المحسن والتدرجات
D) تقسيم كل شيء بما في ذلك الأوزان
إظهار الإجابة
الإجابة الصحيحة: C
يقوم ZeRO Stage 2 بتقسيم كل من حالات المحسن والتدرجات عبر وحدات معالجة الرسوم، مما يقلل من الذاكرة لكل وحدة معالجة. يضيف Stage 3 تقسيم الأوزان.
السؤال 14
أي محسن يستخدم أقل ذاكرة؟
A) AdamW
B) Adam 8-bit
C) Adafactor
D) SGD
إظهار الإجابة
الإجابة الصحيحة: D
يستخدم SGD أقل ذاكرة لأنه لا يخزن حالات الزخم أو التباين (على الرغم من أن Adam 8-bit وAdafactor يقللان أيضًا بشكل كبير من الذاكرة مقارنة بـ AdamW).
السؤال 15
ما هو التدريب بدقة مختلطة؟
A) التدريب على وحدات معالجة رسومات متعددة
B) استخدام كل من fp16/bf16 وfp32 أثناء التدريب
C) التدريب على مجموعات بيانات متعددة
D) استخدام معدلات تعلم مختلفة
إظهار الإجابة
الإجابة الصحيحة: B
يستخدم التدريب بدقة مختلطة دقة أقل (fp16/bf16) لمعظم العمليات بينما يحافظ على العمليات الحرجة في fp32 للاستقرار.
السؤال 16
ماذا يظهر torch.cuda.memory_allocated()؟
A) إجمالي ذاكرة GPU
B) الذاكرة المخصصة حاليًا لوحدات معالجة الرسوم بواسطة الموترات
C) ذاكرة GPU الحرة
D) استخدام ذاكرة CPU
إظهار الإجابة
الإجابة الصحيحة: B
torch.cuda.memory_allocated() يعيد مقدار ذاكرة GPU المشغولة حاليًا بواسطة الموترات.
السؤال 17
ما هي استراتيجية جيدة لتقليل النسيان الكارثي في الضبط الدقيق الكامل؟
A) معدل تعلم أعلى
B) المزيد من العصور التدريبية
C) خلط البيانات مع بيانات التعليمات العامة
D) أحجام دفعات أكبر
إظهار الإجابة
الإجابة الصحيحة: C
يساعد خلط بيانات الضبط الدقيق الخاصة بك مع بيانات التعليمات العامة (إعادة تشغيل البيانات) في الحفاظ على قدرات النموذج العامة.
السؤال 18
ما هو حجم الدفعة الفعالة مع batch_size=2 وgradient_accumulation_steps=8؟
A) 2
B) 8
C) 16
D) 10
إظهار الإجابة
الإجابة الصحيحة: C
حجم الدفعة الفعالة = per_device_batch_size × gradient_accumulation_steps = 2 × 8 = 16.
السؤال 19
عند مراقبة التدريب، ما الذي قد يشير إلى الإفراط في التكيف؟
A) انخفاض خسارة التدريب وخسارة التحقق
B) انخفاض خسارة التدريب بينما تزيد خسارة التحقق
C) استقرار كلا الخسارتين
D) زيادة خسارة التدريب
إظهار الإجابة
الإجابة الصحيحة: B
عندما تستمر خسارة التدريب في الانخفاض ولكن تبدأ خسارة التحقق في الزيادة، فهذا يشير إلى أن النموذج يتكيف بشكل مفرط مع بيانات التدريب.
السؤال 20
ما هو التوقف المبكر؟
A) إيقاف التدريب قبل أن يبدأ
B) إيقاف التدريب عندما يتوقف أداء التحقق عن التحسن
C) التوقف بعد عصر واحد
D) التوقف عندما ترتفع درجة حرارة GPU
إظهار الإجابة
الإجابة الصحيحة: B
يراقب التوقف المبكر أداء التحقق ويوقف التدريب عندما يتوقف عن التحسن، مما يمنع الإفراط في التكيف.
السؤال 21
كم يمكن أن توفر مثيلات spot تقريبًا في تكاليف التدريب السحابية؟
A) 10%
B) 30%
C) 60-70%
D) 90%
إظهار الإجابة
الإجابة الصحيحة: C
تتكلف مثيلات spot عادةً 60-70% أقل من المثيلات عند الطلب، على الرغم من أنه يمكن مقاطعتها.
السؤال 22
ماذا يحدث إذا كان معدل التعلم مرتفعًا جدًا؟
A) التدريب بطيء جدًا
B) قد يتباعد النموذج أو يفقد المعرفة المدربة مسبقًا
C) يتقارب النموذج بشكل أسرع
D) لا تأثير
إظهار الإجابة
الإجابة الصحيحة: B
يمكن أن يتسبب معدل التعلم المرتفع جدًا في تباعد النموذج (انفجار الخسارة) أو إجراء تحديثات كبيرة لدرجة أن المعرفة المدربة مسبقًا يتم تدميرها.
السؤال 23
ما هي فائدة حفظ نقاط التحقق أثناء التدريب؟
A) يقلل من استخدام الذاكرة
B) يسمح بالاسترداد واختيار أفضل نموذج
C) يسرع التدريب
D) يقلل من حجم مجموعة البيانات
إظهار الإجابة
الإجابة الصحيحة: B
يسمح حفظ نقاط التحقق لك بالاسترداد من الأعطال، اختيار نقطة التحقق الأفضل أداءً، ومواصلة التدريب من أي نقطة.
السؤال 24
أي تنسيق دقة يستخدم 2 بايت لكل معلمة؟
A) float32
B) bfloat16/float16
C) int8
D) int4
إظهار الإجابة
الإجابة الصحيحة: B
يستخدم كل من bfloat16 وfloat16 2 بايت (16 بت) لكل معلمة، نصف 4 بايت لـ float32.
السؤال 25
ما هو الاحتفاظ بالقدرة في سياق تقييم الضبط الدقيق؟
A) مقدار ما يتذكره النموذج خلال جلسة
B) النسبة المئوية لأداء المعيار الأساسي المحفوظة بعد الضبط الدقيق
C) عدد المعلمات المحتفظ بها
D) حفظ بيانات التدريب
إظهار الإجابة
الإجابة الصحيحة: B
يقيس الاحتفاظ بالقدرة النسبة المئوية لأداء النموذج الأساسي على المعايير العامة المحفوظة بعد الضبط الدقيق.
السؤال 26
لماذا قد تختار الضبط الدقيق الكامل على PEFT؟
A) إنه دائمًا أفضل
B) أقصى إمكانات التخصيص وسقف الجودة
C) يستخدم ذاكرة أقل
D) أسرع في التدريب
إظهار الإجابة
الإجابة الصحيحة: B
يتم اختيار الضبط الدقيق الكامل عندما تحتاج إلى أقصى إمكانات التخصيص ولديك موارد كافية، حيث أن له أعلى سقف للجودة.
السؤال 27
ما هي صيغة وقت التدريب التقريبي؟
A) حجم مجموعة البيانات × ذاكرة GPU
B) (حجم مجموعة البيانات × العصور) / (حجم الدفعة × الإنتاجية)
C) معدل التعلم × العصور
D) حجم النموذج / عدد وحدات معالجة الرسوم
إظهار الإجابة
الإجابة الصحيحة: B
وقت التدريب ≈ (إجمالي الرموز أو العينات التدريبية × العصور) / (حجم الدفعة الفعالة × الإنتاجية في الرموز/العينات في الثانية).
السؤال 28
ما هو التحول في التوزيع في الضبط الدقيق؟
A) الانتقال إلى وحدة معالجة رسوم جديدة
B) عندما تحتوي بيانات الضبط الدقيق على أنماط مختلفة عن بيانات التدريب المسبق
C) تغيير المحسن
D) ضبط حجم الدفعة
إظهار الإجابة
الإجابة الصحيحة: B
يشير التحول في التوزيع إلى الفرق بين توزيع بيانات التدريب المسبق (واسع، عام) وتوزيع بيانات الضبط الدقيق (متخصص، ضيق).
السؤال 29
أي وحدة معالجة رسوم تحتاجها للضبط الدقيق الكامل لنموذج 7B مع تحسينات الكفاءة؟
A) RTX 3090 (24GB)
B) A100-40GB
C) A100-80GB
D) H100
إظهار الإجابة
الإجابة الصحيحة: C
حتى مع التحسينات (bf16، التحقق من التدرجات)، يتطلب نموذج 7B 60-80 جيجابايت للضبط الدقيق الكامل، مما يجعل A100-80GB الحد الأدنى المناسب لوحدة معالجة الرسوم الفردية.
السؤال 30
ما هو المقايضة الأساسية للتحقق من التدرجات؟
A) الجودة مقابل السرعة
B) الذاكرة مقابل الحساب (المزيد من الحساب، ذاكرة أقل)
C) السرعة مقابل الجودة
D) حجم مجموعة البيانات مقابل العصور
إظهار الإجابة
الإجابة الصحيحة: B
يبادل التحقق من التدرجات الحساب بالذاكرة - يستخدم المزيد من الحساب (إعادة حساب التنشيطات) لتقليل استخدام الذاكرة.
النتائج
| النتيجة | المستوى |
|---|---|
| 27-30 | ممتاز - فهم قوي للضبط الدقيق الكامل! |
| 21-26 | جيد - راجع قسم متطلبات الحساب |
| 15-20 | متوسط - أعد زيارة جميع الفصول |
| أقل من 15 | يحتاج إلى مراجعة شاملة |