اختبار: الوحدة 2 - هندسة المحول

اختبر فهمك لهندسة المحول. يحتوي هذا الاختبار على 30 سؤالًا تغطي آليات الانتباه، والانتباه متعدد الرؤوس، وترميز المواقع.

---

الفصل 1: آلية الانتباه

السؤال 1

في صيغة الانتباه، ماذا يمثل الاستعلام (Q)؟

1. ما نبحث عنه أو نبحث عنه
2. المحتوى الذي سيتم استرجاعه
3. الفهرس في الذاكرة
4. ناتج الانتباه

السؤال 2

لماذا يتم قياس درجة الانتباه بواسطة √d_k؟

1. لتسريع الحساب
2. لمنع نمو المنتجات النقطية بشكل كبير، مما سيدفع softmax إلى مناطق ذات تدرج منخفض
3. لتطبيع الناتج إلى طول الوحدة
4. لتقليل استخدام الذاكرة

السؤال 3

ما هو شكل مصفوفة أوزان الانتباه لتسلسل طوله n؟

1. n × d_model
2. d_k × d_v
3. n × n
4. 1 × n

السؤال 4

في الانتباه السببي (المقنع)، ماذا يمنع القناع؟

1. النظر إلى نفس الموضع
2. النظر إلى المواضع المستقبلية
3. النظر إلى المواضع السابقة
4. النظر إلى رموز الحشو فقط

السؤال 5

ما هي تعقيد الوقت للانتباه القياسي بالنسبة لطول التسلسل n؟

1. O(n)
2. O(n log n)
3. O(n²)
4. O(n³)

السؤال 6

ما هي القيمة المستخدمة لإخفاء المواضع في الانتباه؟

1. 0
2. 1
3. -infinity (قبل softmax)
4. قيمة عشوائية

السؤال 7

ماذا تحتوي مصفوفة القيمة (V)؟

1. معايير البحث
2. درجات الأهمية
3. المحتوى الفعلي الذي سيتم استرجاعه بناءً على أوزان الانتباه
4. معلومات الموضع

السؤال 8

ماذا يضمن softmax بشأن أوزان الانتباه؟

1. أنها تجمع إلى 1 لكل موضع استعلام
2. أنها جميعًا متساوية
3. أنها ثنائية (0 أو 1)
4. أنها دائمًا أعداد صحيحة موجبة

السؤال 9

ما هي المشكلة التي يعالجها Flash Attention بشكل أساسي؟

1. دقة الانتباه
2. كفاءة الذاكرة للانتباه
3. سرعة التدريب فقط
4. حجم النموذج

السؤال 10

كيف يتم حساب الناتج النهائي للانتباه؟

1. مجموع Q و K و V
2. ناتج Q و K
3. المجموع الموزون لـ V باستخدام أوزان الانتباه
4. الحد الأقصى لأوزان الانتباه

---

الفصل 2: الانتباه الذاتي والانتباه متعدد الرؤوس

السؤال 11

ما الذي يميز الانتباه الذاتي عن الانتباه المتقاطع؟

1. في الانتباه الذاتي، تأتي Q و K و V جميعها من نفس المدخلات
2. الانتباه الذاتي يستخدم المزيد من المعلمات
3. الانتباه الذاتي أسرع
4. الانتباه الذاتي يعمل فقط مع النصوص

السؤال 12

إذا كان d_model = 512 ولدينا 8 رؤوس انتباه، ما هو d_k لكل رأس؟

1. 512
2. 256
3. 128
4. 64

السؤال 13

ما هي الفائدة الرئيسية للانتباه متعدد الرؤوس؟

1. يقلل من وقت الحساب
2. يسمح للنموذج بالانتباه إلى مساحات تمثيل فرعية مختلفة
3. يستخدم معلمات أقل
4. يلغي الحاجة إلى ترميز المواقع

السؤال 14

في الانتباه متعدد الرؤوس، كيف يتم دمج نواتج الرؤوس المختلفة؟

1. متوسط
2. مجموع
3. متسلسل ثم مسقط
4. تجمع الحد الأقصى

السؤال 15

أين يُستخدم الانتباه المتقاطع عادةً؟

1. فقط في المشفرات
2. في هياكل المشفر-المفكك، حيث ينتبه المفكك إلى ناتج المشفر
3. فقط في نماذج GPT
4. أبدًا في المحولات

السؤال 16

لماذا يمكن حساب رؤوس الانتباه بالتوازي؟

1. كل حساب رأس مستقل عن الرؤوس الأخرى
2. يشتركون في الأوزان
3. يعالجون تسلسلات مختلفة
4. يستخدمون وظائف تفعيل مختلفة

السؤال 17

ماذا قد تتعلم رؤوس الانتباه المختلفة؟

1. نفس الأنماط للتكرار
2. أنماط لغوية مختلفة (نحو، دلالات، إلخ.)
3. معلومات الموضع فقط
4. ضوضاء عشوائية

السؤال 18

ما هو بُعد الناتج للانتباه متعدد الرؤوس مع d_model = 512؟

1. يعتمد على عدد الرؤوس
2. 64 لكل موضع
3. 512 لكل موضع (نفس d_model)
4. 1024 لكل موضع

السؤال 19

لماذا يكون الانتباه الذاتي متكافئًا مع التبديل؟

1. لأنه يستخدم RNNs داخليًا
2. لأن أوزان الانتباه تعتمد فقط على التشابهات الزوجية، وليس المواضع
3. بسبب وظيفة softmax
4. ليس متكافئًا مع التبديل

السؤال 20

ما هو دور الإسقاط الناتج (W_O) في الانتباه متعدد الرؤوس؟

1. لحساب أوزان الانتباه
2. لإسقاط نواتج الرؤوس المتسلسلة مرة أخرى إلى d_model
3. لإضافة معلومات الموضع
4. لحساب الخسارة

---

الفصل 3: ترميز المواقع والتضمينات

السؤال 21

لماذا تحتاج المحولات إلى ترميز المواقع؟

1. لتقليل الحساب
2. لأن الانتباه الذاتي وحده متكافئ مع التبديل ويفقد معلومات الموضع
3. لزيادة سعة النموذج
4. للتعامل مع تسلسلات ذات أطوال متغيرة

السؤال 22

في ترميز المواقع الجيبية، ما الذي يختلف عبر الأبعاد المختلفة؟

1. السعة
2. تردد التذبذب
3. الإزاحة الطورية
4. لا شيء - جميع الأبعاد متطابقة

السؤال 23

ما هو نطاق القيم لترميز المواقع الجيبية؟

1. 0 إلى 1
2. 0 إلى ما لا نهاية
3. -1 إلى 1
4. غير محدود

السؤال 24

كيف يتم دمج تضمينات الرموز مع ترميزات المواقع؟

1. متسلسل
2. مضاف معًا
3. مضروب
4. تجمع الحد الأقصى

السؤال 25

ما هي ميزة التضمينات الموضعية المتعلمة على الجيبية؟

1. تحسين الاستقراء للتسلسلات الأطول
2. لا تتطلب معلمات
3. يمكنها التكيف مع الأنماط الخاصة ببيانات التدريب
4. تعمل مع أي طول تسلسل

السؤال 26

ما هو RoPE (تضمين الموضع الدوار)؟

1. نوع من آلية الانتباه
2. طريقة تقوم بترميز الموضع عن طريق تدوير التضمينات
3. هدف تدريبي
4. نوع من التطبيع

السؤال 27

أي النماذج تستخدم RoPE بشكل شائع؟

1. المحول الأصلي وBERT
2. LLaMA وMistral والعديد من LLMs الحديثة
3. فقط GPT-2
4. فقط نماذج المشفر

السؤال 28

لماذا يتم قياس تضمين الرموز بواسطة √d_model في المحول الأصلي؟

1. لتقليل استخدام الذاكرة
2. لموازنة حجم التضمينات مع ترميزات المواقع
3. لتطبيع التدرجات
4. لزيادة سعة النموذج

السؤال 29

ما هو نهج ALiBi في ترميز الموضع؟

1. إضافة متجهات الموضع إلى التضمينات
2. تدوير متجهات الاستعلام والمفتاح
3. إضافة تحيز قائم على المسافة مباشرة إلى درجات الانتباه
4. تعلم تضمينات موضعية منفصلة

السؤال 30

ما هو قيد التضمينات الموضعية المتعلمة؟

1. تتطلب الكثير من الحسابات
2. لديها طول تسلسل أقصى ثابت
3. لا يمكنها التقاط المواضع النسبية
4. لا تعمل مع الانتباه متعدد الرؤوس

---

اكتمال الاختبار!

تهانينا على إكمال اختبار الوحدة 2! راجع أي أسئلة وجدتها صعبة وأعد زيارة أقسام الفصل ذات الصلة.

درجة النجاح: 24/30 (80%)

---

← الفصل 3: ترميز المواقع

الوحدة 3: تدريب LLMs →