الوحدة 2: التعمق في بنية المحول
نظرة عامة على الوحدة
بنية المحول هي الأساس لجميع نماذج اللغة الكبيرة الحديثة. توفر هذه الوحدة فهماً تقنياً شاملاً لكيفية عمل المحولات، بدءًا من آلية الانتباه الأساسية إلى البنية الكاملة.
أهداف التعلم
بنهاية هذه الوحدة، ستكون قادرًا على:
- ✅ شرح آلية الانتباه رياضياً وبديهياً
- ✅ تنفيذ انتباه المنتج النقطي الموسع من الصفر
- ✅ فهم الانتباه الذاتي والانتباه متعدد الرؤوس
- ✅ وصف دور الترميز الموضعي
- ✅ تتبع تدفق البيانات عبر كتلة محول كاملة
محتويات الوحدة
الفصل 1: آلية الانتباه
التعمق في عمليات الاستعلام والمفتاح والقيمة، والانتباه المنتج النقطي الموسع، والحدس وراء الانتباه.
الفصل 2: الانتباه الذاتي والانتباه متعدد الرؤوس
فهم كيفية تطبيق الانتباه داخل تسلسل واحد وفوائد الرؤوس الانتباهية المتعددة.
الفصل 3: الترميز الموضعي والتضمينات
لماذا يهم الموقع في المحولات، الترميز الجيبي، التضمينات المتعلمة، وتمثيلات الرموز.
معاينة المفاهيم الرئيسية
| المفهوم | التعريف |
|---|---|
| الانتباه | آلية لوزن أهمية الأجزاء المختلفة من المدخلات |
| الاستعلام، المفتاح، القيمة | ثلاث إسقاطات تستخدم لحساب الانتباه |
| الانتباه الذاتي | الانتباه حيث يحضر المدخل إلى نفسه |
| متعدد الرؤوس | تشغيل عمليات انتباه متعددة بالتوازي |
| الترميز الموضعي | معلومات حول مواقع الرموز في التسلسل |
المتطلبات المسبقة
تفترض هذه الوحدة الإلمام بـ:
- الجبر الخطي (ضرب المصفوفات، المنتجات النقطية)
- أساسيات الشبكات العصبية (الطبقات، دوال التنشيط)
- أساسيات Python وPyTorch
تقدير الوقت
- القراءة: 3-4 ساعات
- تمارين البرمجة: 2-3 ساعات
- الاختبار: 30-45 دقيقة
- الإجمالي: 6-8 ساعات