إنتقل إلى المحتوى الرئيسي

الفصل 2: بنية المحولات

البنية التي غيرت كل شيء​

بنية المحولات، التي تم تقديمها في عام 2017، أحدثت ثورة في الذكاء الاصطناعي. كل نموذج لغة رئيسي (GPT، Claude، Gemini، Llama) مبني على هذا الأساس.

قبل المحولات: المشكلة​

النهج السابقة لمعالجة البيانات التسلسلية (مثل النصوص) كانت لها قيود كبيرة:

الشبكات العصبية المتكررة (RNNs)​

المشاكل:

  1. المعالجة التسلسلية: كلمة واحدة في كل مرة = بطيء
  2. النسيان: العلاقات بعيدة المدى تضيع
  3. التوازي المحدود: لا يمكن الاستفادة من وحدات معالجة الرسوميات الحديثة

تشبيه: مثل قراءة كتاب ولكن تذكر الصفحات الأخيرة بوضوح فقط.

حل المحولات​

ورقة عام 2017 "الانتباه هو كل ما تحتاجه" اقترحت فكرة جذرية: معالجة جميع الكلمات في وقت واحد باستخدام آلية "الانتباه".

الابتكار الرئيسي: يمكن لكل كلمة "الانتباه" لكل كلمة أخرى، بغض النظر عن الموقع.

فهم الانتباه​

الفكرة الأساسية​

يسمح الانتباه للنموذج بالتركيز على الأجزاء ذات الصلة من المدخلات عند معالجة كل عنصر.

مثال: "لم يعبر الحيوان الشارع لأن هو كان متعبًا جدًا."

إلى ماذا يشير "هو"؟ يعرف الإنسان أن "هو" = "الحيوان" لأن الحيوانات تتعب.

آلية الانتباه تتعلم هذه العلاقات:

شرح الانتباه الذاتي​

لكل كلمة، يسأل النموذج: "كم يجب أن أنتبه لكل كلمة أخرى؟"

خطوة بخطوة:

  1. الاستعلام (Q): "ماذا أبحث عن؟"
  2. المفتاح (K): "ماذا أحتوي؟"
  3. القيمة (V): "ما المعلومات التي أقدمها؟"

تشبيه: البحث في المكتبة​

تخيل أنك تبحث في موضوع:

  • الاستعلام: سؤال البحث الخاص بك
  • المفاتيح: عناوين الكتب والملخصات
  • القيم: المحتوى الفعلي للكتب
  • الانتباه: مدى ملاءمة كل كتاب لسؤالك

بنية المحولات​

الهيكل الكامل​

المكونات الرئيسية​

1. طبقة التضمين​

تحول الكلمات إلى متجهات عددية (قوائم من الأرقام) تلتقط المعنى.

"قطة" → [0.2، -0.5، 0.8، 0.1، ...]
"كلب" → [0.3، -0.4، 0.7، 0.2، ...]

الكلمات المتشابهة لها متجهات متشابهة!

2. التشفير الموضعي​

يضيف معلومات حول موضع الكلمة نظرًا لأن الانتباه يعالج كل شيء في وقت واحد.

بدون هذا، "الكلب يعض الرجل" و"الرجل يعض الكلب" سيبدوان متشابهين.

3. الانتباه متعدد الرؤوس​

آليات انتباه متعددة تعمل بالتوازي، كل منها يركز على جوانب مختلفة:

  • قد تركز رأس واحدة على القواعد
  • أخرى على المعنى
  • أخرى على السياق

4. شبكات التغذية الأمامية​

طبقات الشبكة العصبية القياسية التي تعالج كل موضع بشكل مستقل.

5. تطبيع الطبقة​

يحافظ على القيم في نطاق معقول، مما يحسن استقرار التدريب.

أنواع نماذج المحولات​

1. المشفر فقط (مثل BERT)​

  • يعالج المدخلات لإنشاء تمثيلات
  • جيد لـ: التصنيف، مهام الفهم
  • يمكنه رؤية كل السياق (ثنائي الاتجاه)

2. المفكك فقط (مثل GPT، Claude)​

  • يولد المخرجات كلمة بكلمة
  • جيد لـ: توليد النصوص
  • يرى السياق السابق فقط (أحادي الاتجاه)

3. المشفر-المفكك (مثل T5، BART)​

  • المشفر يعالج المدخلات، المفكك يولد المخرجات
  • جيد لـ: الترجمة، التلخيص

لماذا تتفوق المحولات​

1. التوازي​

يمكن معالجة جميع المواضع في وقت واحد → تدريب أسرع بكثير

2. التبعيات طويلة المدى​

الانتباه يربط أي موضعين مباشرة → أفضل في فهم السياق

3. القابلية للتوسع​

البنية تتوسع بشكل جيد مع المزيد من البيانات والمعلمات → تمكين النماذج الضخمة

4. التعلم بالنقل​

يمكن تكييف النماذج المدربة مسبقًا للعديد من المهام → تطوير أكثر كفاءة

نافذة السياق​

نافذة السياق هي الحد الأقصى من النص الذي يمكن للمحول معالجته في وقت واحد.

النموذجنافذة السياق
GPT-34,096 رمزًا (~3,000 كلمة)
GPT-4128,000 رمزًا (~100,000 كلمة)
Claude 3200,000 رمزًا (~150,000 كلمة)
Gemini 1.51,000,000+ رمز

لماذا يهم:

  • سياق أكبر = فهم أفضل للوثائق الطويلة
  • يمكن الرجوع إلى المعلومات من بداية المحادثات
  • يمكن معالجة الكتب أو قواعد الشيفرة بالكامل

الرموز: كيف يتم معالجة النص​

المحولات لا تعالج الكلمات - إنها تعالج الرموز.

ما هو الرمز؟​

الرمز هو جزء من النص، عادةً:

  • كلمة شائعة: "the" = 1 رمز
  • جزء من كلمة: "understanding" = "under" + "standing" = 2 رموز
  • علامة ترقيم: "." = 1 رمز

مثال​

المدخل: "ChatGPT رائع!"

الرموز: ["Chat", "G", "PT", " is", " amazing", "!"]

تقريبًا: 1 رمز ≈ 4 أحرف أو ¾ كلمة في الإنجليزية

قيود المحولات​

1. التعقيد التربيعي​

الانتباه يقارن كل رمز بكل رمز آخر:

  • 1,000 رمز → 1,000,000 مقارنة
  • 10,000 رمز → 100,000,000 مقارنة

هذا يحد من أحجام السياق العملية.

2. لا يوجد تفكير حقيقي​

المحولات تتعرف على الأنماط؛ لا تفهم أو تفكر حقًا.

3. ثابت بعد التدريب​

معرفة النموذج مجمدة في وقت التدريب (بدون تعزيز الاسترجاع).

4. خطر الهلوسة​

يمكن للطبيعة المطابقة للأنماط أن تنتج مخرجات واثقة ولكن غير صحيحة.

النقاط الرئيسية​

✅ المحولات تعالج جميع المدخلات في وقت واحد باستخدام الانتباه

✅ الانتباه يسمح لكل عنصر بالارتباط بكل عنصر آخر

✅ هذه البنية تشغل جميع النماذج الحديثة الرئيسية للذكاء الاصطناعي

✅ نافذة السياق تحدد مقدار النص الذي يمكن معالجته

✅ يتم معالجة النص كرموز، وليس كلمات

✅ أنواع المحولات المختلفة (المشفر، المفكك) تناسب مهام مختلفة

الخطوات التالية​

الآن بعد أن فهمت البنية، دعونا نستكشف كيف يتم تدريب هذه النماذج في الفصل 3: التدريب والتعلم.