إنتقل إلى المحتوى الرئيسي

الفصل 2: البنى الناشئة

ما بعد المحولات؟​

سيطر المحول، لكن البدائل بدأت في الظهور.

نماذج الحالة الزمنية (SSMs)​

نمذجة التسلسل في الوقت الخطي:

Transformers: O(n²) attention
SSMs: O(n) recurrence with parallelizable training

مامبا​

نموذج حالة زمنية انتقائي:

# Mamba key innovation: input-dependent selection
def selective_scan(x, A, B, C, delta):
    # delta (Δ) is input-dependent
    # Enables dynamic, selective "attention-like" behavior
    # With linear complexity
    pass

الفوائد:

  • التدرج الخطي مع طول التسلسل
  • منافس للمحولات
  • أفضل للتسلسلات الطويلة جدًا

RWKV​

يجمع بين كفاءة RNN وجودة المحول:

  • تعقيد خطي
  • تدريب قابل للتوازي
  • أداء جيد

المقارنة​

البنيةالتعقيدالسياق الطويلالجودة
المحولO(n²)محدود*الأفضل
مامباO(n)ممتازقريب من الأفضل
RWKVO(n)جيدجيد

*مع تحسينات مثل Flash Attention، تظل المحولات تنافسية

هل سيتم استبدال المحولات؟​

السيناريو المحتمل: البنى الهجينة التي تجمع بين:

  • الانتباه للمواقع الرئيسية
  • الطبقات الخطية للكفاءة
  • الأفضل من كلا العالمين