الفصل 1: قوانين التحجيم والحدود
قوانين التحجيم لكابلان (2020)
وجدت OpenAI علاقات قانون القوة:
حيث ينخفض الفقد بشكل متوقع مع حجم النموذج.
التحجيم لشينشيلا (2022)
اكتشاف DeepMind الأمثل للحساب:
الحكمة السابقة: تدريب نماذج أكبر على بيانات ثابتة شينشيلا: تدريب نماذج أصغر على المزيد من البيانات
| النهج | المعلمات | الرموز | الحساب |
|---|---|---|---|
| GPT-3 | 175B | 300B | مرتفع |
| شينشيلا | 70B | 1.4T | نفس |
| النتيجة | شينشيلا يفوز |
قاعدة الإبهام: ~20 رمزًا لكل معلمة
نقاش العوائد المتناقصة
هل نصل إلى الحدود؟
الحجج للحدود:
- تشبع المعايير
- تباطؤ القدرات الناشئة
- قيود توفر البيانات
الحجج ضد:
- قدرات جديدة لا تزال تظهر
- تحسينات خوارزمية
- تقدم متعدد الوسائط والمنطق
تحسينات الكفاءة
ما وراء التحجيم الخام:
- هياكل أفضل (MoE)
- تحسين التدريب (المنهج)
- جودة البيانات > الكمية
- ابتكارات خوارزمية