الوحدة 6: الاستدلال والنشر
تحسين النماذج اللغوية الكبيرة للنشر في الإنتاج.
أهداف التعلم
- ✅ فهم تقنيات تحسين الاستدلال (ذاكرة التخزين المؤقت KV، فك التشفير التخميني)
- ✅ تعلم طرق التكميم (INT8، INT4، GPTQ، AWQ)
- ✅ نشر النماذج على نطاق واسع باستخدام vLLM وTGI وTriton
الفصول
- تحسين الاستدلال: ذاكرة التخزين المؤقت KV، التجميع، فك التشفير التخميني
- التكميم: INT8، INT4، GPTQ، AWQ، bitsandbytes
- الخدمة على نطاق واسع: vLLM، TGI، موازنة التحميل، التوسع التلقائي