الوحدة 3: تدريب النماذج اللغوية الكبيرة
نظرة عامة على الوحدة
يتطلب تدريب النماذج اللغوية الكبيرة موارد حسابية ضخمة وبيانات منتقاة بعناية وتقنيات تدريب موزعة متقدمة. تستكشف هذه الوحدة خط أنابيب التدريب الكامل من البيانات إلى النموذج المدرب.
أهداف التعلم
- ✅ فهم أهداف ما قبل التدريب (توقع الرمز التالي، نمذجة اللغة المقنعة)
- ✅ شرح جمع البيانات وخطوط أنابيب المعالجة المسبقة
- ✅ وصف تقنيات التدريب الموزعة (البيانات، النموذج، التوازي عبر الموترات)
- ✅ فهم متطلبات الحوسبة لتدريب النماذج اللغوية الكبيرة
محتويات الوحدة
الفصل 1: أهداف ما قبل التدريب
توقع الرمز التالي، نمذجة اللغة المقنعة، النهج السببي مقابل ثنائي الاتجاه.
الفصل 2: جمع البيانات والمعالجة المسبقة
استخلاص الويب، تنظيف البيانات، إزالة التكرار، تصفية الجودة، الترميز.
الفصل 3: تقنيات التدريب الموزعة
التوازي عبر البيانات، التوازي عبر النموذج، التوازي عبر الموترات، التوازي عبر خطوط الأنابيب، ZeRO.