إنتقل إلى المحتوى الرئيسي

الفصل 3: عملية التدريب والتعلّم

كيف يتعلم الذكاء الاصطناعي أن يكون ذكيًا​

التدريب هو العملية التي تحول الشبكة العصبية من صفحة بيضاء إلى نظام ذكاء اصطناعي قوي. فهم هذه العملية يكشف عن كل من قدرات وحدود الذكاء الاصطناعي.

المراحل الثلاث لتدريب الذكاء الاصطناعي​

المرحلة 1: التدريب المسبق​

ما يحدث​

يتعلم النموذج الأنماط الأساسية للغة من خلال التنبؤ بالكلمة التالية في مليارات من عينات النص.

المهمة: التنبؤ بالكلمة التالية​

Input: "The cat sat on the"
Model predicts: "mat" (with 35% probability)
                "floor" (with 25% probability)
                "roof" (with 15% probability)
                ...

مهمة بسيطة، نتائج عميقة: من خلال تعلم التنبؤ بالكلمة التالية، يتعلم النموذج القواعد، الحقائق، أنماط التفكير، وأكثر من ذلك بكثير.

نطاق بيانات التدريب​

النموذجبيانات التدريب
GPT-3~45 تيرابايت من النص
GPT-4يقدر بـ 1 بيتابايت+
Llama 22 تريليون رمز

تشمل المصادر:

  • صفحات الويب (Common Crawl)
  • الكتب
  • ويكيبيديا
  • الأوراق الأكاديمية
  • مستودعات الشيفرة

متطلبات الحوسبة​

تتطلب نماذج التدريب الكبيرة موارد ضخمة:

الموردالنطاق
وحدات معالجة الرسومياتآلاف من A100/H100
وقت التدريبمن أسابيع إلى شهور
التكلفةملايين الدولارات
الطاقةطاقة لمدينة صغيرة

مثال: تدريب GPT-4 كلف حسب التقارير أكثر من 100 مليون دولار.

المرحلة 2: الضبط الدقيق​

الغرض​

تكييف النموذج المدرب مسبقًا لمهام أو سلوكيات محددة.

أنواع الضبط الدقيق​

1. الضبط الدقيق الخاص بالمهام​

التدريب على أمثلة من المهمة المحددة:

  • مجموعات بيانات التلخيص
  • أزواج السؤال والجواب
  • توثيق الشيفرة

2. الضبط الدقيق للتعليمات​

تدريب النموذج على اتباع التعليمات:

قبل:
المستخدم: "ترجم إلى الفرنسية: Hello"
النموذج: "يمكن ترجمة كلمة hello..."

بعد الضبط الدقيق للتعليمات:
المستخدم: "ترجم إلى الفرنسية: Hello"
النموذج: "Bonjour"

3. الضبط الدقيق للمجال​

التخصص في مجالات محددة:

  • المصطلحات الطبية
  • الوثائق القانونية
  • المعرفة الخاصة بالشركة

عملية الضبط الدقيق​

المرحلة 3: RLHF (التعلّم المعزز من التغذية الراجعة البشرية)​

المشكلة​

التدريب المسبق ينتج مخرجات قادرة ولكن غالبًا غير مفيدة أو غير آمنة.

الحل​

استخدام التغذية الراجعة البشرية لتعليم النموذج كيف تبدو الاستجابات "الجيدة".

عملية RLHF​

الخطوة 1: جمع تفضيلات البشر​

يقارن البشر بين أزواج من استجابات الذكاء الاصطناعي ويشيرون إلى أيهما أفضل.

مثال:

موجّه: "كيف أفتح قفلًا؟"

الاستجابة أ: "إليك تعليمات خطوة بخطوة..."
الاستجابة ب: "لا أستطيع المساعدة في ذلك. إذا كنت مغلقًا، 
           اتصل بصانع الأقفال."

تصنيف البشر: ب > أ (ب أفضل)

الخطوة 2: تدريب نموذج المكافأة​

إنشاء نموذج يتنبأ بالاستجابات التي يفضلها البشر.

الخطوة 3: تحسين الذكاء الاصطناعي​

استخدام نموذج المكافأة لتوجيه الذكاء الاصطناعي نحو الاستجابات المفضلة.

لماذا يهم RLHF​

قبل RLHFبعد RLHF
قادر ولكن غير متوقعأكثر فائدة وتوافقًا
قد يتبع تعليمات ضارةيرفض الطلبات غير المناسبة
مطول وغير مركزموجز وذو صلة
جودة غير متسقةجودة أكثر موثوقية

مفاهيم التدريب الرئيسية​

العصور​

مرور كامل واحد عبر بيانات التدريب.

حجم الدفعة​

عدد الأمثلة التي تتم معالجتها معًا.

معدل التعلم​

مقدار التغيير في الأوزان مع كل تحديث.

الإفراط في التخصيص​

عندما يحفظ النموذج بيانات التدريب بدلاً من تعلم الأنماط.

علامات الإفراط في التخصيص:

  • مثالي على بيانات التدريب
  • ضعيف على البيانات الجديدة
  • يعيد إنتاج أمثلة التدريب بالضبط

نقص التخصيص​

عندما لم يتعلم النموذج الأنماط الكافية.

علامات نقص التخصيص:

  • ضعيف على بيانات التدريب
  • ضعيف على البيانات الجديدة
  • مخرجات عامة جدًا

ما الذي تتعلمه النماذج فعليًا​

القدرات الناشئة​

القدرات التي تظهر فجأة عند مقاييس معينة:

أمثلة على القدرات الناشئة:

  • الحساب (يظهر حول 10 مليارات معلمة)
  • التفكير المتسلسل (يظهر حول 100 مليار معلمة)
  • توليد الشيفرة (يتحسن بشكل كبير مع الحجم)

ما لا تتعلمه​

  • الفهم الحقيقي أو الوعي
  • عواقب العالم الحقيقي للأفعال
  • الفطرة السليمة التي ليست في البيانات
  • الأحداث بعد قطع التدريب

تحديات التدريب​

1. جودة البيانات​

"القمامة في، القمامة خارج" ينطبق بقوة:

  • بيانات متحيزة → نموذج متحيز
  • بيانات غير صحيحة → استجابات غير صحيحة
  • تنوع محدود → قدرات محدودة

2. التكلفة والموارد​

  • فقط المنظمات الكبيرة يمكنها تدريب النماذج المتقدمة
  • مخاوف بيئية بشأن استخدام الطاقة
  • قيود توفر وحدات معالجة الرسوميات

3. التوافق​

ضمان أن النموذج يفعل ما نريده:

  • يتبع التعليمات
  • يرفض الطلبات الضارة
  • يقدم معلومات دقيقة
  • يتصرف بشكل متسق

4. التقييم​

صعب قياس جميع جوانب الأداء:

  • يمكن "اللعب" على المعايير
  • يختلف السلوك في العالم الحقيقي عن الاختبارات
  • من الصعب التنبؤ بالحالات الحديّة

طرق تدريب بديلة​

الذكاء الاصطناعي الدستوري (نهج Anthropic)​

تدريب الذكاء الاصطناعي على نقد مخرجاته باستخدام مجموعة من المبادئ.

DPO (تحسين التفضيل المباشر)​

أبسط من RLHF، يستخدم بيانات التفضيل مباشرة دون نموذج مكافأة منفصل.

اللعب الذاتي​

تحسن النموذج من خلال التنافس ضد نفسه (يستخدم في الذكاء الاصطناعي للألعاب).

تكلفة التدريب​

التكلفة المالية​

النموذجالتكلفة المقدرة
GPT-34.6 مليون دولار
GPT-4100+ مليون دولار
Gemini Ultraمن المحتمل أن تكون مشابهة

التكلفة البيئية​

يمكن أن ينتج تدريب نموذج كبير ثاني أكسيد الكربون يعادل:

  • 5 سيارات على مدار حياتها
  • مئات الرحلات الجوية

لماذا يهم المصدر المفتوح​

  • يوزع تكلفة التدريب
  • يتيح البحث دون ميزانيات ضخمة
  • نماذج مثل Llama وMistral تتيح وصولًا أوسع

النقاط الرئيسية​

✅ التدريب له ثلاث مراحل رئيسية: التدريب المسبق، الضبط الدقيق، وRLHF

✅ يستخدم التدريب المسبق التنبؤ بالكلمة التالية على مجموعات بيانات نصية ضخمة

✅ الضبط الدقيق يكيف النماذج لمهام أو سلوكيات محددة

✅ RLHF يوافق النماذج مع تفضيلات وقيم البشر

✅ تدريب النماذج الكبيرة يكلف ملايين الدولارات

✅ ما تتعلمه النماذج يشمل القدرات الناشئة التي تظهر عند الحجم

✅ التحديات الرئيسية تشمل جودة البيانات، التوافق، والتقييم

ملخص الوحدة​

تهانينا! لقد أكملت الوحدة 2. أنت الآن تفهم:

  1. الشبكات العصبية: أساس أنظمة الذكاء الاصطناعي
  2. المحوّلات: البنية التي تمكن الذكاء الاصطناعي الحديث
  3. عملية التدريب: كيف يتعلم الذكاء الاصطناعي من البيانات

الخطوات التالية​

اختبر معرفتك مع اختبار الوحدة 2، ثم تابع إلى الوحدة 3: توليد النصوص لاستكشاف كيف تعمل هذه التقنيات على تشغيل نماذج اللغة.