إنتقل إلى المحتوى الرئيسي

الفصل 1: التدريب على بيانات نصية

تعليم آلة فهم اللغة​

تدريب نموذج LLM يشبه تعليم قارئاً سريعاً جداً كيف تعمل اللغة. لكننا لا نعلّم حقائق، بل أنماطاً.

من أين تأتي بيانات التدريب؟​

تُدرَّب نماذج LLM الحديثة على كمية هائلة من النصوص:

مصادر البيانات الشائعة​

المصدرما يوفّره
صفحات الويبموضوعات متنوعة، نص حواري، آراء
الكتبحجج منظّمة، سرد قصصي، معرفة عميقة
ويكيبيديامعرفة وقائعية، نبرة محايدة
الأوراق العلميةمعرفة تقنية، نتائج بحثية
مستودعات الشيفرةأنماط برمجية، توثيق
المقالات الإخباريةأحداث جارية، أسلوب صحفي
وسائل التواصلمحادثة عفوية، اتجاهات

المقياس مذهل​

  • دُرِّب GPT-3 على نحو 570 GB من النصوص
  • أي نحو 300 مليار كلمة
  • يعادل القراءة دون توقف لـ آلاف السنين

ماذا يعني «التدريب» فعلاً؟​

العملية الجوهرية

التدريب هو ضبط parameters النموذج ليتحسّن في التنبؤ بالنص التالي.

فكّر في الأمر هكذا:​

تخيّل أنك تتعلم التنبؤ بالطقس:

  1. تنظر إلى ملايين الأنماط التاريخية للطقس
  2. تلاحظ: «عندما تتجمع الغيوم، كثيراً ما يتبعها مطر»
  3. تعدّل نموذجك الذهني للتنبؤ بالمطر عندما ترى غيوماً
  4. مع الوقت تتحسّن تنبؤاتك

تفعل نماذج LLM الشيء نفسه، لكن مع اللغة:

  1. يرى النموذج مليارات الجمل
  2. يتعلم أنماطاً مثل: «بعد 'The cat sat on the' كثيراً ما يلي 'mat'»
  3. يضبط الـ parameters ليحسّن التنبؤات
  4. مع الوقت يتعلم بنية اللغة

عملية التدريب (مبسط)​

خطوة بخطوة:​

  1. خذ جملة: "The cat sat on the mat"
  2. أخفِ الكلمة الأخيرة: "The cat sat on the ___"
  3. اطلب من النموذج التنبؤ: قد يقول النموذج "floor"
  4. قارن بالواقع: الكلمة الفعلية كانت "mat"
  5. اضبط قليلاً: اجعل "mat" أكثر احتمالاً في المرة التالية في هذا السياق
  6. كرّر مليارات المرات

ما يتعلمه النموذج​

بنية اللغة​

  • قواعد النحو (دون أن تُخبره بها)
  • كيف تُبنى الجمل
  • ترتيب الكلمات في لغات مختلفة

العلاقات بين المفاهيم​

  • "Paris" يرتبط بـ "France" كما يرتبط "Tokyo" بـ "Japan"
  • "King" يرتبط بـ "Queen" كما يرتبط "Man" بـ "Woman"

أساليب الكتابة​

  • لغة رسمية مقابل عفوية
  • كتابة أكاديمية مقابل إبداعية
  • جمهور تقني مقابل عام

معرفة العالم (إلى حد ما)​

  • حقائق تُذكر كثيراً في بيانات التدريب
  • ارتباطات شائعة بين المفاهيم
  • لكن ليست قاعدة حقائق موثّقة!

ما لا يتعلمه النموذج​

❌ حقائق موثّقة​

لا يعرف النموذج إن كان شيء صحيحاً — يعرف فقط أنه كُتب كثيراً.

❌ معلومات آنية​

يعرف النموذج فقط ما وُجد في بيانات التدريب (قبل «قطع المعرفة» الخاص به).

❌ تجارب شخصية​

لم يعش ولم يشعر ولم يختبر شيئاً.

❌ فهم حقيقي​

يتعرّف على أنماط، لكنه لا «يفهم» بالمعنى البشري.

تشبيه «قراءة كل شيء»​

تخيّل التدريب هكذا:

القارئ البشرينموذج LLM
يقرأ آلاف الكتبيعالج مليارات العينات النصية
يطوّر حدساً عن اللغةيطوّر أنماطاً إحصائية
يتذكر حقائق أساسية (بشكل ناقص)يرمّز أنماطاً (بشكل ناقص)
يستطيع التعميم على موضوعات جديدةيستطيع التعميم على prompts جديدة
يخطئ بسبب الذاكرةيخطئ بسبب الأنماط

الفكرة الأساسية: تطوّر نماذج LLM حدساً عن اللغة دون أن تفهمها كما يفهمها البشر.

مشكلات بيانات التدريب​

1. التحيّز في البيانات​

إذا احتوت بيانات التدريب على تحيّزات، يتعلمها النموذج:

  • أحكام مسبقة تاريخية
  • نقاط عمياء ثقافية
  • تمثيل زائد لبعض وجهات النظر

2. معلومات قديمة​

  • لبيانات التدريب تاريخ قطع
  • تتغيّر المعلومات بعد التدريب

3. تفاوت الجودة​

  • ليس كل ما على الإنترنت دقيقاً
  • لا يستطيع النموذج التمييز بين المصادر الموثوقة وغير الموثوقة

4. مسائل حقوق النشر​

  • قد تكون بعض بيانات التدريب محمية بحقوق النشر
  • النقاشات القانونية مستمرة

الـ Pre-Training مقابل الـ Fine-Tuning​

الـ Pre-Training (الأساس)​

  • مجموعة بيانات هائلة (الإنترنت كله تقريباً)
  • تعلّم أنماط اللغة العامة
  • مكلف جداً ويستغرق وقتاً طويلاً
  • يُجرى مرة واحدة، من الشركة

الـ Fine-Tuning (التخصيص)​

  • مجموعة بيانات أصغر ومحددة
  • ضبط لمهام معيّنة (دردشة، شيفرة، إلخ)
  • أرخص وأسرع بكثير
  • يستطيع أي شخص لديه موارد القيام به

RLHF (جعله مفيداً)​

  • مقيّمون بشريون يسجّلون الردود
  • يتعلم النموذج إنتاج إجابات أعلى تقييماً
  • يجعل المخرجات أكثر فائدة وأقل ضرراً
  • ما يحوّل GPT إلى ChatGPT

النقاط الأساسية​

✅ تُدرَّب نماذج LLM على مليارات العينات النصية من الإنترنت والكتب

✅ التدريب يعني ضبط الـ parameters للتنبؤ بالنص بشكل أفضل

✅ يتعلم النموذج أنماطاً وعلاقات، لا حقائق موثّقة

✅ قيود بيانات التدريب (التحيّز، القِدم، الجودة) تؤثر على المخرجات

✅ الـ fine-tuning وRLHF يجعلان النماذج الأساس أكثر فائدة

فكّر في ذلك​

  1. لماذا قد يعطي نموذج LLM معلومات قديمة عن حدث حديث؟
  2. إذا احتوى الإنترنت معلومات صحيحة وخاطئة معاً، كيف قد يؤثر ذلك على نموذج LLM؟
  3. لماذا قد تريد شركة إجراء fine-tuning لنموذج مدرَّب مسبقاً بدلاً من التدريب من الصفر؟

الخطوات التالية​

الآن ننظر إلى الآلية الجوهرية في الفصل 2: التنبؤ بالكلمة التالية.