إنتقل إلى المحتوى الرئيسي

الفصل 2: التنبؤ بالكلمة التالية

الآلية الجوهرية لنماذج LLM​

كل ما يفعله نموذج LLM — الإجابة عن الأسئلة، كتابة القصص، البرمجة — يعود إلى عملية واحدة بسيطة: التنبؤ بالكلمة التي ينبغي أن تأتي بعد ذلك.

الفكرة الأساسية​

الفكرة الجوهرية

يولّد نموذج LLM النص بطرح السؤال مراراً: «بناءً على كل ما سبق، ما الكلمة الأكثر احتمالاً بعد ذلك؟»

مثال بسيط​

الـ Prompt: "The capital of France is"

يحسب النموذج الاحتمالات:

  • "Paris" → احتمال 95%
  • "Lyon" → احتمال 2%
  • "Berlin" → احتمال 0.1%
  • "pizza" → احتمال 0.0001%

يختار "Paris" (أو يعيّن عينة عشوائية مرجّحة بالاحتمال).

كيف يخلق التنبؤ محادثة​

نتتبع كيف يتحوّل سؤال إلى إجابة:

مدخلك​

"What color is the sky?"

عملية النموذج​

  1. يرى: "What color is the sky?"
  2. يتنبأ بالكلمة التالية: "The" (بداية محتملة لإجابة)
  3. يرى: "What color is the sky? The"
  4. يتنبأ: "sky" (منطقي في السياق)
  5. يرى: "What color is the sky? The sky"
  6. يتنبأ: "is" (صحيح نحوياً)
  7. يتنبأ: "blue" (نمط الإجابة الذي تعلّمه)
  8. يستمر حتى: يُكتشف نهاية الرد

المخرج: "The sky is blue."

لماذا يبدو ذكياً​

تنتج هذه الآلية البسيطة سلوكاً يبدو ذكياً لأن:

1. الأنماط ترمّز المعرفة​

عند التدريب على نصوص مثل:

  • "The sky is blue during the day"
  • "The sky appears blue because of light scattering"
  • "Blue sky is a sign of good weather"

يتعلم النموذج أن "blue" يتبع بقوة "sky is" في سياقات السؤال والجواب.

2. السياق يشكّل التنبؤ​

للكلمة نفسها تنبؤات مختلفة حسب السياق:

السياقالكلمة التالية المحتملة
"The bank of the river...""was" (سياق طبيعي)
"The bank where I deposit...""money" (سياق مالي)
"Please bank the ball...""shot" (سياق رياضي)

3. المقياس يتيح الاستدلال​

بقدر كافٍ من الـ parameters والتدريب، يستطيع النموذج اتباع أنماط منطقية:

"If A causes B, and B causes C, then A causes ___" → "C"

الاحتمال والعشوائية​

Temperature: التحكم في الإبداع​

لدى نماذج LLM إعداد "temperature" يؤثر على اختيار الكلمة التالية:

Temperatureالسلوكحالة الاستخدام
منخفض (0.1)يختار دائماً الكلمة الأكثر احتمالاًإجابات وقائعية، شيفرة
متوسط (0.7)بعض التنوّع مع بقاء التماسكمحادثة عامة
مرتفع (1.0+)أكثر عشوائية وإبداعاً ومخاطرةكتابة إبداعية، عصف ذهني

مثال عند قيم Temperature مختلفة​

الـ Prompt: "The weather today is"

  • قيمة منخفضة: "sunny" (اختيرت 10/10 مرات)
  • قيمة متوسطة: "sunny" (7/10)، "beautiful" (2/10)، "nice" (1/10)
  • قيمة مرتفعة: "spectacular" (3/10)، "reminiscent of spring" (2/10)، "unexpectedly mild" (2/10)...

الطبيعة الإحصائية لنماذج LLM​

نماذج LLM آلات احتمال​

هذا يفسّر كثيراً من السلوكيات​

لماذا تستطيع نماذج LLM أن تكون «إبداعية»: تستطيع اختيار كلمات أقل احتمالاً لكنها صحيحة.

لماذا تختلف المخرجات: العيّنة العشوائية تعني أن التشغيلات المختلفة قد تعطي إجابات مختلفة.

لماذا قد تخطئ: الاحتمال المرتفع ≠ الصحة. الأنماط «الواثقة» ليست صحيحة دائماً.

السلوكيات الناشئة​

عندما تجمع:

  • مليارات من الـ parameters
  • تريليونات من أمثلة التدريب
  • التنبؤ بالكلمة التالية

تحصل على قدرات لم تُبرمج صراحة:

أمثلة على قدرات ناشئة​

القدرةكيف تنبثق
الترجمةأنماط تعلّمها من نصوص متعددة اللغات
توليد الشيفرةأنماط تعلّمها من مستودعات الشيفرة
الرياضياتأنماط تعلّمها من مسائل وحلول رياضية
الاستدلالأنماط تعلّمها من حجج منطقية
التلخيصتعلّم الاختصار من أمثلة الملخصات

لماذا يعمل هذا جيداً إلى هذا الحد​

فرضية الضغط (Compression Hypothesis)​

للتنبؤ بالنص جيداً، يجب أن يفهم النموذج ضمنياً:

  • النحو والصرف
  • حقائق عن العالم
  • المنطق والاستدلال
  • أساليب كتابة مختلفة
  • السياق وتدفق المحادثة

التنبؤ يجبر النموذج على تعلّم كل ذلك.

فرضية المقياس (Scaling Hypothesis)​

كلما كبرت النماذج:

  • تتعلم مزيداً من الأنماط
  • تجمع الأنماط بفعالية أكبر
  • «تنبثق» قدرات جديدة عند مقاييس معيّنة
  • يستمر الأداء في التحسّن (حتى الآن)

قيود التنبؤ​

1. مطابقة أنماط، لا استدلال​

يجد النموذج أنماطاً، لا حقيقة. إذا ظهرت معلومات خاطئة في الأنماط، يمكن إعادة إنتاجها.

2. لا وعي ذاتي​

لا «يعرف» النموذج أنه يولّد نصاً. إنه يتنبأ فحسب.

3. خطر الهلوسة​

عندما لا يوجد نمط قوي، يولّد النموذج نصاً يبدو معقولاً لكنه قد يكون خاطئاً.

4. حساسية الـ Prompt​

تغييرات صغيرة في المدخل قد تسبب تغييرات كبيرة في المخرج.

الحلقة ذاتية الانحدار (Autoregressive)​

مصطلح أساسي

Autoregressive يعني أن مخرج النموذج يُعاد كمدخل للتنبؤ التالي.

Input: "Hello"
Predict: "there"
New input: "Hello there"
Predict: "!"
New input: "Hello there!"
Predict: "How"
New input: "Hello there! How"
...and so on

لهذا السبب:

  • تُولَّد المخرجات الطويلة قطعة تلو الأخرى
  • الأخطاء المبكرة قد تتفاقم
  • يستطيع النموذج «رؤية» مخرجه السابق

النقاط الأساسية​

✅ كل ما يفعله نموذج LLM هو التنبؤ بالكلمة التالية

✅ تُحسب الاحتمالات لكل الكلمات التالية الممكنة

✅ يتحكم temperature في العشوائية مقابل قابلية التوقع

✅ المقياس والتدريب يتيحان قدرات ناشئة

✅ التنبؤ ≠ الفهم، وهذا يؤدي إلى هلوسة

✅ كل كلمة مولَّدة تصبح مدخلاً للتنبؤ التالي

فكّر في ذلك​

  1. إذا تنبأ نموذج LLM بـ "Paris" باحتمال 95% لجملة "capital of France is ___"، من أين يأتي ذلك الـ 95%؟
  2. لماذا قد تكون قيمة temperature مرتفعة جيدة للكتابة الإبداعية وسيئة للأسئلة الوقائعية؟
  3. كيف تفسّر الحلقة ذاتية الانحدار لماذا تؤدي الأخطاء المبكرة في الرد إلى مزيد من الأخطاء؟

الخطوات التالية​

الآن نفهم كيف «تتذكر» نماذج LLM المحادثة في الفصل 3: السياق والذاكرة.