معجم مصطلحات LLM
أكثر من 200 مصطلح تقني مستخدم في هذا الدورة.
أ
AGI (الذكاء العام الاصطناعي): الذكاء الاصطناعي الافتراضي الذي يمتلك قدرات معرفية عامة بمستوى الإنسان عبر جميع المجالات.
الانتباه: آلية تسمح للنماذج بالتركيز على الأجزاء ذات الصلة من المدخلات عند إنتاج المخرجات.
التوليد التلقائي: طريقة توليد تتنبأ برمز واحد في كل مرة، وكل رمز يعتمد على الرموز السابقة.
AWQ (تكميم الأوزان المدرك للتنشيط): طريقة تكميم تحافظ على الأوزان المهمة بناءً على أنماط التنشيط.
المواءمة: تدريب أنظمة الذكاء الاصطناعي لتتصرف وفقًا للنوايا والقيم البشرية.
المحول: وحدات صغيرة قابلة للتدريب تُدرج بين الطبقات المجمدة لضبط دقيق فعال من حيث عدد المعلمات.
ب
BPE (ترميز زوج البايت): خوارزمية تقسيم النص التي تدمج أزواج الأحرف المتكررة بشكل تكراري.
BERT: تمثيلات التشفير ثنائية الاتجاه من المحولات؛ نموذج يعتمد فقط على التشفير باستخدام نمذجة اللغة المقنعة.
حجم الدفعة: عدد العينات التي تتم معالجتها معًا أثناء التدريب.
بحث الحزمة: استراتيجية فك الشفرة التي تحافظ على تسلسلات مرشحة متعددة.
bitsandbytes: مكتبة للتكميم الفوري أثناء الاستدلال.
ت
الانتباه السببي: الانتباه حيث يمكن للمواقع أن تركز فقط على المواقع السابقة (وليس المستقبلية).
سلسلة التفكير (CoT): تقنية توجيه تشجع على التفكير خطوة بخطوة.
Chinchilla: نموذج/ورقة من DeepMind تُظهر أن التدريب الأمثل من حيث الحوسبة يستخدم المزيد من البيانات مع نماذج أصغر.
الذكاء الاصطناعي الدستوري: نهج Anthropic لتدريب الذكاء الاصطناعي باستخدام المبادئ بدلاً من التسميات الفردية.
نافذة السياق: الحد الأقصى لعدد الرموز التي يمكن للنموذج معالجتها في وقت واحد.
الانتباه المتقاطع: الانتباه حيث تأتي الاستعلامات من تسلسل واحد والمفاتيح/القيم من آخر.
CLIP: التدريب المسبق التبايني بين اللغة والصورة؛ نموذج يربط بين الصور والنصوص.
د
التوازي البياني: استراتيجية تدريب حيث يعالج كل وحدة معالجة رسومات بيانات مختلفة بنفس النموذج.
التشفير فقط: بنية (مثل GPT) تستخدم فقط كتل التشفير مع الانتباه السببي.
DeepSpeed: مكتبة من Microsoft للتدريب الموزع مع تحسين ZeRO.
التقطير: تدريب نموذج أصغر لتقليد سلوك نموذج أكبر.
DPO (تحسين التفضيل المباشر): بديل لـ RLHF الذي يحسن مباشرة على بيانات التفضيل.
هـ
التضمين: تمثيل متجه كثيف لرمز أو تسلسل.
القدرة الناشئة: قدرة تظهر فقط عند مقياس نموذج معين، غائبة في النماذج الأصغر.
التشفير-التشفير: بنية مع تشفير منفصل (ثنائي الاتجاه) وتشفير (سببي).
التشفير فقط: بنية (مثل BERT) تستخدم فقط كتل التشفير مع الانتباه ثنائي الاتجاه.
ف
شبكة التغذية الأمامية (FFN): طبقات MLP في كتل المحولات التي تعالج كل موقع بشكل مستقل.
التعلم من عدد قليل من الأمثلة: التعلم من عدد قليل من الأمثلة المقدمة في الموجّه.
الضبط الدقيق: تدريب إضافي لنموذج مدرب مسبقًا على بيانات/مهمة محددة.
الانتباه الفوري: تنفيذ انتباه فعال من حيث الذاكرة يحسن الوصول إلى ذاكرة GPU.
FSDP (التوازي البياني المجزأ بالكامل): تنفيذ PyTorch لـ ZeRO.
استدعاء الوظائف: قدرة LLM على طلب تنفيذ أداة/واجهة برمجة تطبيقات خارجية.
ج
GPTQ: طريقة تكميم بعد التدريب محسّنة لنماذج نمط GPT.
تراكم التدرج: محاكاة أحجام دفعات أكبر عن طريق تراكم التدرجات على خطوات متعددة.
التحقق من التدرج: مبادلة الحوسبة بالذاكرة عن طريق إعادة حساب التنشيطات أثناء المرور العكسي.
فك التشفير الجشع: اختيار الرمز ذو الاحتمالية الأعلى في كل خطوة.
ح
الهلوسة: توليد النموذج لمعلومات خاطئة أو غير مدعومة.
الحالة المخفية: التمثيل الداخلي في كل طبقة من النموذج.
HumanEval: معيار لتقييم قدرة توليد الشفرات.
خ
التعلم في السياق (ICL): التعلم من الأمثلة في الموجّه دون تحديث الأوزان.
الاستدلال: تشغيل نموذج مدرب لتوليد التنبؤات.
ضبط التعليمات: الضبط الدقيق على بيانات اتباع التعليمات.
INT4/INT8: تنسيقات تكميم الأعداد الصحيحة 4 بت و8 بت.
ج
كسر الحماية: محاولة تجاوز تدابير أمان النموذج من خلال موجّهات ذكية.
ك
ذاكرة المفاتيح والقيم (KV Cache): تخزين أزواج المفاتيح والقيم المحسوبة لتجنب إعادة الحساب أثناء التوليد.
تباعد KL: قياس الفرق بين التوزيعات الاحتمالية؛ يستخدم في RLHF.
ل
تطبيع الطبقة: تطبيع التنشيطات عبر الميزات داخل كل عينة.
LLM (نموذج اللغة الكبير): شبكة عصبية تحتوي على مليارات المعلمات مدربة على نصوص ضخمة.
LoRA (التكيف منخفض الرتبة): طريقة PEFT تضيف مصفوفات منخفضة الرتبة إلى الأوزان الموجودة.
دالة الخسارة: قياس خطأ التنبؤ للنموذج؛ يتم تقليلها أثناء التدريب.
م
نمذجة اللغة المقنعة (MLM): التدريب المسبق عن طريق التنبؤ بالرموز المقنعة (يستخدمها BERT).
الدقة المختلطة: استخدام دقة أقل (FP16/BF16) لمعظم العمليات الحسابية.
MoE (خليط الخبراء): بنية تحتوي على شبكات خبراء متعددة وموجه.
الانتباه متعدد الرؤوس: تشغيل عمليات انتباه متعددة بالتوازي.
متعدد الوسائط: نماذج تعالج وسائط متعددة (نصوص، صور، صوت).
ن
تنبؤ الرمز التالي: هدف التدريب المسبق الذي يتنبأ بالرمز التالي بالنظر إلى السياق.
أخذ العينات من النواة (Top-p): أخذ العينات من الرموز ضمن الكتلة الاحتمالية العليا.
هـ
ONNX: تبادل الشبكة العصبية المفتوح؛ تنسيق نموذج غير مرتبط بإطار عمل معين.
م
المعلمة: وزن قابل للتدريب في شبكة عصبية.
PEFT (الضبط الدقيق الفعال من حيث المعلمات): طرق تدريب مجموعة صغيرة من المعلمات.
التعقيد: قياس عدم اليقين في النموذج؛ الأس الأسي لمتوسط خسارة الانتروبيا المتقاطعة.
التوازي الأنبوبي: وضع طبقات مختلفة على وحدات معالجة رسومات مختلفة.
الترميز الموضعي: معلومات تضاف إلى التضمينات حول مواقع الرموز.
PPO (تحسين السياسة القريبة): خوارزمية RL تستخدم عادة في RLHF.
التدريب المسبق: التدريب الأولي على بيانات كبيرة غير معنونة.
الموجّه: النص المدخل المقدم لنموذج اللغة.
ك
QLoRA: LoRA مطبقة على نموذج أساسي مكوم.
التكميم: تقليل الدقة العددية للأوزان لتوفير الذاكرة.
الاستعلام، المفتاح، القيمة (Q, K, V): ثلاث إسقاطات تستخدم في حساب الانتباه.
ر
RAG (التوليد المعزز بالاسترجاع): تعزيز LLM بسياق ذي صلة مسترجع.
ReAct: نمط التفكير + العمل لوكلاء LLM.
الفريق الأحمر: اختبار عدائي للعثور على نقاط ضعف النموذج.
نموذج المكافأة: نموذج مدرب للتنبؤ بتفضيلات البشر (يستخدم في RLHF).
RLHF (التعلم المعزز من ملاحظات البشر): التدريب ببيانات تفضيلات البشر.
RoPE (التضمين الموضعي الدوراني): الترميز الموضعي من خلال دوران التضمينات.
س
قوانين التوسع: علاقات متوقعة بين حجم النموذج والبيانات والأداء.
الانتباه الذاتي: الانتباه حيث يركز التسلسل على نفسه.
SentencePiece: تقسيم النص غير المرتبط باللغة الذي يعامل النص كبيانات خام.
SFT (الضبط الدقيق بالإشراف): الضبط الدقيق على بيانات العرض.
Softmax: دالة تحول اللوغاريتمات إلى احتمالات مجموعها 1.
فك التشفير التكهناتي: استخدام نموذج صغير للمسودة، ونموذج كبير للتحقق.
SSM (نموذج الفضاء الحركي): بنية ذات تعقيد خطي (مثل Mamba).
البث: إرجاع النتائج الجزئية أثناء توليدها.
د
درجة الحرارة: معلمة تتحكم في عشوائية المخرجات (أعلى = أكثر عشوائية).
التوازي التنسوري: تقسيم مصفوفات الأوزان عبر وحدات معالجة الرسومات.
TGI (الاستدلال لتوليد النصوص): حل تقديم الإنتاج من Hugging Face.
الرمز: الوحدة الأساسية للنص التي تعالجها نماذج اللغة.
تقسيم النص: تحويل النص إلى رموز (والعكس بالعكس).
أخذ العينات من أعلى k: أخذ العينات من أعلى k رموز ذات احتمالية عالية.
المحول: بنية تعتمد على الانتباه الذاتي، مما يمكن من المعالجة المتوازية.
ت
التعلم غير الخاضع للإشراف: التعلم من البيانات دون تسميات صريحة.
ف
vLLM: إطار عمل تقديم عالي الإنتاجية مع PagedAttention.
محول الرؤية (ViT): بنية المحول للصور باستخدام البقع.
المفردات: مجموعة جميع الرموز التي يمكن للنموذج معالجتها.
و
الوزن: معلمة قابلة للتدريب في شبكة عصبية.
WordPiece: خوارزمية تقسيم النص المستخدمة من قبل BERT.
ز
التعلّم الصفري: أداء المهام دون أي أمثلة في الموجّه.
ZeRO (المحسن بدون تكرار): تحسين DeepSpeed الذي يقسم حالات المحسن/التدرجات/المعلمات.