إنتقل إلى المحتوى الرئيسي

مسرد مصطلحات تحسين LLM

مسرد شامل لأكثر من 150 مصطلحًا مستخدمًا في تحسين LLM، منظم أبجديًا.

أ​

محول​

وحدة شبكة عصبية صغيرة تضاف إلى نموذج مدرب مسبقًا تحتوي على معلمات قابلة للتدريب. أثناء التحسين، يتم تحديث معلمات المحول فقط بينما يبقى النموذج الأساسي مجمدًا.

تنسيق ألباكا​

تنسيق مجموعة بيانات شائع لضبط التعليمات يتكون من حقول التعليمات والمدخلات والمخرجات. سمي على اسم نموذج ألباكا لجامعة ستانفورد.

آلية الانتباه​

الآلية الأساسية في المحولات التي تسمح للنموذج بوزن أهمية الأجزاء المختلفة من المدخلات عند معالجة كل موضع.

AutoModelForCausalLM​

فئة Hugging Face التي تقوم بتحميل بنية النموذج المناسبة تلقائيًا لنمذجة اللغة السببية (توليد النص).

ب​

الانتشار العكسي​

الخوارزمية المستخدمة لحساب التدرجات أثناء التدريب عن طريق نشر الأخطاء للخلف عبر الشبكة.

النموذج الأساسي​

النموذج الأساسي المدرب مسبقًا قبل تطبيق أي تحسين. تشمل الأمثلة Llama وMistral وFalcon.

حجم الدفعة​

عدد أمثلة التدريب التي تتم معالجتها معًا في تمريرة أمامية/خلفية واحدة. تتطلب الدفعات الأكبر ذاكرة أكبر ولكن يمكن أن تكون أكثر استقرارًا.

BFloat16 (bf16)​

تنسيق النقطة العائمة 16 بت الذي يحافظ على نفس النطاق مثل float32 ولكن بدقة منخفضة. غالبًا ما يفضل للتدريب على float16.

bitsandbytes​

مكتبة تمكن من التكميم الفعال 4 بت و8 بت لتحميل وتدريب نماذج اللغة الكبيرة.

ج​

النسيان الكارثي​

الظاهرة التي يفقد فيها النموذج المعرفة المكتسبة سابقًا عند تدريبه على بيانات جديدة. مصدر قلق كبير في التحسين.

نمذجة اللغة السببية (CLM)​

هدف تدريبي حيث يتنبأ النموذج بالرمز التالي بناءً فقط على الرموز السابقة. يستخدم لنماذج GPT.

قالب الدردشة​

مواصفات تنسيق لتحويل المحادثات إلى رموز يتوقعها النموذج، بما في ذلك الرموز الخاصة للأدوار المختلفة.

نقطة التحقق​

لقطة محفوظة لأوزان النموذج أثناء التدريب، مما يسمح بالاسترداد واستمرار التدريب.

الذكاء الاصطناعي الدستوري (CAI)​

تقنية أمان الذكاء الاصطناعي التي تدرب النماذج على اتباع مجموعة من المبادئ أو "الدستور" للسلوك الأخلاقي.

د​

تقسيم مجموعة البيانات​

تقسيم مجموعة بيانات كبيرة إلى قطع أصغر للتدريب الموزع أو لتقليل استخدام الذاكرة.

DeepSpeed​

مكتبة تحسين التعلم العميق من Microsoft التي تمكن من التدريب الفعال للنماذج الكبيرة من خلال تقنيات مختلفة.

تحسين التفضيل المباشر (DPO)​

بديل أبسط لـ RLHF الذي يحسن النموذج مباشرة باستخدام بيانات التفضيل دون نموذج مكافأة منفصل.

التكميم المزدوج​

تقنية في QLoRA تقوم بتكميم ثوابت التكميم نفسها، مما يقلل من استخدام الذاكرة بشكل أكبر.

الإسقاط​

تقنية تنظيمية تقوم بتعيين بعض التنشيطات عشوائيًا إلى الصفر أثناء التدريب لمنع الإفراط في التكيف.

هـ​

طبقة التضمين​

الطبقة التي تحول معرفات الرموز إلى تمثيلات متجهة كثيفة يمكن للنموذج معالجتها.

الحقبة​

مرور كامل واحد عبر مجموعة بيانات التدريب بأكملها.

خسارة التقييم​

الخسارة المحسوبة على مجموعة تحقق محتفظ بها لمراقبة الإفراط في التكيف أثناء التدريب.

ف​

التحسين​

عملية تدريب إضافي لنموذج مدرب مسبقًا على مجموعة بيانات محددة لتكييفه مع مهمة أو مجال معين.

الانتباه السريع​

تنفيذ انتباه فعال يقلل من استخدام الذاكرة ويحسن السرعة عن طريق تجنب تجسيد مصفوفة الانتباه الكاملة.

Float16 (fp16)​

تنسيق النقطة العائمة 16 بت الذي يستخدم نصف ذاكرة float32. يمكن أن يسبب عدم استقرار رقمي في بعض الحالات.

Float32 (fp32)​

دقة النقطة العائمة القياسية 32 بت، تقدم دقة عالية ولكن تتطلب ذاكرة أكبر.

المعلمات المجمدة​

معلمات النموذج التي لا يتم تحديثها أثناء التدريب. في PEFT، يتم تجميد معظم المعلمات.

التحسين الكامل​

نهج التحسين التقليدي حيث يتم تحديث جميع معلمات النموذج أثناء التدريب.

ج​

GGUF​

تنسيق ملف لتخزين النماذج المكممة، يستخدم عادةً مع llama.cpp للاستدلال الفعال على وحدة المعالجة المركزية.

تراكم التدرج​

تقنية لمحاكاة أحجام الدفعات الأكبر عن طريق تراكم التدرجات على عدة تمريرات أمامية قبل تحديث الأوزان.

التحقق من التدرج​

تقنية لتوفير الذاكرة تعيد حساب التنشيطات أثناء التمرير الخلفي بدلاً من تخزينها.

قص التدرج​

تحديد حجم التدرجات أثناء التدريب لمنع التدرجات المتفجرة.

ح​

الهلوسة​

عندما يولد النموذج معلومات تبدو معقولة ولكنها غير صحيحة أو ملفقة.

مركز Hugging Face​

منصة لمشاركة واكتشاف النماذج المدربة مسبقًا ومجموعات البيانات والعروض التوضيحية.

المعامل الفائق​

قيمة تكوين يتم تعيينها قبل بدء التدريب (مثل معدل التعلم، حجم الدفعة) على عكس المعلمات المتعلمة.

ي​

IA3 (محول مشبع عن طريق تثبيط وتضخيم التنشيطات الداخلية)​

طريقة PEFT تتعلم توسيع التنشيطات بدلاً من إضافة أوزان جديدة، باستخدام معلمات أقل حتى من LoRA.

الاستدلال​

استخدام نموذج مدرب لتوليد التنبؤات على مدخلات جديدة.

ضبط التعليمات​

تحسين نموذج لاتباع التعليمات عن طريق التدريب على أزواج التعليمات-الاستجابة.

INT4/INT8​

تنسيقات تكميم الأعداد الصحيحة 4 بت و8 بت المستخدمة لتقليل حجم النموذج واستخدام الذاكرة.

ك​

تقطير المعرفة​

تدريب نموذج "طالب" أصغر لتقليد سلوك نموذج "معلم" أكبر.

ذاكرة التخزين المؤقت KV​

ذاكرة التخزين المؤقت للمفاتيح والقيم التي تخزن مفاتيح الانتباه المحسوبة والقيم لتسريع التوليد التلقائي.

ل​

تنعيم العلامات​

تقنية تنظيمية تخفف توزيع الاحتمالات المستهدفة لمنع الإفراط في الثقة.

معدل التعلم​

حجم الخطوة لتحديثات التدرج أثناء التحسين. معامل فائق حاسم للتدريب الناجح.

جدول معدل التعلم​

استراتيجية لتعديل معدل التعلم أثناء التدريب (مثل التسخين، الانخفاض، التخميد الكوني).

مسبار خطي​

تحسين فقط رأس تصنيف خطي أعلى الميزات المجمدة.

LoRA (التكيف منخفض الرتبة)​

طريقة PEFT تضيف مصفوفات تحلل منخفضة الرتبة قابلة للتدريب إلى الأوزان المجمدة، مما يقلل بشكل كبير من المعلمات القابلة للتدريب.

LoRA Alpha​

معامل ضبط في LoRA يتحكم في حجم التكيف.

رتبة LoRA​

رتبة المصفوفات منخفضة الرتبة في LoRA. الرتب الأعلى تزيد من السعة ولكن أيضًا المعلمات.

دالة الخسارة​

دالة تقيس الفرق بين تنبؤات النموذج والحقيقة الأرضية، موجهة التحسين.

م​

نمذجة اللغة المقنعة (MLM)​

هدف تدريبي حيث يتم إخفاء الرموز العشوائية ويتنبأ النموذج بها. يستخدم لنماذج BERT.

MergeKit​

أداة لدمج نماذج أو محولات محسنة متعددة في نموذج واحد.

التدريب بدقة مختلطة​

التدريب باستخدام كل من float16 وfloat32 لتقليل الذاكرة مع الحفاظ على الاستقرار الرقمي.

دمج النماذج​

دمج نماذج أو محولات متعددة في واحد، غالبًا عن طريق متوسط الأوزان أو باستخدام طرق أكثر تطورًا مثل TIES أو DARE.

التدريب متعدد وحدات معالجة الرسومات​

توزيع التدريب عبر وحدات معالجة الرسومات المتعددة باستخدام التوازي البياني أو التوازي النموذجي.

ن​

NF4 (4-bit NormalFloat)​

تنسيق تكميم مصمم ليكون له نفس عدد القيم في كل حاوية تكميم للأوزان الموزعة بشكل طبيعي.

أخذ العينات من النواة (Top-p)​

استراتيجية فك التشفير التي تأخذ عينات من أصغر مجموعة من الرموز التي يتجاوز احتمالها التراكمي p.

هـ​

ONNX​

تنسيق تبادل الشبكات العصبية المفتوح للتشغيل البيني للنماذج والنشر.

المحسن​

خوارزمية لتحديث أوزان النموذج أثناء التدريب (مثل Adam، AdamW، SGD).

ORPO (تحسين تفضيل نسبة الأرجحية)​

طريقة تحسين التفضيل التي تجمع بين التحسين الخاضع للإشراف ومحاذاة التفضيل في مرحلة واحدة.

الإفراط في التكيف​

عندما يحفظ النموذج بيانات التدريب بدلاً من تعلم الأنماط العامة، مما يؤدي إلى ضعف التعميم.

ف​

PagedAttention​

آلية انتباه مستخدمة في vLLM تدير الذاكرة بشكل أكثر كفاءة من خلال الترحيل.

عدد المعلمات​

إجمالي عدد الأوزان القابلة للتدريب في النموذج، غالبًا ما يقاس بالمليارات لنماذج LLM.

PEFT (التحسين الفعال للمعلمات)​

عائلة من الطرق التي تحسن فقط مجموعة صغيرة من المعلمات بينما تبقي معظم النموذج مجمدًا.

الحيرة​

مقياس يقيس مدى جودة توقع النموذج للنص. الحيرة الأقل تشير إلى أداء أفضل.

بيانات التفضيل​

بيانات التدريب التي تتكون من أزواج أو تصنيفات من الاستجابات، تستخدم لـ RLHF، DPO، والطرق ذات الصلة.

ضبط البادئة​

طريقة PEFT تضيف "رموز افتراضية" قابلة للتدريب إلى المدخلات دون تعديل أوزان النموذج.

التدريب المسبق​

التدريب الأولي للنموذج على بيانات واسعة النطاق قبل التحسين الخاص بالمهمة.

ضبط المطالبة​

مشابه لضبط البادئة، تعلم المطالبات الناعمة التي تسبق المدخلات.

ق​

QLoRA (LoRA المكممة)​

دمج التكميم 4 بت مع LoRA لتمكين تحسين النماذج الكبيرة على الأجهزة الاستهلاكية.

التكميم​

تقليل دقة أوزان النموذج (مثل من float16 إلى int4) لتقليل الذاكرة وتسريع الاستدلال.

ر​

الرتبة (في LoRA)​

الأبعاد للمصفوفات منخفضة الرتبة. يتحكم في التوازن بين السعة والكفاءة.

التنظيم​

تقنيات لمنع الإفراط في التكيف، مثل الإسقاط، تحلل الأوزان، أو الإيقاف المبكر.

التعلم المعزز من ردود الفعل البشرية (RLHF)​

نهج تدريبي يستخدم تفضيلات البشر لتدريب نموذج مكافأة، ثم استخدام التعلم المعزز لتحسين نموذج اللغة.

نموذج المكافأة​

نموذج مدرب للتنبؤ بتفضيلات البشر، يستخدم في RLHF لتوفير إشارة تدريب.

س​

درجة حرارة أخذ العينات​

معامل يتحكم في العشوائية في التوليد. القيم الأعلى تنتج مخرجات أكثر تنوعًا ولكن أقل تماسكًا.

الانتباه الذاتي​

آلية الانتباه حيث تأتي الاستفسارات والمفاتيح والقيم جميعها من نفس التسلسل.

طول التسلسل​

عدد الرموز في تسلسل المدخلات أو المخرجات. محدود ببنية النموذج والذاكرة.

تنسيق ShareGPT​

تنسيق مجموعة بيانات مشتق من محادثات ChatGPT المشتركة، باستخدام بنية رسائل قائمة على الأدوار.

SFTTrainer​

فئة Hugging Face TRL لتحسين النماذج اللغوية الخاضعة للإشراف.

SLERP (الاستيفاء الخطي الكروي)​

طريقة للاستيفاء بسلاسة بين أوزان النموذج أثناء الدمج.

المطالبة الناعمة​

متجهات تضمين متعلمة تسبق المدخلات بدلاً من المطالبات النصية المنفصلة.

فك التشفير المضاربي​

تقنية تستخدم نموذج مسودة أصغر لاقتراح الرموز، يتم التحقق منها بواسطة النموذج الأكبر لتوليد أسرع.

التحسين الخاضع للإشراف (SFT)​

التحسين القياسي باستخدام أزواج مدخلات-مخرجات معنونة مع خسارة الانتروبيا المتقاطعة.

مطالبة النظام​

التعليمات المقدمة لتعيين سلوك النموذج وسياق المحادثة.

ت​

الوحدات المستهدفة​

في LoRA، مصفوفات الأوزان المحددة (مثل q_proj، v_proj) حيث يتم تطبيق التكيفات منخفضة الرتبة.

درجة الحرارة​

انظر درجة حرارة أخذ العينات.

TIES (TrIm، Elect Sign & Merge)​

طريقة دمج النماذج التي تتعامل مع تعارضات المعلمات بشكل أفضل من المتوسط البسيط.

المحول​

المكون الذي يحول النص إلى معرفات الرموز والعكس لإدخال/إخراج النموذج.

أخذ العينات من أعلى k​

استراتيجية فك التشفير التي تأخذ في الاعتبار فقط الرموز k الأكثر احتمالاً التالية.

المعلمات القابلة للتدريب​

المعلمات التي يتم تحديثها أثناء التدريب، على عكس المعلمات المجمدة.

التعلم بالنقل​

استخدام المعرفة المكتسبة من مهمة واحدة لتحسين الأداء في مهمة مختلفة ولكن ذات صلة.

المحول​

بنية الشبكة العصبية التي تقوم عليها نماذج LLM الحديثة، بناءً على آليات الانتباه الذاتي.

TRL (التعلم المعزز للمحول)​

مكتبة Hugging Face التي توفر مدربين لـ SFT، RLHF، DPO، وطرق التدريب الأخرى.

ف​

مجموعة التحقق​

جزء محتفظ به من البيانات يستخدم لتقييم أداء النموذج أثناء التدريب.

vLLM​

محرك استدلال عالي الإنتاجية لنماذج LLM باستخدام PagedAttention.

VRAM (ذاكرة الفيديو)​

ذاكرة وحدة معالجة الرسومات المستخدمة لتخزين أوزان النموذج، التنشيطات، والتدرجات أثناء التدريب.

و​

التسخين​

زيادة معدل التعلم تدريجيًا في بداية التدريب لتحسين الاستقرار.

تحلل الأوزان​

تقنية تنظيمية تعاقب الأوزان الكبيرة لمنع الإفراط في التكيف.

Weights & Biases (W&B)​

منصة شائعة لتتبع التجارب، تسجيل النماذج، والتصور.

ز​

المحسن بدون تكرار (ZeRO)​

تحسين الذاكرة في DeepSpeed الذي يقسم حالات المحسن، التدرجات، والمعلمات عبر الأجهزة.

بدون لقطة​

استخدام النموذج لمهمة دون أي تدريب أو أمثلة خاصة بالمهمة.

بطاقة مرجعية سريعة​

المفهومالمعلومات الرئيسية
رتبة LoRAالقيم النموذجية: 8، 16، 32، 64
LoRA Alphaغالبًا ما يتم ضبطه ليكون ضعف الرتبة
معدل التعلم1e-5 إلى 1e-4 للتحسين
حجم الدفعة4-32 حسب VRAM
الحقب1-5 لمعظم مهام التحسين
ذاكرة QLoRA~4-6GB لنماذج 7B
ذاكرة FT الكاملة~28GB+ لنماذج 7B

العودة إلى الصفحة الرئيسية للدورة