الفصل 2: التحسين للاستدلال
تعظيم أداء الاستدلال
تقنيات للاستدلال السريع والفعال في الإنتاج.
خوادم الاستدلال
| الخادم | القوة | حالة الاستخدام |
|---|---|---|
| vLLM | إنتاجية عالية | واجهات برمجة التطبيقات الإنتاجية |
| TGI | تكامل HF | نشر بسيط |
| llama.cpp | كفاءة وحدة المعالجة المركزية | الحافة/المحلي |
| Ollama | سهولة الاستخدام | التطوير المحلي |
نشر vLLM
from vllm import LLM, SamplingParams
llm = LLM(model="./merged_model")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = llm.generate(["Hello, how are you?"], sampling_params)
print(outputs[0].outputs[0].text)
التكميم للاستدلال
| المستوى | الذاكرة | السرعة | الجودة |
|---|---|---|---|
| FP16 | 100% | 1x | 100% |
| INT8 | 50% | 1.5x | 99% |
| INT4 | 25% | 2x | 95-98% |
قائمة التحقق من التحسين
□ دمج محول LoRA
□ تطبيق تكميم الاستدلال (INT8/INT4)
□ تمكين ذاكرة التخزين المؤقت KV
□ استخدام حجم دفعة مناسب
□ تمكين Flash Attention
□ النظر في فك التشفير التخميني
□ إعداد مراقبة مناسبة