الفصل 1: ما هو LLMOps؟
التعريف
LLMOps هو الممارسة المتخصصة في نشر ومراقبة وصيانة التطبيقات المعتمدة على نموذج اللغة الكبير (LLM) في الإنتاج. إنه يوسع MLOps التقليدي مع اعتبارات خاصة بـ LLM.
مجموعة LLMOps
المكونات الرئيسية
| المكون | الغرض | الأدوات |
|---|---|---|
| تقديم النموذج | استضافة وتقديم LLMs | vLLM، TGI، Triton |
| التنسيق | تسلسل مكالمات LLM | LangChain، LlamaIndex |
| إدارة الموجّهات | إصدار واختبار الموجّهات | LangSmith، طبقة الموجّهات |
| التقييم | قياس الجودة | RAGAS، DeepEval |
| المراقبة | تتبع ومراقبة | LangSmith، Phoenix |
| إدارة التكلفة | تتبع الإنفاق | مخصص، لوحات معلومات المزود |