الاختبار: التقييم والتحسين
30 سؤالًا عن تقييم RAG وRAGAS وتصحيح الأخطاء.
س1: ما المجالان الرئيسيان لتقييم RAG؟
الإجابة: جودة الاسترجاع وجودة التوليد.
س2: ماذا يقيس Precision@K؟
الإجابة: نسبة الوثائق المسترجعة (أعلى K) ذات الصلة.
س3: ماذا يقيس Recall@K؟
الإجابة: نسبة كل الوثائق ذات الصلة التي اُسترجعت في أعلى K.
س4: ما هو MRR؟
الإجابة: Mean Reciprocal Rank - يقيس ارتفاع ترتيب أول وثيقة ذات صلة.
س5: ماذا يقيس faithfulness؟
الإجابة: ما إذا كانت الإجابة المولَّدة مثبتة في السياق المسترجع (مدعومة به).
س6: ما هو RAGAS؟
الإجابة: Retrieval Augmented Generation Assessment - إطار لتقييم RAG تلقائيًا.
س7: ماذا يقيس context_precision في RAGAS؟
الإجابة: ما إذا كانت الوثائق المسترجعة ذات صلة بالسؤال.
س8: ماذا يقيس context_recall؟
الإجابة: ما إذا اُسترجعت كل المعلومات اللازمة للإجابة.
س9: ما درجة faithfulness الجيدة؟
الإجابة: فوق 0.9 ممتازة؛ دون 0.7 يشير إلى مشكلات هلوسة.
س10: ما السبب الرئيسي لـ «استُرجعت وثائق خاطئة»؟
الإجابة: حجم chunk سيئ، أو نموذج embedding خاطئ، أو مرشّحات metadata ناقصة.
س11: فيما يُستخدم LangSmith؟
الإجابة: تتبّع تطبيقات LangChain وتصحيح أخطائها - عرض كل الاستدعاءات والإجابات.
س12: كيف تعرف إن كان نموذج LLM يتجاهل السياق؟
الإجابة: الإجابة لا تعكس الوثائق المسترجعة أو تناقضها.
س13: ما الذي يسبّب الهلوسات في RAG؟
الإجابة: وثائق مسترجعة خاطئة، أو خروج النموذج عن السياق، أو مشكلات في الـ prompt.
س14: كيف تقلّل الهلوسات؟
الإجابة: استرجاع أفضل، وprompts تثبيت صريحة، ودرجة حرارة أقل.
س15: ما البيانات التي يحتاجها RAGAS؟
الإجابة: أسئلة، وإجابات، وسياقات (وثائق مسترجعة)، وإجابات مرجعية (ground truth).
س16: كم مرة ينبغي تقييم أنظمة RAG؟
الإجابة: باستمرار أو أسبوعيًا، خصوصًا بعد تغييرات في البيانات أو الخط.
س17: أول خطوة تصحيح لإجابات خاطئة؟
الإجابة: تحقّق من الوثائق التي يجري استرجاعها.
س18: كيف تصحّح مشكلات الـ prompt؟
الإجابة: اطبع الـ prompt الكامل المُرسَل إلى نموذج LLM.
س19: ما الذي يقلّل زمن استجابة RAG؟
الإجابة: عمليات غير متزامنة، وتخزين مؤقت، ونماذج أصغر، وتحديد حجم السياق.
س20: ما الذي يقلّل تكاليف RAG؟
الإجابة: التخزين المؤقت، ونماذج embedding أصغر، والمعالجة الدفعية، وتحديد السياق.
س21: ما هو answer_relevancy في RAGAS؟
الإجابة: يقيس ما إذا كانت الإجابة تعالج السؤال المطروح فعلًا.
س22: إذا كان context_recall منخفضًا، ما المشكلة؟
الإجابة: الاسترجاع يفوّت وثائق ذات صلة - تحتاج استرجاعًا أفضل.
س23: إذا كان faithfulness منخفضًا، ما المشكلة؟
الإجابة: يختلق نموذج LLM معلومات ليست في السياق - يهلوس.
س24: كيف تتحقّق من عمل embeddings؟
الإجابة: اختبر بوثائق متشابهة معروفة وتأكّد من قربها في فضاء المتجهات.
س25: ما Recall@K المثالي؟
الإجابة: فوق 0.9 - نريد التقاط معظم الوثائق ذات الصلة.
س26: لماذا تتبّع المقاييس عبر الزمن؟
الإجابة: اكتشاف التدهور مع تغيّر البيانات أو بعد تحديثات الخط.
س27: ما اختبار A/B في RAG؟
الإجابة: مقارنة إعدادين لـ RAG لمعرفة أيهما أفضل أداءً.
س28: أي أداة تعدّ الـ tokens في السياق؟
الإجابة: tiktoken لنماذج OpenAI، أو tokenizers خاصة بالنموذج.
س29: متى تستخدم التقييم التلقائي مقابل اليدوي؟
الإجابة: التلقائي للنطاق والانحدار؛ واليدوي لتقييم الجودة الدقيق.
س30: ما هو ground truth في RAGAS؟
الإجابة: الإجابة المتوقعة أو الصحيحة التي تُقارَن بها الإجابات المولَّدة.
النتائج
| الدرجة | المستوى |
|---|---|
| 27-30 | ممتاز |
| 21-26 | جيد |
| 15-20 | متوسط |
| أقل من 15 | يحتاج مراجعة |