الموارد

مجموعة مختارة من الأوراق البحثية والمستودعات والمجتمعات للتعلم المستمر.

---

الأوراق البحثية الأساسية

الهندسة المعمارية

• Attention Is All You Need (2017) - arxiv.org/abs/1706.03762
  • الورقة الأصلية لـ Transformer
• BERT (2018) - arxiv.org/abs/1810.04805
  • التدريب المسبق ثنائي الاتجاه
• GPT-2 (2019) - openai.com/research/better-language-models
  • عرض توسيع النطاق

التوسيع والتدريب

• Scaling Laws for Neural Language Models (2020) - arxiv.org/abs/2001.08361
  • قوانين كابلان للتوسيع
• Training Compute-Optimal LLMs (2022) - arxiv.org/abs/2203.15556
  • ورقة Chinchilla
• LLaMA (2023) - arxiv.org/abs/2302.13971
  • نماذج الأساس المفتوحة

المحاذاة

• Training Language Models with Human Feedback (2022) - arxiv.org/abs/2203.02155
  • InstructGPT / RLHF
• Constitutional AI (2022) - arxiv.org/abs/2212.08073
  • نهج Anthropic
• DPO (2023) - arxiv.org/abs/2305.18290
  • تحسين التفضيلات المباشر

الكفاءة

• LoRA (2021) - arxiv.org/abs/2106.09685
  • التكيف منخفض الرتبة
• Flash Attention (2022) - arxiv.org/abs/2205.14135
  • الانتباه الفعال من حيث الذاكرة
• QLoRA (2023) - arxiv.org/abs/2305.14314
  • الضبط الدقيق الفعال

---

مستودعات الكود

المكتبات

المكتبة	الغرض	الرابط
Transformers	مركز النماذج والاستدلال	github.com/huggingface/transformers
PEFT	الضبط الدقيق الفعال من حيث المعلمات	github.com/huggingface/peft
TRL	التدريب باستخدام RL	github.com/huggingface/trl
vLLM	تقديم عالي الإنتاجية	github.com/vllm-project/vllm
LangChain	تطبيقات LLM	github.com/langchain-ai/langchain
LiteLLM	واجهة برمجة التطبيقات متعددة المزودين	github.com/BerriAI/litellm

التدريب

المستودع	الغرض
DeepSpeed	التدريب الموزع
Accelerate	التدريب الموزع السهل
Axolotl	إطار الضبط الدقيق
llama.cpp	الاستدلال باستخدام وحدة المعالجة المركزية

---

مراكز النماذج

• Hugging Face Hub: huggingface.co/models
• OpenAI API: platform.openai.com
• Anthropic API: console.anthropic.com
• Google AI Studio: ai.google.dev

---

موارد التعلم

الدورات

• Stanford CS224N: معالجة اللغة الطبيعية باستخدام التعلم العميق
• Stanford CS324: نماذج اللغة الكبيرة
• fast.ai: التعلم العميق العملي

المدونات

• Hugging Face Blog: huggingface.co/blog
• OpenAI Blog: openai.com/blog
• Anthropic Research: anthropic.com/research
• The Gradient: thegradient.pub

النشرات الإخبارية

• The Batch (deeplearning.ai)
• AI Weekly
• Import AI

---

المجتمعات

• r/MachineLearning: مجتمع Reddit لتعلم الآلة
• r/LocalLLaMA: نماذج LLM مفتوحة المصدر
• Hugging Face Discord: مناقشة النماذج
• EleutherAI Discord: البحث المفتوح
• LangChain Discord: تطبيقات LLM

---

المعايير

المعيار	النوع	الرابط
MMLU	المعرفة	paperswithcode.com/dataset/mmlu
HumanEval	الكود	github.com/openai/human-eval
GSM8K	الرياضيات	github.com/openai/grade-school-math
HellaSwag	الفهم العام	rowanzellers.com/hellaswag
TruthfulQA	الصدق	github.com/sylinrl/TruthfulQA

---

الأدوات

التطوير

• Jupyter/Colab: التجريب
• Weights & Biases: تتبع التجارب
• MLflow: دورة حياة التعلم الآلي

النشر

• Modal: GPU بدون خادم
• Replicate: استضافة النماذج
• RunPod: سحابة GPU
• Together AI: واجهة برمجة التطبيقات للاستدلال

---

استمر في التعلم

المجال يتطور بسرعة! تابع:

• فئات ArXiv CS.CL و CS.LG
• باحثي تعلم الآلة على Twitter/X
• وقائع المؤتمرات (NeurIPS, ICML, ACL, EMNLP)

---

← الامتحان النهائيالصفحة الرئيسية للدورة →