الفصل 3: LLaMA، Mistral، والنماذج مفتوحة المصدر

سلسلة LLaMA من Meta

الإصدار	الأحجام	الترخيص	الميزات الرئيسية
LLaMA 1	7-65B	بحث	أول نموذج مفتوح تنافسي
LLaMA 2	7-70B	تجاري	أوزان مفتوحة بالكامل
LLaMA 3	8-70B+	تجاري	أحدث نموذج مفتوح

Mistral AI

# ابتكارات Mistral
innovations = {
    "Sliding Window Attention": "تسلسل طويل بكفاءة",
    "Grouped Query Attention": "كفاءة في الذاكرة",
    "Mixtral (MoE)": "46B params, 12.9B active"
}

استخدام النماذج المفتوحة

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

المقارنة

الجانب	مغلق (GPT-4)	مفتوح (LLaMA)
القدرة	أعلى	تنافسي
التحكم	محدود	كامل
التكلفة	لكل رمز	البنية التحتية
الخصوصية	البيانات مرسلة إلى API	محلي

النقاط الرئيسية

الملخص

1. LLaMA ديمقراطية الوصول إلى LLM
2. Mistral تبتكر في الكفاءة
3. النماذج المفتوحة تمكن من التخصيص والخصوصية

---

← الفصل 2: Claudeاختبار الوحدة 4 →