Chapitre 3 : LLaMA, Mistral, et Modèles Open Source

Série LLaMA de Meta

Version	Tailles	Licence	Caractéristiques clés
LLaMA 1	7-65B	Recherche	Premier modèle open compétitif
LLaMA 2	7-70B	Commercial	Poids entièrement ouverts
LLaMA 3	8-70B+	Commercial	Open à la pointe de la technologie

Mistral AI

# Innovations de Mistral
innovations = {
    "Sliding Window Attention": "Séquences longues efficaces",
    "Grouped Query Attention": "Efficace en mémoire",
    "Mixtral (MoE)": "46B paramètres, 12.9B actifs"
}

Utilisation des Modèles Open

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

Comparaison

Aspect	Fermé (GPT-4)	Ouvert (LLaMA)
Capacité	Supérieure	Compétitive
Contrôle	Limité	Complet
Coût	Par jeton	Infrastructure
Confidentialité	Données envoyées à l'API	Local

Points Clés

Résumé

1. LLaMA a démocratisé l'accès aux LLM
2. Mistral innove en matière d'efficacité
3. Les modèles ouverts permettent personnalisation et confidentialité

---

← Chapitre 2 : ClaudeQuiz Module 4 →