Capítulo 3: LLaMA, Mistral y modelos Open Source

Serie LLaMA de Meta

Versión	Tamaños	Licencia	Características clave
LLaMA 1	7-65B	Investigación	Primer modelo abierto competitivo
LLaMA 2	7-70B	Comercial	Pesos completamente abiertos
LLaMA 3	8-70B+	Comercial	Open source de última generación

Mistral AI

# Innovaciones de Mistral
innovations = {
    "Sliding Window Attention": "Secuencias largas eficientes",
    "Grouped Query Attention": "Eficiencia de memoria",
    "Mixtral (MoE)": "46B parámetros, 12.9B activos"
}

Uso de modelos Open Source

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

Comparación

Aspecto	Cerrado (GPT-4)	Abierto (LLaMA)
Capacidad	Superior	Competitiva
Control	Limitado	Total
Costo	Por token	Infraestructura
Privacidad	Datos enviados a API	Local

Puntos clave

Summary

1. LLaMA democratizó el acceso a los LLM
2. Mistral innova en eficiencia
3. Los modelos open source permiten personalización y privacidad

---

← Capítulo 2: ClaudeCuestionario del Módulo 4 →