Capítulo 3: Modelos de Código Abierto
¿Por qué código abierto?
- Privacidad: Ejecución local, los datos nunca salen de su sistema
- Costo: Sin tarifas por token en APIs
- Personalización: Fine-tuning para casos de uso específicos
- Control: Sin dependencias externas
Modelos de código abierto populares
| Modelo | Creador | Tamaños | Fortalezas |
|---|---|---|---|
| Llama 3 | Meta | 8B, 70B | Propósito general, bien documentado |
| Mistral | Mistral AI | 7B | Eficiente, alto rendimiento |
| Mixtral | Mistral AI | 8x7B | Mixture of experts, versátil |
| Phi-2/3 | Microsoft | 2.7B-3.8B | Pequeño pero capaz |
Diferencias en el prompting
Los modelos de código abierto pueden requerir:
- Formatos de prompt específicos (por ejemplo,
[INST]...[/INST]para Llama) - Ajustar expectativas para modelos más pequeños
- Instrucciones más explícitas
Ejemplo de formato Llama
[INST] You are a helpful assistant.
Write a haiku about programming. [/INST]
Opciones de despliegue
- Ollama: Despliegue local sencillo
- vLLM: Servicio listo para producción
- Hugging Face: En la nube o local con transformers
- llama.cpp: Inferencia eficiente en CPU
Puntos clave
Summary
- Código abierto = privacidad, ahorro de costos, control
- Diferentes modelos requieren diferentes formatos de prompt
- Modelos más pequeños necesitan instrucciones más claras
- Elija el método de despliegue según la escala