Capítulo 2: LLMs locales vs en la nube
Ejecutar IA en su propia máquina
No es necesario utilizar APIs en la nube para acceder a LLMs. Con modelos de código abierto y el hardware adecuado, puede ejecutar IA localmente—de forma completamente privada y sin conexión.
¿Qué es la ejecución local de LLM?
LLM local significa ejecutar el modelo de IA en su propio ordenador o servidor, en lugar de enviar solicitudes a un servicio en la nube.
La diferencia clave
| LLM en la nube | LLM local |
|---|---|
| Sus datos van a OpenAI/Anthropic | Sus datos permanecen en su máquina |
| Pago por uso | Paga por el hardware una vez |
| Siempre el modelo más reciente | Actualización manual |
| Requiere internet | Funciona sin conexión |
Herramientas para ejecutar LLMs localmente
Ollama
La opción más fácil de usar para LLMs locales.
Características:
- Instalación con un solo comando
- Gestión sencilla de modelos
- Funciona en Mac, Windows, Linux
- API compatible con OpenAI
Primeros pasos (ejemplo):
# Instale Ollama, luego:
ollama run llama3
LM Studio
Aplicación de escritorio con interfaz gráfica.
Características:
- No requiere línea de comandos
- Navegación y descarga de modelos
- Interfaz de chat integrada
- Funciona en Mac y Windows
llama.cpp
Técnica pero ligera.
Características:
- Muy eficiente
- Funciona en hardware mínimo
- Impulsa muchas otras herramientas
- Control total sobre la configuración
Otros
- Text Generation WebUI - Interfaz rica en funciones
- GPT4All - Aplicación de escritorio sencilla
- Jan - Moderna, enfocada en la privacidad
Requisitos de hardware
Lo que necesita
Ejecutar LLMs localmente requiere hardware decente:
| Tamaño del modelo | RAM mínima | GPU recomendada |
|---|---|---|
| 7B parámetros | 8GB | Opcional (más lento en CPU) |
| 13B parámetros | 16GB | 8GB VRAM |
| 30B parámetros | 32GB | 16GB VRAM |
| 70B parámetros | 64GB+ | 24GB+ VRAM |
Comprender los tamaños de los modelos
| Modelo | Tamaño aproximado | Nivel de calidad |
|---|---|---|
| 7B | ~4-7 GB | Bueno para muchas tareas |
| 13B | ~7-13 GB | Mejor calidad |
| 30B | ~15-30 GB | Cercano a GPT-3.5 |
| 70B | ~35-70 GB | Calidad casi de frontera |
Cuantización: hacer los modelos más pequeños
Cuantización reduce la precisión del modelo para hacerlo más pequeño y rápido, con cierta pérdida de calidad.
Niveles de cuantización
| Nivel | Reducción de tamaño | Impacto en la calidad |
|---|---|---|
| FP16 | Referencia | Calidad completa |
| Q8 | ~50% más pequeño | Pérdida mínima |
| Q4 | ~75% más pequeño | Notable pero utilizable |
| Q2 | ~87% más pequeño | Pérdida significativa |
Un modelo de 7B puede variar de ~14GB (FP16) a ~3GB (Q4), lo que permite ejecutarlo en portátiles.
Beneficios de privacidad
Sus datos permanecen privados
Al usar LLMs en la nube:
- Los prompts se envían por internet
- Se almacenan en los servidores del proveedor
- Pueden usarse para entrenamiento (revise los Términos de Servicio)
- Sujetos a las políticas del proveedor
Al usar LLMs locales:
- Nada sale de su máquina
- Sin registros por terceros
- Control total de cumplimiento
- Funciona en entornos aislados (air-gapped)
Casos de uso críticos para la privacidad
| Industria | Por qué lo local es importante |
|---|---|
| Salud | Cumplimiento HIPAA, datos de pacientes |
| Legal | Privilegio abogado-cliente |
| Finanzas | Estrategias de trading propietarias |
| Gobierno | Información clasificada |
| Empresas | Secretos comerciales |
Consideraciones de rendimiento
Latencia
| Despliegue | Tiempo de respuesta típico |
|---|---|
| API en la nube (GPT-4) | 2-10 segundos |
| Local (M3 Max, 7B) | 1-3 segundos |
| Local (RTX 4090, 7B) | Menos de 1 segundo |
| Local (solo CPU, 7B) | 10-30 segundos |
Rendimiento (Throughput)
Las APIs en la nube suelen manejar más solicitudes en paralelo, mientras que el despliegue local está limitado por su hardware.
Ventajas de la nube
Por qué la nube sigue teniendo sentido
- Sin inversión inicial - No necesita hardware costoso
- Siempre actualizado - Modelos más recientes automáticamente
- Escalabilidad - Maneja picos de tráfico
- Multimodalidad - Capacidades de imagen, audio, video
- Disponibilidad global - Acceso desde cualquier lugar
- Mantenimiento experto - Los proveedores gestionan la operación
Comparación de costos
Análisis de punto de equilibrio
| Escenario | Costo en la nube (mensual) | Costo local (hardware) |
|---|---|---|
| Uso ligero (1K consultas) | ~$5-20 | $1,000+ GPU |
| Uso medio (100K consultas) | ~$500-2,000 | Mismo hardware |
| Uso intensivo (1M consultas) | ~$5,000-20,000 | Mismo hardware |
Regla general: Los usuarios intensivos ahorran con local; los usuarios ligeros ahorran con la nube.
Enfoques híbridos
Lo mejor de ambos mundos
Patrones híbridos comunes
| Patrón | Cómo funciona |
|---|---|
| Enrutamiento por sensibilidad | Datos sensibles → local; resto → nube |
| Enrutamiento por complejidad | Preguntas difíciles → mejor modelo |
| Fallback | Primero local, la nube como respaldo |
| Borrador local, refinado en la nube | Local genera, la nube pule |
Primeros pasos con LLMs locales
Paso 1: Verifique su hardware
- Al menos 8GB de RAM para modelos pequeños
- GPU recomendada pero no obligatoria
Paso 2: Elija una herramienta
- Principiantes: LM Studio u Ollama
- Usuarios avanzados: llama.cpp o text-generation-webui
Paso 3: Descargue un modelo
- Comience con Llama 3 8B o Mistral 7B
- Use cuantización Q4 si tiene poca RAM
Paso 4: Experimente
- Pruebe diferentes prompts
- Compare con modelos en la nube
- Encuentre lo que funciona para su caso de uso
Puntos clave
✅ Los LLMs locales se ejecutan en su propio hardware, manteniendo los datos privados
✅ Herramientas como Ollama y LM Studio facilitan la ejecución local
✅ Los requisitos de hardware varían según el tamaño del modelo (7B es el más accesible)
✅ La cuantización intercambia calidad por modelos más pequeños y rápidos
✅ Las aplicaciones críticas para la privacidad suelen requerir despliegue local
✅ Los enfoques híbridos combinan privacidad local con capacidad en la nube
Piénselo
- ¿Qué datos personales o de trabajo nunca enviaría a un LLM en la nube?
- ¿Cómo cambiarían los dispositivos de borde (teléfonos, portátiles) si pudieran ejecutar LLMs capaces localmente?
- ¿Cuándo elegiría la nube incluso si lo local fuera técnicamente posible?
Próximos pasos
Ahora veamos hacia dónde se dirigen los LLMs en el Capítulo 3: Desarrollos futuros.