Módulo 6: Inferencia y Despliegue

Optimizando LLMs para el despliegue en producción.

Objetivos de aprendizaje

• ✅ Comprender técnicas de optimización de inferencia (KV cache, decodificación especulativa)
• ✅ Aprender métodos de cuantización (INT8, INT4, GPTQ, AWQ)
• ✅ Desplegar modelos a escala con vLLM, TGI y Triton

Capítulos

1. Optimización de inferencia: KV cache, procesamiento por lotes, decodificación especulativa
2. Cuantización: INT8, INT4, GPTQ, AWQ, bitsandbytes
3. Servicio a escala: vLLM, TGI, balanceo de carga, autoescalado

---

← Quiz del Módulo 5Capítulo 1 →