Saltar al contenido principal

Módulo 11: Despliegue de LLM

🎯 Objetivos de aprendizaje​

  • Desplegar y servir LLMs a escala con vLLM y TGI
  • Optimizar la inferencia con cuantización y procesamiento por lotes
  • Implementar estrategias efectivas de gestión de costos

📚 Contenido del módulo​

Capítulo 1: Servir LLMs a escala​

vLLM, TGI, optimización de inferencia, estrategias de procesamiento por lotes, transmisión.

Capítulo 2: Optimización de inferencia​

Cuantización en producción, decodificación especulativa, optimización de la caché KV.

Capítulo 3: Gestión de costos​

Seguimiento de tokens, estrategias de caché, selección de modelos, limitación de tasa.

🚀 ¡Comencemos!​

Empiece con Capítulo 1: Servir LLMs a escala.