Pular para o conteúdo principal

Módulo 6: Inferência & Deploy

Otimizando LLMs para deploy em produção.

Objetivos de Aprendizagem​

  • ✅ Compreender técnicas de otimização de inferência (KV cache, decodificação especulativa)
  • ✅ Aprender métodos de quantização (INT8, INT4, GPTQ, AWQ)
  • ✅ Fazer deploy de modelos em escala com vLLM, TGI e Triton

Capítulos​

  1. Otimização de Inferência: KV cache, batching, decodificação especulativa
  2. Quantização: INT8, INT4, GPTQ, AWQ, bitsandbytes
  3. Servindo em Escala: vLLM, TGI, balanceamento de carga, autoscaling