Módulo 11: Deploy de LLMs

🎯 Objetivos de Aprendizagem

• Fazer o deploy e servir LLMs em escala com vLLM e TGI
• Otimizar a inferência com quantização e batching
• Implementar estratégias eficazes de gestão de custos

📚 Conteúdo do Módulo

Capítulo 1: Servindo LLMs em Escala

vLLM, TGI, otimização de inferência, estratégias de batching, streaming.

Capítulo 2: Otimização de Inferência

Quantização em produção, speculative decoding, otimização de KV cache.

Capítulo 3: Gestão de Custos

Rastreamento de tokens, estratégias de cache, seleção de modelos, rate limiting.

🚀 Vamos Começar!

Comece pelo Capítulo 1: Servindo LLMs em Escala.