Capítulo 1: O que é LLMOps?
Definição
LLMOps é a prática especializada de implantar, monitorar e manter aplicações baseadas em Large Language Models (LLMs) em produção. Ela estende o MLOps tradicional com considerações específicas para LLMs.
A Stack de LLMOps
Componentes Principais
| Componente | Finalidade | Ferramentas |
|---|---|---|
| Model Serving | Hospedar e servir LLMs | vLLM, TGI, Triton |
| Orquestração | Encadear chamadas de LLM | LangChain, LlamaIndex |
| Gerenciamento de Prompts | Versionar e testar prompts | LangSmith, Prompt layer |
| Avaliação | Medir qualidade | RAGAS, DeepEval |
| Observabilidade | Traçar e monitorar | LangSmith, Phoenix |
| Gestão de Custos | Acompanhar gastos | Custom, dashboards do provedor |
Próximo: Capítulo 2: Diferenças em relação ao MLOps tradicional