Capítulo 1: ¿Qué es LLMOps?
Definición
LLMOps es la práctica especializada de desplegar, monitorear y mantener aplicaciones basadas en Large Language Models (LLM) en producción. Amplía el MLOps tradicional con consideraciones específicas para LLM.
La pila de LLMOps
Componentes clave
| Componente | Propósito | Herramientas |
|---|---|---|
| Model Serving | Alojar y servir LLMs | vLLM, TGI, Triton |
| Orchestration | Encadenar llamadas a LLM | LangChain, LlamaIndex |
| Prompt Management | Versionar y probar prompts | LangSmith, Prompt layer |
| Evaluation | Medir la calidad | RAGAS, DeepEval |
| Observability | Trazar y monitorear | LangSmith, Phoenix |
| Cost Management | Rastrear gastos | Personalizado, paneles del proveedor |