Chapitre 1 : Qu'est-ce que LLMOps ?
Définition
LLMOps est la pratique spécialisée du déploiement, de la surveillance et de la maintenance des applications basées sur des Modèles de Langage de Grande Taille (LLM) en production. Il étend le MLOps traditionnel avec des considérations spécifiques aux LLM.
La pile LLMOps
Composants clés
| Composant | But | Outils |
|---|---|---|
| Model Serving | Héberger et servir les LLM | vLLM, TGI, Triton |
| Orchestration | Enchaîner les appels LLM | LangChain, LlamaIndex |
| Gestion des prompts | Versionner et tester les prompts | LangSmith, Prompt layer |
| Évaluation | Mesurer la qualité | RAGAS, DeepEval |
| Observabilité | Tracer et surveiller | LangSmith, Phoenix |
| Gestion des coûts | Suivre les dépenses | Custom, tableaux de bord des fournisseurs |
Suivant : Chapitre 2 : Différences avec le MLOps traditionnel