Aller au contenu principal

Module 11 : Déploiement de LLM

🎯 Objectifs d'apprentissage​

  • Déployer et servir des LLM à grande échelle avec vLLM et TGI
  • Optimiser l'inférence avec la quantification et le regroupement
  • Mettre en œuvre des stratégies efficaces de gestion des coûts

📚 Contenu du module​

Chapitre 1 : Servir des LLM à grande échelle​

vLLM, TGI, optimisation de l'inférence, stratégies de regroupement, diffusion en continu.

Chapitre 2 : Optimisation de l'inférence​

Quantification en production, décodage spéculatif, optimisation du cache KV.

Chapitre 3 : Gestion des coûts​

Suivi des jetons, stratégies de mise en cache, sélection de modèles, limitation de débit.

🚀 Commençons !​

Commencez par Chapitre 1 : Servir des LLM à grande échelle.