Module 6 : Inférence et Déploiement

Optimisation des LLMs pour le déploiement en production.

Objectifs d'apprentissage

• ✅ Comprendre les techniques d'optimisation de l'inférence (cache KV, décodage spéculatif)
• ✅ Apprendre les méthodes de quantification (INT8, INT4, GPTQ, AWQ)
• ✅ Déployer des modèles à grande échelle avec vLLM, TGI et Triton

Chapitres

1. Optimisation de l'inférence : cache KV, traitement par lots, décodage spéculatif
2. Quantification : INT8, INT4, GPTQ, AWQ, bitsandbytes
3. Service à grande échelle : vLLM, TGI, équilibrage de charge, mise à l'échelle automatique

---

← Quiz Module 5Chapitre 1 →