Chapitre 2 : Cadres de déploiement de modèles

Comparaison des cadres

Cadre	Idéal pour	Support GPU	Multi-modèle
TorchServe	Modèles PyTorch	✅	✅
TF Serving	Modèles TensorFlow	✅	✅
Triton	Multi-cadre, haute performance	✅	✅
BentoML	Prototypage rapide	✅	✅

Exemple de TorchServe

# Créer une archive de modèle
torch-model-archiver \
    --model-name churn_model \
    --version 1.0 \
    --model-file model.py \
    --serialized-file model.pth \
    --handler handler.py \
    --export-path model_store

# Démarrer le serveur
torchserve --start --model-store model_store \
    --models churn_model=churn_model.mar

Serveur d'inférence Triton

model_repository/
├── churn_model/
│   ├── config.pbtxt
│   └── 1/
│       └── model.onnx

# config.pbtxt
name: "churn_model"
platform: "onnxruntime_onnx"
max_batch_size: 64
input [
  { name: "features", data_type: TYPE_FP32, dims: [10] }
]
output [
  { name: "predictions", data_type: TYPE_INT64, dims: [1] }
]

---

Suivant : Chapitre 3 : Conteneurisation avec Docker