Chapitre 1 : Exportation et déploiement des modèles
Préparation des modèles pour le déploiement
Formats d'exportation et options de déploiement pour la mise en production.
Options d'exportation
| Format | Cas d'utilisation | Outils |
|---|---|---|
| Hugging Face | Déploiement standard | transformers |
| GGUF | Inférence CPU | llama.cpp |
| ONNX | Multi-plateforme | onnx |
| TensorRT | Optimisé pour NVIDIA | tensorrt |
Fusion de LoRA pour l'exportation
from peft import PeftModel
from transformers import AutoModelForCausalLM
# Charger le modèle de base
base = AutoModelForCausalLM.from_pretrained("base_model")
# Charger l'adaptateur
model = PeftModel.from_pretrained(base, "adapter_path")
# Fusionner
model = model.merge_and_unload()
# Sauvegarder le modèle fusionné
model.save_pretrained("./merged_model")
tokenizer.save_pretrained("./merged_model")
Exportation GGUF
# Convertir en GGUF pour llama.cpp
python llama.cpp/convert.py ./merged_model --outtype f16
# Quantifier pour l'efficacité
./llama.cpp/quantize ./model.gguf ./model-q4_k_m.gguf Q4_K_M
Téléverser sur le Hub
model.push_to_hub("username/model-name")
tokenizer.push_to_hub("username/model-name")