Capítulo 1: Exportando e Servindo Modelos
Preparando Modelos para Deploy
Formatos de exportação e opções de serving para deploy em produção.
Opções de Exportação
| Formato | Caso de Uso | Ferramentas |
|---|---|---|
| Hugging Face | Serving padrão | transformers |
| GGUF | Inferência em CPU | llama.cpp |
| ONNX | Multiplataforma | onnx |
| TensorRT | Otimizado para NVIDIA | tensorrt |
Mesclando LoRA para Exportação
from peft import PeftModel
from transformers import AutoModelForCausalLM
# Load base model
base = AutoModelForCausalLM.from_pretrained("base_model")
# Load adapter
model = PeftModel.from_pretrained(base, "adapter_path")
# Merge
model = model.merge_and_unload()
# Save merged model
model.save_pretrained("./merged_model")
tokenizer.save_pretrained("./merged_model")
Exportação para GGUF
# Convert to GGUF for llama.cpp
python llama.cpp/convert.py ./merged_model --outtype f16
# Quantize for efficiency
./llama.cpp/quantize ./model.gguf ./model-q4_k_m.gguf Q4_K_M
Upload para o Hub
model.push_to_hub("username/model-name")
tokenizer.push_to_hub("username/model-name")