Saltar al contenido principal

Capítulo 1: Exportación y Servir Modelos

Preparación de Modelos para Despliegue​

Formatos de exportación y opciones de servir para despliegue en producción.

Opciones de Exportación​

FormatoCaso de usoHerramientas
Hugging FaceServir estándartransformers
GGUFInferencia en CPUllama.cpp
ONNXMultiplataformaonnx
TensorRTOptimizado para NVIDIAtensorrt

Fusión de LoRA para Exportación​

from peft import PeftModel
from transformers import AutoModelForCausalLM

# Load base model
base = AutoModelForCausalLM.from_pretrained("base_model")

# Load adapter
model = PeftModel.from_pretrained(base, "adapter_path")

# Merge
model = model.merge_and_unload()

# Save merged model
model.save_pretrained("./merged_model")
tokenizer.save_pretrained("./merged_model")

Exportación a GGUF​

# Convert to GGUF for llama.cpp
python llama.cpp/convert.py ./merged_model --outtype f16

# Quantize for efficiency
./llama.cpp/quantize ./model.gguf ./model-q4_k_m.gguf Q4_K_M

Subir al Hub​

model.push_to_hub("username/model-name")
tokenizer.push_to_hub("username/model-name")

Continuar al Capítulo 2 →