إنتقل إلى المحتوى الرئيسي

الفصل 1: تصدير وتقديم النماذج

إعداد النماذج للنشر​

تنسيقات التصدير وخيارات التقديم لنشر الإنتاج.

خيارات التصدير​

التنسيقحالة الاستخدامالأدوات
Hugging Faceتقديم قياسيtransformers
GGUFاستدلال CPUllama.cpp
ONNXعبر المنصاتonnx
TensorRTمحسن لـ NVIDIAtensorrt

دمج LoRA للتصدير​

from peft import PeftModel
from transformers import AutoModelForCausalLM

# Load base model
base = AutoModelForCausalLM.from_pretrained("base_model")

# Load adapter
model = PeftModel.from_pretrained(base, "adapter_path")

# Merge
model = model.merge_and_unload()

# Save merged model
model.save_pretrained("./merged_model")
tokenizer.save_pretrained("./merged_model")

تصدير GGUF​

# Convert to GGUF for llama.cpp
python llama.cpp/convert.py ./merged_model --outtype f16

# Quantize for efficiency
./llama.cpp/quantize ./model.gguf ./model-q4_k_m.gguf Q4_K_M

التحميل إلى Hub​

model.push_to_hub("username/model-name")
tokenizer.push_to_hub("username/model-name")

الانتقال إلى الفصل 2 →