إنتقل إلى المحتوى الرئيسي

الفصل 3: الخدمة على نطاق واسع

vLLM​

الخدمة ذات الإنتاجية العالية باستخدام PagedAttention:

from vllm import LLM, SamplingParams

llm = LLM(model="meta-llama/Llama-2-7b-hf")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

outputs = llm.generate(["Hello, my name is"], sampling_params)

استدلال توليد النصوص (TGI)​

خادم الإنتاج من Hugging Face:

docker run --gpus all -p 8080:80 \
    ghcr.io/huggingface/text-generation-inference:latest \
    --model-id meta-llama/Llama-2-7b-hf

المقارنة​

الإطارالأفضل لـالميزة الرئيسية
vLLMالإنتاجيةPagedAttention
TGIالإنتاجتكامل HF
Tritonمتعدد النماذجمحسن من NVIDIA

موازنة التحميل​

# مثال: نشر Kubernetes
apiVersion: apps/v1
kind: Deployment
spec:
  replicas: 3  # نسخ متعددة لموازنة التحميل
  template:
    spec:
      containers:
      - name: llm-server
        resources:
          limits:
            nvidia.com/gpu: 1