Capítulo 2: Optimización para Inferencia
Maximizar el Rendimiento de la Inferencia
Técnicas para una inferencia rápida y eficiente en producción.
Servidores de Inferencia
| Servidor | Fortaleza | Caso de uso |
|---|---|---|
| vLLM | Alto rendimiento | APIs en producción |
| TGI | Integración HF | Despliegue sencillo |
| llama.cpp | Eficiencia en CPU | Edge/local |
| Ollama | Facilidad de uso | Desarrollo local |
Despliegue de vLLM
from vllm import LLM, SamplingParams
llm = LLM(model="./merged_model")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = llm.generate(["Hello, how are you?"], sampling_params)
print(outputs[0].outputs[0].text)
Cuantización para Inferencia
| Nivel | Memoria | Velocidad | Calidad |
|---|---|---|---|
| FP16 | 100% | 1x | 100% |
| INT8 | 50% | 1.5x | 99% |
| INT4 | 25% | 2x | 95-98% |
Lista de Verificación de Optimización
□ Unir adaptador LoRA
□ Aplicar cuantización para inferencia (INT8/INT4)
□ Habilitar caché KV
□ Usar tamaño de lote adecuado
□ Habilitar Flash Attention
□ Considerar decodificación especulativa
□ Configurar monitoreo adecuado