Quiz: Módulo 6 - Inferencia y Despliegue

Pregunta 1

¿Qué almacena la caché KV?

1. Tensores de clave y valor previamente calculados
2. Peso del modelo
3. Embeddings de tokens
4. Gradientes

Pregunta 2

¿Qué es la decodificación especulativa?

1. Usar un modelo pequeño para redactar tokens, verificados por un modelo grande
2. Generación aleatoria de tokens
3. Generación paralela desde múltiples modelos
4. Predecir la intención del usuario

Pregunta 3

¿Qué reducción de memoria proporciona la cuantización INT4?

1. 50%
2. 75%
3. 87.5% (hasta el 12.5% del original)
4. 25%

Pregunta 4

¿Qué es GPTQ?

1. Método de cuantización post-entrenamiento para modelos GPT
2. Una variante de GPT
3. Un framework de entrenamiento
4. Un tokenizador

Pregunta 5

¿Cuál es la innovación clave de vLLM?

1. PagedAttention para eficiencia de memoria
2. Mejor tokenización
3. Entrenamiento mejorado
4. Entrenamiento multi-GPU

Pregunta 6

¿Qué mejora el batching continuo?

1. El rendimiento al procesar múltiples solicitudes simultáneamente
2. Precisión del modelo
3. Velocidad de entrenamiento
4. Uso de memoria

Pregunta 7

¿Qué es AWQ?

1. Cuantización de pesos consciente de la activación
2. Calidad automática de pesos
3. Cuantización de peso promedio
4. Consultas ponderadas avanzadas

Pregunta 8

¿Qué biblioteca proporciona cuantización en tiempo real?

1. bitsandbytes
2. GPTQ
3. vLLM
4. TensorRT

Pregunta 9

¿Qué es TGI?

1. Text Generation Inference - la solución de servicio de HuggingFace
2. Interfaz de GPU para entrenamiento
3. Índice de generación de tokens
4. Inteligencia de calificación de texto

Pregunta 10

¿Por qué usar balanceo de carga para servir LLM?

1. Distribuir solicitudes entre varios servidores para confiabilidad y rendimiento
2. Reducir el tamaño del modelo
3. Mejorar la precisión
4. Acelerar el entrenamiento

Preguntas 11-30

(Cubriendo temas avanzados de optimización: flash attention, paralelismo de tensores para inferencia, estrategias de autoescalado, optimización de costos, compensaciones entre latencia y rendimiento, pruebas A/B, monitoreo, estrategias de caché, limitación de tasa y patrones de despliegue)

Pregunta 11

¿Qué optimiza Flash Attention?

1. Patrones de acceso a memoria para el cálculo de atención
2. Arquitectura del modelo
3. Datos de entrenamiento
4. Tokenización

Pregunta 12

¿Qué es el paralelismo de tensores en inferencia?

1. Dividir las matrices de pesos entre varias GPUs
2. Ejecutar múltiples modelos
3. Agrupar solicitudes
4. Almacenar respuestas en caché

Pregunta 13

¿Cuándo debe usar autoescalado?

1. Cuando el tráfico varía significativamente con el tiempo
2. Solo para desarrollo
3. Nunca: la capacidad fija es mejor
4. Solo para entrenamiento

Pregunta 14

¿Cuál es una estrategia clave de optimización de costos?

1. Usar modelos más pequeños/cuantizados para consultas simples
2. Usar siempre el modelo más grande
3. Deshabilitar la caché
4. Ejecutar más servidores

Pregunta 15

¿Cuál es la compensación con tamaños de lote más grandes?

1. Mayor rendimiento pero mayor latencia por solicitud
2. Menor rendimiento y menor latencia
3. Sin compensación
4. Solo afecta la memoria

Pregunta 16

¿Para qué es útil el almacenamiento en caché de respuestas?

1. Consultas idénticas o similares repetidas
2. Todas las consultas por igual
3. Solo consultas por primera vez
4. Datos de entrenamiento

Pregunta 17

¿Qué es la limitación de tasa?

1. Limitar solicitudes por usuario/tiempo para evitar sobrecarga
2. Limitar el tamaño del modelo
3. Limitar la longitud de salida
4. Limitar las épocas de entrenamiento

Pregunta 18

¿Qué métrica mide mejor la experiencia del usuario?

1. Tiempo hasta el primer token (TTFT)
2. Rendimiento total
3. Utilización de GPU
4. Uso de memoria

Pregunta 19

¿Cuál es el impacto típico en la precisión de INT8?

1. Mínimo (degradación de ~1%)
2. Significativo (>10%)
3. Ninguno en absoluto
4. Mejora la precisión

Pregunta 20

¿Cuál es el beneficio de la inferencia asíncrona?

1. No bloqueante, permite procesamiento concurrente
2. Mejor precisión
3. Código más simple
4. Menor memoria

Pregunta 21

¿Qué soporta Triton Inference Server?

1. Múltiples frameworks de modelos y ensamblaje de modelos
2. Solo PyTorch
3. Solo TensorFlow
4. Solo ONNX

Pregunta 22

¿Cuándo usar respuestas en streaming?

1. Salidas largas donde los usuarios se benefician al ver resultados parciales
2. Solo salidas cortas
3. Nunca: esperar a que esté completo
4. Solo para depuración

Pregunta 23

¿Qué es el calentamiento de modelos?

1. Ejecutar inferencia antes de producción para optimizar cachés
2. Entrenar con datos calientes
3. Gestión de temperatura de GPU
4. Incremento gradual de la tasa de aprendizaje

Pregunta 24

¿Qué mide "tokens por segundo"?

1. Velocidad de generación/rendimiento
2. Precisión
3. Uso de memoria
4. Tamaño del modelo

Pregunta 25

¿Por qué usar ONNX para el despliegue?

1. Formato independiente del framework con amplio soporte de ejecución
2. Solo funciona con PyTorch
3. Mejor entrenamiento
4. Modelos más pequeños

Pregunta 26

¿Qué es prefill vs decode en la inferencia LLM?

1. Prefill procesa el prompt (paralelo), decode genera tokens (secuencial)
2. Ambos son lo mismo
3. Prefill es entrenamiento, decode es inferencia
4. Solo se usa en entrenamiento

Pregunta 27

¿Qué limita la memoria de GPU durante la inferencia?

1. Tamaño del modelo y caché KV para el contexto
2. Solo el tamaño del modelo
3. Solo el tamaño del lote
4. Gradientes de entrenamiento

Pregunta 28

¿Cuál es el beneficio de la destilación de modelos para el despliegue?

1. Modelo más pequeño y rápido que imita a uno más grande
2. Mejor precisión
3. Modelo más grande
4. Más parámetros

Pregunta 29

¿Qué es un health check en el despliegue de LLM?

1. Punto final para verificar que el servicio funciona correctamente
2. Prueba de precisión del modelo
3. Verificación de temperatura de GPU
4. Validación de entrenamiento

Pregunta 30

¿Qué métrica indica la eficiencia de la GPU?

1. Porcentaje de utilización de GPU durante la inferencia
2. Precisión del modelo
3. Número de parámetros
4. Tiempo de entrenamiento

---

Puntaje aprobatorio: 24/30 (80%)

← Capítulo 3Módulo 7 →