Quiz: Módulo 10 - Evaluación y Benchmarks

Pregunta 1

¿Qué mide MMLU?

1. Conocimiento en 57 materias académicas
2. Generación de código
3. Traducción de idiomas
4. Reconocimiento de imágenes

Pregunta 2

¿Para qué sirve HumanEval?

1. Evaluar la capacidad de generación de código
2. Recopilación de preferencias humanas
3. Evaluar la calidad de la escritura
4. Probar chatbots

Pregunta 3

¿Qué es la métrica pass@k?

1. Probabilidad de código correcto en k intentos
2. Intentos de contraseña
3. Umbral de calificación aprobatoria
4. Límite de tasa de API

Pregunta 4

¿Qué es red teaming?

1. Pruebas adversariales para encontrar vulnerabilidades
2. Ejercicio de trabajo en equipo
3. Pruebas codificadas por colores
4. Benchmarking de rendimiento

Pregunta 5

¿Qué es la contaminación de datos en benchmarks?

1. Modelo entrenado con datos de prueba del benchmark
2. Datos de entrenamiento corruptos
3. Datos de evaluación ruidosos
4. Violación de privacidad de datos

Pregunta 6

¿Qué evalúa HellaSwag?

1. Razonamiento de sentido común mediante finalización de oraciones
2. Capacidad matemática
3. Generación de código
4. Calidad de traducción

Pregunta 7

¿Por qué usar un LLM como juez?

1. Evaluación escalable sin etiquetadores humanos
2. Más preciso que los humanos
3. Requerido por regulaciones
4. Entrenamiento más rápido

Pregunta 8

¿Para qué sirve TruthfulQA?

1. Evaluar precisión factual y evitar afirmaciones falsas
2. Evaluar la velocidad de respuesta a preguntas
3. Evaluar capacidad de programación
4. Evaluar traducción

Pregunta 9

¿Qué es prompt injection?

1. Ocultar instrucciones maliciosas en la entrada
2. Inyección SQL para LLMs
3. Agregar prompts al entrenamiento
4. Técnica de prompt engineering

Pregunta 10

¿Qué es la divulgación responsable?

1. Reportar vulnerabilidades de forma privada antes de divulgarlas públicamente
2. Publicar todos los hallazgos de inmediato
3. Nunca reportar problemas
4. Divulgación a competidores

Preguntas 11-30

(Incluye: GSM8K, WinoGrande, ARC, conjuntos de benchmarks, marcos de evaluación, pruebas A/B, significancia estadística, confiabilidad entre evaluadores, calibración, perplexity, BLEU/ROUGE, estudios de preferencia humana, benchmarks de seguridad, evaluación multilingüe, evaluación específica de dominio, manipulación de rankings, costos de evaluación, estrategias de muestreo, pipelines de evaluación, evaluación continua)

Pregunta 11

¿Qué evalúa GSM8K?

1. Problemas matemáticos de primaria en formato de texto
2. Gramática
3. Ortografía
4. Memorización

Pregunta 12

¿Qué es perplexity?

1. Medida de qué tan bien el modelo predice texto (menor es mejor)
2. Confusión del modelo
3. Dificultad de entrenamiento
4. Complejidad del conjunto de datos

Pregunta 13

¿Para qué se utiliza BLEU?

1. Evaluar la similitud de texto (a menudo traducción)
2. Detección de color
3. Medición de velocidad
4. Pruebas de seguridad

Pregunta 14

¿Qué es la confiabilidad entre evaluadores?

1. Acuerdo entre evaluadores humanos
2. Consistencia del modelo
3. Confiabilidad de la API
4. Estabilidad del benchmark

Pregunta 15

¿Qué es la calibración en la evaluación de LLM?

1. Si la confianza coincide con la precisión real
2. Calibración de hardware
3. Inicialización de pesos
4. Ajuste de tasa de aprendizaje

Pregunta 16

¿Por qué la evaluación humana es el estándar de oro?

1. Captura matices que las métricas automáticas no detectan
2. Opción más económica
3. Método más rápido
4. Más escalable

Pregunta 17

¿Qué es la saturación de benchmarks?

1. Los modelos alcanzan puntuaciones casi perfectas, limitando la diferenciación
2. Demasiados benchmarks
3. Desbordamiento de datos
4. Límites de memoria

Pregunta 18

¿Qué es WinoGrande?

1. Benchmark de razonamiento de sentido común usando resolución de pronombres
2. Conjunto de datos de clasificación de vinos
3. Benchmark de imágenes
4. Benchmark de audio

Pregunta 19

¿Qué hace que la evaluación sea costosa?

1. Costos computacionales y tiempo de anotación humana
2. Solo almacenamiento de datos
3. Licencias de benchmarks
4. Costos de software

Pregunta 20

¿Qué es la evaluación continua?

1. Evaluación continua a medida que se actualiza el modelo
2. Monitoreo 24/7
3. Bucles infinitos
4. Evaluación en streaming

Pregunta 21

¿Para qué sirve el A/B testing en LLMs?

1. Comparar dos versiones con usuarios reales
2. Pruebas alfabéticas
3. Clasificación binaria
4. Reconocimiento de letras

Pregunta 22

¿Qué es la significancia estadística en evaluación?

1. Confianza en que la diferencia no se debe al azar
2. Modelado estadístico
3. Nivel de significancia
4. Cálculo de p-valor

Pregunta 23

¿Qué es un pipeline de evaluación?

1. Sistema automatizado para ejecutar evaluaciones
2. Pipeline de datos
3. Pipeline de entrenamiento
4. Pipeline de despliegue

Pregunta 24

¿Qué es manipulación de rankings (leaderboard gaming)?

1. Optimizar específicamente para las puntuaciones de benchmarks
2. Jugar videojuegos
3. IA de juegos competitivos
4. Gamificación

Pregunta 25

¿Para qué se utiliza ROUGE?

1. Evaluar la calidad de resúmenes
2. Detección de color
3. Detección de errores
4. Pruebas de velocidad

Pregunta 26

¿Cuál es el desafío de la evaluación multilingüe?

1. Diferentes benchmarks y estándares de calidad según el idioma
2. Solo traducción
3. Codificación de caracteres
4. Renderizado de fuentes

Pregunta 27

¿Qué es la evaluación específica de dominio?

1. Pruebas en campos especializados (médico, legal, etc.)
2. Pruebas de dominio web
3. Dominio de red
4. Dominio matemático

Pregunta 28

¿Qué es una estrategia de muestreo en evaluación?

1. Cómo seleccionar los ejemplos de prueba
2. Temperature sampling
3. Top-p sampling
4. Recolección de datos

Pregunta 29

¿Qué es el benchmark ARC?

1. AI2 Reasoning Challenge - preguntas de ciencias
2. Conjunto de datos de soldadura por arco
3. Benchmark de arquitectura
4. Prueba de aritmética

Pregunta 30

¿Cuál es el desafío en la recopilación de datos de preferencia?

1. Subjetividad y desacuerdo entre anotadores
2. Tamaño de almacenamiento
3. Compatibilidad de formato
4. Solo privacidad

---

Puntaje de aprobación: 24/30 (80%)

← Capítulo 3Módulo 11 →