Capítulo 1: Benchmarks Comunes

Benchmarks Clave

Benchmark	Mide	Tareas
MMLU	Conocimiento	57 materias
HellaSwag	Sentido común	Completar oraciones
HumanEval	Código	Funciones en Python
GSM8K	Matemáticas	Problemas de texto
TruthfulQA	Veracidad	Precisión factual

MMLU (Massive Multitask Language Understanding)

57 materias desde nivel primario hasta profesional:

• STEM, humanidades, ciencias sociales
• Preguntas de opción múltiple
• Evalúa amplitud de conocimiento

HumanEval

Benchmark de generación de código:

def check_solution(problem, solution):
    """
    Run test cases against generated code
    """
    test_results = run_tests(solution, problem.test_cases)
    return all(test_results)

# Metric: pass@k - probability of passing with k attempts

Limitaciones de los Benchmarks

• Contaminación de datos: Entrenamiento con datos de prueba
• Gaming: Optimización para benchmarks
• Alcance limitado: Puede no reflejar el desempeño en el mundo real

---

← Descripción generalCapítulo 2 →