Capítulo 1: Benchmarks Comuns

Principais Benchmarks

Benchmark	Mede	Tarefas
MMLU	Conhecimento	57 disciplinas
HellaSwag	Senso comum	Completar sentenças
HumanEval	Código	Funções em Python
GSM8K	Matemática	Problemas de texto
TruthfulQA	Veracidade	Precisão factual

MMLU (Massive Multitask Language Understanding)

57 disciplinas do nível fundamental ao profissional:

• STEM, humanidades, ciências sociais
• Questões de múltipla escolha
• Testa amplitude de conhecimento

HumanEval

Benchmark de geração de código:

def check_solution(problem, solution):
    """
    Run test cases against generated code
    """
    test_results = run_tests(solution, problem.test_cases)
    return all(test_results)

# Metric: pass@k - probability of passing with k attempts

Limitações dos Benchmarks

• Contaminação de dados: Treinamento com dados de teste
• Gaming: Otimização para benchmarks
• Escopo limitado: Pode não refletir desempenho no mundo real

---

← Visão GeralCapítulo 2 →