Quiz: Módulo 10 - Avaliação & Benchmarks

Pergunta 1

O que o MMLU mede?

1. Conhecimento em 57 disciplinas acadêmicas
2. Geração de código
3. Tradução de idiomas
4. Reconhecimento de imagens

Pergunta 2

Para que serve o HumanEval?

1. Avaliar a capacidade de geração de código
2. Coleta de preferências humanas
3. Avaliação da qualidade de escrita
4. Testar chatbots

Pergunta 3

O que é a métrica pass@k?

1. Probabilidade de código correto em k tentativas
2. Tentativas de senha
3. Limite de nota para aprovação
4. Limite de taxa da API

Pergunta 4

O que é red teaming?

1. Teste adversarial para encontrar vulnerabilidades
2. Exercício de integração de equipe
3. Teste com código de cores
4. Benchmark de desempenho

Pergunta 5

O que é contaminação de dados em benchmarks?

1. Modelo treinado com dados do teste de benchmark
2. Dados de treinamento corrompidos
3. Dados de avaliação ruidosos
4. Vazamento de privacidade de dados

Pergunta 6

O que o HellaSwag testa?

1. Raciocínio de senso comum via conclusão de sentenças
2. Habilidade matemática
3. Geração de código
4. Qualidade de tradução

Pergunta 7

Por que usar LLM como avaliador?

1. Avaliação escalável sem rotuladores humanos
2. Mais preciso que humanos
3. Exigido por regulamentações
4. Treinamento mais rápido

Pergunta 8

Para que serve o TruthfulQA?

1. Testar precisão factual e evitar afirmações falsas
2. Testar velocidade de resposta a perguntas
3. Testar habilidade de programação
4. Testar tradução

Pergunta 9

O que é prompt injection?

1. Esconder instruções maliciosas na entrada
2. SQL injection para LLMs
3. Adicionar prompts ao treinamento
4. Técnica de prompt engineering

Pergunta 10

O que é divulgação responsável?

1. Reportar vulnerabilidades de forma privada antes da divulgação pública
2. Publicar todas as descobertas imediatamente
3. Nunca relatar problemas
4. Divulgação para concorrentes

Perguntas 11-30

(Abrangendo: GSM8K, WinoGrande, ARC, suítes de benchmark, frameworks de avaliação, A/B testing, significância estatística, confiabilidade entre avaliadores, calibração, perplexidade, BLEU/ROUGE, estudos de preferência humana, benchmarks de segurança, avaliação multilíngue, avaliação específica de domínio, manipulação de leaderboard, custos de avaliação, estratégias de amostragem, pipelines de avaliação, avaliação contínua)

Pergunta 11

O que o GSM8K testa?

1. Problemas matemáticos de enunciados do ensino fundamental
2. Gramática
3. Ortografia
4. Memorização

Pergunta 12

O que é perplexidade?

1. Mede o quão bem o modelo prevê o texto (quanto menor, melhor)
2. Confusão do modelo
3. Dificuldade de treinamento
4. Complexidade do dataset

Pergunta 13

Para que serve o BLEU?

1. Avaliar similaridade de texto (geralmente tradução)
2. Detecção de cor
3. Medição de velocidade
4. Teste de segurança

Pergunta 14

O que é confiabilidade entre avaliadores?

1. Acordo entre avaliadores humanos
2. Consistência do modelo
3. Confiabilidade da API
4. Estabilidade do benchmark

Pergunta 15

O que é calibração na avaliação de LLM?

1. Se a confiança corresponde à precisão real
2. Calibração de hardware
3. Inicialização de pesos
4. Ajuste da taxa de aprendizado

Pergunta 16

Por que a avaliação humana é o padrão ouro?

1. Captura nuances que métricas automatizadas não percebem
2. Opção mais barata
3. Método mais rápido
4. Mais escalável

Pergunta 17

O que é saturação de benchmark?

1. Modelos atingindo pontuações quase perfeitas, dificultando diferenciação
2. Benchmarks em excesso
3. Overflow de dados
4. Limites de memória

Pergunta 18

O que é WinoGrande?

1. Benchmark de raciocínio de senso comum usando resolução de pronomes
2. Dataset de classificação de vinhos
3. Benchmark de imagem
4. Benchmark de áudio

Pergunta 19

O que torna a avaliação cara?

1. Custos computacionais e tempo de anotação humana
2. Apenas armazenamento de dados
3. Licenças de benchmark
4. Custos de software

Pergunta 20

O que é avaliação contínua?

1. Avaliação contínua à medida que o modelo é atualizado
2. Monitoramento 24/7
3. Loops infinitos
4. Avaliação em streaming

Pergunta 21

Para que serve o A/B testing em LLMs?

1. Comparar duas versões com usuários reais
2. Testar em ordem alfabética
3. Classificação binária
4. Reconhecimento de alfabeto

Pergunta 22

O que é significância estatística na avaliação?

1. Confiança de que a diferença não é devido ao acaso
2. Modelagem estatística
3. Nível de significância
4. Cálculo de p-valor

Pergunta 23

O que é pipeline de avaliação?

1. Sistema automatizado para executar avaliações
2. Pipeline de dados
3. Pipeline de treinamento
4. Pipeline de deploy

Pergunta 24

O que é manipulação de leaderboard?

1. Otimizar especificamente para pontuações de benchmark
2. Jogar videogames
3. IA para jogos competitivos
4. Gamificação

Pergunta 25

Para que serve o ROUGE?

1. Avaliar qualidade de sumarização
2. Detecção de cor
3. Detecção de erros
4. Teste de velocidade

Pergunta 26

Qual é o desafio da avaliação multilíngue?

1. Benchmarks e padrões de qualidade diferentes entre idiomas
2. Apenas tradução
3. Codificação de caracteres
4. Renderização de fonte

Pergunta 27

O que é avaliação específica de domínio?

1. Testar em áreas especializadas (médico, jurídico, etc.)
2. Teste de domínio web
3. Domínio de rede
4. Domínio matemático

Pergunta 28

O que é estratégia de amostragem na avaliação?

1. Como selecionar exemplos de teste
2. Temperature sampling
3. Top-p sampling
4. Coleta de dados

Pergunta 29

O que é o benchmark ARC?

1. AI2 Reasoning Challenge - questões de ciências
2. Dataset de soldagem a arco
3. Benchmark de arquitetura
4. Teste aritmético

Pergunta 30

Qual é o desafio na coleta de dados de preferência?

1. Subjetividade e discordância entre anotadores
2. Tamanho de armazenamento
3. Compatibilidade de formato
4. Apenas privacidade

---

Nota de aprovação: 24/30 (80%)

← Capítulo 3Módulo 11 →