Quiz: Avaliação e Mesclagem
30 questões sobre avaliação de modelos, mesclagem e ablação.
Questão 1
O que a perplexidade mede?
A) Velocidade do modelo
B) Quão bem um modelo prevê texto
C) Tamanho do modelo
D) Tempo de treinamento
Mostrar resposta
Resposta correta: B
A perplexidade mede quão bem um modelo probabilístico prevê uma amostra—quanto menor, melhor.
Questão 2
O que é TIES merging?
A) Um método de treinamento
B) Uma técnica de mesclagem para resolução de conflitos
C) Um esquema de tokenização
D) Um otimizador
Mostrar resposta
Resposta correta: B
TIES (Trim, Elect Sign & Merge) resolve conflitos entre parâmetros de modelos durante a mesclagem.
Questão 3
O que faz o model.merge_and_unload()?
A) Salva o modelo
B) Mescla LoRA ao modelo base e remove o adaptador
C) Carrega um novo modelo
D) Remove da GPU
Mostrar resposta
Resposta correta: B
merge_and_unload() integra os pesos do LoRA ao modelo base, removendo a sobrecarga do adaptador.
Questão 4
O que é um estudo de ablação?
A) Remover o modelo
B) Testar sistematicamente componentes para entender sua contribuição
C) Um tipo de função de perda
D) Compressão de modelo
Mostrar resposta
Resposta correta: B
Estudos de ablação variam sistematicamente componentes para entender o que contribui para o desempenho.
Questão 5
Qual ferramenta é usada para benchmarking abrangente de LLMs?
A) PyTorch
B) lm-evaluation-harness
C) TensorFlow
D) NumPy
Mostrar resposta
Resposta correta: B
lm-evaluation-harness da EleutherAI oferece avaliação de benchmark abrangente para LLMs.
(As questões 6-30 abordam tópicos adicionais)