Quiz: Fine-Tuning Completo
Teste seu conhecimento sobre fine-tuning completo, requisitos computacionais e esquecimento catastrófico.
30 questões - Clique em cada pergunta para revelar a resposta correta.
Questão 1
O que significa "fine-tuning completo"?
A) Treinar apenas a primeira camada
B) Atualizar todos os parâmetros do modelo durante o treinamento
C) Treinar por um dia inteiro
D) Usar todas as GPUs disponíveis
Mostrar resposta
Resposta correta: B
Fine-tuning completo significa atualizar todos os parâmetros treináveis do modelo durante o processo de treinamento, ao contrário dos métodos PEFT, que atualizam apenas um subconjunto.
Questão 2
Quais são os quatro principais componentes que consomem memória da GPU durante o treinamento?
A) CPU, RAM, SSD, GPU
B) Pesos do modelo, gradientes, estados do otimizador, ativações
C) Entrada, saída, loss, acurácia
D) Forward, backward, update, save
Mostrar resposta
Resposta correta: B
Os quatro principais consumidores de memória são: pesos do modelo, gradientes (mesmo tamanho dos pesos), estados do otimizador (AdamW armazena 2 estados por parâmetro) e ativações (valores intermediários para backpropagation).
Questão 3
Quanta memória o otimizador AdamW adiciona por parâmetro (em float32)?
A) 4 bytes
B) 8 bytes (2 estados × 4 bytes)
C) 2 bytes
D) 16 bytes
Mostrar resposta
Resposta correta: B
AdamW armazena dois estados por parâmetro (momentum e variância), cada um em float32 (4 bytes), totalizando 8 bytes por parâmetro.
Questão 4
Qual é a memória aproximada de GPU necessária para fine-tuning completo de um modelo 7B com bf16?
A) 7 GB
B) 14 GB
C) 60-80 GB
D) 280 GB
Mostrar resposta
Resposta correta: C
Um modelo 7B requer aproximadamente 60-80 GB para fine-tuning completo com bf16, incluindo pesos (14GB), gradientes (14GB), estados do otimizador (56GB em fp32) e ativações.
Questão 5
Por que bfloat16 é frequentemente preferido ao invés de float16 para treinamento?
A) É mais rápido
B) Usa menos memória
C) Tem o mesmo range que float32, reduzindo risco de overflow
D) É obrigatório em todas as GPUs
Mostrar resposta
Resposta correta: C
BFloat16 mantém o mesmo range de expoente que float32 (apenas com menos precisão), tornando-o mais estável para treinamento. Float16 tem um range mais estreito e pode causar overflow/underflow.
Questão 6
O que o gradient checkpointing faz?
A) Salva checkpoints do modelo
B) Troca computação por memória ao recomputar ativações
C) Clipa gradientes grandes
D) Acumula gradientes ao longo dos batches
Mostrar resposta
Resposta correta: B
Gradient checkpointing economiza memória ao não armazenar todas as ativações durante o forward pass. Em vez disso, as ativações são recomputadas no backward pass, trocando computação extra por redução de memória.
Questão 7
Para que serve a acumulação de gradientes (gradient accumulation)?
A) Prevenir explosão de gradientes
B) Simular batches maiores com memória limitada
C) Armazenar gradientes para análise posterior
D) Reduzir o tempo de treinamento
Mostrar resposta
Resposta correta: B
A acumulação de gradientes permite simular batches efetivos maiores acumulando gradientes ao longo de múltiplos forward passes de batches pequenos antes de atualizar os pesos.
Questão 8
Qual é o range típico de learning rate para fine-tuning completo?
A) 1e-2 a 1e-3
B) 1e-5 a 5e-5
C) 1e-7 a 1e-8
D) 1.0
Mostrar resposta
Resposta correta: B
Fine-tuning completo normalmente utiliza learning rates entre 1e-5 e 5e-5—menores que métodos PEFT porque mais parâmetros estão sendo atualizados.
Questão 9
O que é esquecimento catastrófico?
A) Quando dados de treinamento são perdidos
B) Quando um modelo perde conhecimento previamente aprendido após treinar em novos dados
C) Quando o modelo fica muito grande
D) Quando os gradientes explodem
Mostrar resposta
Resposta correta: B
Esquecimento catastrófico ocorre quando o desempenho de uma rede neural em tarefas previamente aprendidas degrada após ser treinada em novos dados.
Questão 10
Por que métodos PEFT ajudam a evitar esquecimento catastrófico?
A) Usam mais dados
B) Mantêm os pesos do modelo base congelados
C) Treinam por mais épocas
D) Usam learning rates mais altos
Mostrar resposta
Resposta correta: B
Métodos PEFT mantêm os pesos do modelo base congelados, preservando o conhecimento original. Apenas pequenos parâmetros de adaptadores são treinados.
Questão 11
O que é weight decay?
A) Pesos do modelo diminuindo com o tempo
B) Técnica de regularização que penaliza pesos grandes
C) Degradação da memória da GPU
D) Redução do learning rate
Mostrar resposta
Resposta correta: B
Weight decay é uma técnica de regularização que adiciona uma penalidade para valores grandes de pesos, ajudando a evitar overfitting e manter a generalização.
Questão 12
O que é warmup no treinamento?
A) Esperar a GPU atingir temperatura ideal
B) Aumentar gradualmente o learning rate no início do treinamento
C) Pré-carregar dados na memória
D) Rodar um batch de teste pequeno primeiro
Mostrar resposta
Resposta correta: B
Warmup aumenta gradualmente o learning rate de um valor pequeno até o valor alvo, ajudando a estabilizar o treinamento nas fases iniciais quando os gradientes podem ser instáveis.
Questão 13
O que é DeepSpeed ZeRO Stage 2?
A) Sem otimização
B) Particiona apenas estados do otimizador
C) Particiona estados do otimizador E gradientes
D) Particiona tudo, incluindo pesos
Mostrar resposta
Resposta correta: C
ZeRO Stage 2 particiona tanto os estados do otimizador quanto os gradientes entre as GPUs, reduzindo a memória por GPU. O Stage 3 adiciona particionamento dos pesos.
Questão 14
Qual otimizador usa menos memória?
A) AdamW
B) Adam 8-bit
C) Adafactor
D) SGD
Mostrar resposta
Resposta correta: D
SGD usa menos memória pois não armazena estados de momentum ou variância (embora Adam 8-bit e Adafactor também reduzam significativamente a memória em comparação ao AdamW).
Questão 15
O que é treinamento de precisão mista (mixed precision training)?
A) Treinar em múltiplas GPUs
B) Usar fp16/bf16 e fp32 durante o treinamento
C) Treinar em múltiplos conjuntos de dados
D) Usar diferentes learning rates
Mostrar resposta
Resposta correta: B
Treinamento de precisão mista utiliza precisão menor (fp16/bf16) para a maioria das operações, mantendo operações críticas em fp32 para estabilidade.
Questão 16
O que torch.cuda.memory_allocated() mostra?
A) Memória total da GPU
B) Memória de GPU atualmente alocada por tensores
C) Memória livre da GPU
D) Uso de memória da CPU
Mostrar resposta
Resposta correta: B
torch.cuda.memory_allocated() retorna a quantidade de memória de GPU atualmente ocupada por tensores.
Questão 17
Qual é uma boa estratégia para reduzir o esquecimento catastrófico em fine-tuning completo?
A) Learning rate mais alto
B) Mais épocas de treinamento
C) Mistura de dados com dados de instrução geral
D) Batches maiores
Mostrar resposta
Resposta correta: C
Misturar seus dados específicos de fine-tuning com dados de instrução geral (data replay) ajuda a manter as capacidades gerais do modelo.
Questão 18
Qual é o batch size efetivo com batch_size=2 e gradient_accumulation_steps=8?
A) 2
B) 8
C) 16
D) 10
Mostrar resposta
Resposta correta: C
Batch size efetivo = per_device_batch_size × gradient_accumulation_steps = 2 × 8 = 16.
Questão 19
Ao monitorar o treinamento, o que pode indicar overfitting?
A) Training loss e validation loss ambos diminuindo
B) Training loss diminuindo enquanto validation loss aumenta
C) Ambas as losses estáveis
D) Training loss aumentando
Mostrar resposta
Resposta correta: B
Quando o training loss continua diminuindo mas o validation loss começa a aumentar, indica que o modelo está sofrendo overfitting nos dados de treinamento.
Questão 20
O que é early stopping?
A) Parar o treinamento antes de começar
B) Parar o treinamento quando a performance de validação para de melhorar
C) Parar após uma época
D) Parar quando a GPU superaquece
Mostrar resposta
Resposta correta: B
Early stopping monitora a performance de validação e interrompe o treinamento quando ela para de melhorar, prevenindo overfitting.
Questão 21
Aproximadamente quanto as spot instances podem economizar em custos de treinamento na nuvem?
A) 10%
B) 30%
C) 60-70%
D) 90%
Mostrar resposta
Resposta correta: C
Spot instances normalmente custam 60-70% menos que instâncias sob demanda, embora possam ser interrompidas.
Questão 22
O que acontece se o learning rate for muito alto?
A) O treinamento fica muito lento
B) O modelo pode divergir ou perder conhecimento pré-treinado
C) O modelo converge mais rápido
D) Sem efeito
Mostrar resposta
Resposta correta: B
Um learning rate muito alto pode fazer o modelo divergir (loss explode) ou causar atualizações tão grandes que o conhecimento pré-treinado é destruído.
Questão 23
Qual o benefício de salvar checkpoints durante o treinamento?
A) Reduz o uso de memória
B) Permite recuperação e seleção do melhor modelo
C) Acelera o treinamento
D) Reduz o tamanho do dataset
Mostrar resposta
Resposta correta: B
Salvar checkpoints permite recuperar de falhas, selecionar o checkpoint de melhor desempenho e continuar o treinamento de qualquer ponto.
Questão 24
Qual formato de precisão usa 2 bytes por parâmetro?
A) float32
B) bfloat16/float16
C) int8
D) int4
Mostrar resposta
Resposta correta: B
Tanto bfloat16 quanto float16 usam 2 bytes (16 bits) por parâmetro, metade dos 4 bytes do float32.
Questão 25
O que é retenção de capacidade no contexto de avaliação de fine-tuning?
A) Quanto o modelo lembra durante uma sessão
B) A porcentagem da performance de benchmark de base mantida após o fine-tuning
C) Quantos parâmetros são mantidos
D) Memorização dos dados de treinamento
Mostrar resposta
Resposta correta: B
Retenção de capacidade mede qual porcentagem da performance do modelo base em benchmarks gerais é mantida após o fine-tuning.
Questão 26
Por que você escolheria fine-tuning completo ao invés de PEFT?
A) É sempre melhor
B) Potencial máximo de customização e teto de qualidade
C) Usa menos memória
D) É mais rápido para treinar
Mostrar resposta
Resposta correta: B
Fine-tuning completo é escolhido quando se precisa de potencial máximo de customização e há recursos suficientes, pois possui o maior teto de qualidade.
Questão 27
Qual é a fórmula para tempo aproximado de treinamento?
A) Tamanho do dataset × memória da GPU
B) (Tamanho do dataset × épocas) / (batch size × throughput)
C) Learning rate × épocas
D) Tamanho do modelo / quantidade de GPUs
Mostrar resposta
Resposta correta: B
Tempo de treinamento ≈ (Total de tokens ou amostras de treinamento × épocas) / (batch size efetivo × throughput em tokens/amostras por segundo).
Questão 28
O que é distribution shift em fine-tuning?
A) Mudar para uma nova GPU
B) Quando os dados de fine-tuning têm padrões diferentes dos dados de pré-treinamento
C) Trocar o otimizador
D) Ajustar o batch size
Mostrar resposta
Resposta correta: B
Distribution shift refere-se à diferença entre a distribuição dos dados de pré-treinamento (ampla, geral) e a distribuição dos dados de fine-tuning (especializada, restrita).
Questão 29
Qual GPU você precisaria para fine-tuning completo de um modelo 7B com otimizações de eficiência?
A) RTX 3090 (24GB)
B) A100-40GB
C) A100-80GB
D) H100
Mostrar resposta
Resposta correta: C
Mesmo com otimizações (bf16, gradient checkpointing), um modelo 7B requer 60-80GB para fine-tuning completo, tornando a A100-80GB o mínimo adequado em uma única GPU.
Questão 30
Qual é o principal trade-off do gradient checkpointing?
A) Qualidade vs velocidade
B) Memória vs computação (mais computação, menos memória)
C) Velocidade vs qualidade
D) Tamanho do dataset vs épocas
Mostrar resposta
Resposta correta: B
Gradient checkpointing troca computação por memória—usa mais computação (recomputando ativações) para reduzir o uso de memória.
Resultados
| Pontuação | Nível |
|---|---|
| 27-30 | Excelente - Forte entendimento de fine-tuning completo! |
| 21-26 | Bom - Revise a seção de requisitos computacionais |
| 15-20 | Médio - Revise todos os capítulos |
| Abaixo de 15 | Necessita revisão abrangente |