Quiz: QLoRA e Quantização
30 questões sobre QLoRA, quantização em 4 bits e treinamento eficiente em memória.
Questão 1
O que o QLoRA combina?
A) Quantização e fine-tuning completo
B) Quantização em 4 bits e LoRA
C) Treinamento em 8 bits e 16 bits
D) Múltiplos modelos
Mostrar Resposta
Resposta correta: B
O QLoRA combina a quantização em 4 bits do modelo base com adaptadores LoRA para fine-tuning eficiente.
Questão 2
Qual formato de quantização o QLoRA usa por padrão?
A) INT8
B) FP4
C) NF4 (4-bit NormalFloat)
D) Binário
Mostrar Resposta
Resposta correta: C
O QLoRA utiliza NF4 (4-bit NormalFloat), projetado para pesos com distribuição normal.
Questão 3
Quanta VRAM o QLoRA precisa para um modelo de 7B?
A) ~28GB
B) ~14GB
C) ~6GB
D) ~1GB
Mostrar Resposta
Resposta correta: C
O QLoRA requer aproximadamente 6GB de VRAM para um modelo com 7 bilhões de parâmetros.
Questão 4
O que é double quantization?
A) Executar a quantização duas vezes
B) Quantizar as constantes de quantização
C) Usar duas GPUs
D) Treinamento em dupla precisão
Mostrar Resposta
Resposta correta: B
Double quantization quantiza as próprias constantes de quantização, economizando memória adicional.
Questão 5
Qual biblioteca fornece BitsAndBytesConfig?
A) peft
B) transformers (usando bitsandbytes)
C) torch
D) accelerate
Mostrar Resposta
Resposta correta: B
BitsAndBytesConfig é fornecido via transformers, que utiliza a biblioteca bitsandbytes.
Questões 6-30
(Questões adicionais abordando: prepare_model_for_kbit_training, gradient checkpointing, gradient accumulation, paged optimizers, NF4 vs FP4, cálculos de memória, compute dtype, combinações de otimização, resolução de erros OOM e detalhes práticos de implementação)
Mostrar Todas as Respostas Restantes
Q6-Q30 abordam:
- Finalidade do prepare_model_for_kbit_training (B: prepara o modelo quantizado para treinamento)
- Trade-off do gradient checkpointing (B: computação por memória)
- Cálculo do batch size efetivo (C: batch_size × accumulation_steps)
- Compute dtype recomendado (C: bfloat16)
- Economia do double quantization (B: ~11%)
- Finalidade do paged optimizer (B: pagina para CPU sob pressão de memória)
- Qualidade do QLoRA vs fine-tuning completo (B: ~98%)
- Vantagem do NF4 (B: ideal para pesos com distribuição normal)
- Redução de memória do QLoRA vs LoRA (C: ~60%)
- Quando usar QLoRA (B: memória de GPU limitada)
Resultados
| Pontuação | Nível |
|---|---|
| 27-30 | Excelente |
| 21-26 | Bom |
| 15-20 | Médio |
| Abaixo de 15 | Revisão necessária |