Módulo 5: QLoRA e Quantização
Treinando Modelos Grandes em Hardware de Consumidor
Este módulo aborda o QLoRA (Quantized LoRA), que combina quantização de 4 bits com LoRA para permitir o fine-tuning de modelos grandes em GPUs de consumidor com perda mínima de qualidade.
O que você vai aprender
- Entender o QLoRA e como ele possibilita eficiência extrema de memória
- Dominar a quantização de 4 bits usando a biblioteca bitsandbytes
- Implementar técnicas de treinamento eficientes em memória
- Otimizar o treinamento para hardware limitado
Estrutura do Módulo
| Capítulo | Tópico | Duração |
|---|---|---|
| Capítulo 1 | O que é QLoRA? | 25 min |
| Capítulo 2 | Quantização de 4 bits | 30 min |
| Capítulo 3 | Treinamento Eficiente em Memória | 30 min |
| Quiz | Quiz do Módulo 5 | 30 min |
Conceitos-Chave
- QLoRA: LoRA quantizado usando o formato NF4 de 4 bits
- NF4: Formato de quantização NormalFloat de 4 bits
- Double Quantization: Quantização dos próprios constantes de quantização
- Gradient Checkpointing: Troca de computação por memória
Tempo estimado: 2 horas