Module 5 : QLoRA et Quantification
Entraînement de Grands Modèles sur du Matériel Grand Public
Ce module couvre QLoRA (LoRA Quantifié), qui combine la quantification en 4 bits avec LoRA pour permettre le fine-tuning de grands modèles sur des GPU grand public avec une perte de qualité minimale.
Ce que vous apprendrez
- Comprendre QLoRA et comment il permet une efficacité mémoire extrême
- Maîtriser la quantification en 4 bits en utilisant la bibliothèque bitsandbytes
- Mettre en œuvre des techniques d'entraînement économes en mémoire
- Optimiser l'entraînement pour un matériel limité
Structure du module
| Chapitre | Sujet | Durée |
|---|---|---|
| Chapitre 1 | Qu'est-ce que QLoRA ? | 25 min |
| Chapitre 2 | Quantification en 4 bits | 30 min |
| Chapitre 3 | Entraînement Économe en Mémoire | 30 min |
| Quiz | Quiz Module 5 | 30 min |
Concepts Clés
- QLoRA : LoRA Quantifié utilisant le format NF4 en 4 bits
- NF4 : Format de quantification NormalFloat en 4 bits
- Double Quantification : Quantification des constantes de quantification
- Gradient Checkpointing : Échanger du calcul contre de la mémoire
Temps estimé : 2 heures