Saltar al contenido principal

Módulo 5: QLoRA y Cuantización

Entrenamiento de modelos grandes en hardware de consumo​

Este módulo cubre QLoRA (LoRA cuantizado), que combina cuantización de 4 bits con LoRA para permitir el ajuste fino de modelos grandes en GPUs de consumo con una pérdida de calidad mínima.

Lo que aprenderá​

  1. Comprender QLoRA y cómo permite una eficiencia extrema en el uso de memoria
  2. Dominar la cuantización de 4 bits usando la biblioteca bitsandbytes
  3. Implementar técnicas de entrenamiento eficientes en memoria
  4. Optimizar el entrenamiento para hardware limitado

Estructura del módulo​

CapítuloTemaDuración
Capítulo 1¿Qué es QLoRA?25 min
Capítulo 2Cuantización de 4 bits30 min
Capítulo 3Entrenamiento eficiente en memoria30 min
QuizQuiz del Módulo 530 min

Conceptos clave​

  • QLoRA: LoRA cuantizado usando el formato NF4 de 4 bits
  • NF4: Formato de cuantización NormalFloat de 4 bits
  • Cuantización doble: Cuantización de las constantes de cuantización
  • Gradient Checkpointing: Intercambiar cómputo por memoria

Tiempo estimado: 2 horas