Módulo 2: Fine-Tuning Completo
Comprendiendo el Fine-Tuning Tradicional
Este módulo cubre el enfoque tradicional de fine-tuning donde se actualizan todos los parámetros del modelo durante el entrenamiento. Aunque requiere más recursos, comprender el fine-tuning completo es esencial para entender por qué se desarrollaron los métodos PEFT.
Qué aprenderá
En este módulo, usted:
- Comprenderá el fine-tuning tradicional y cómo funciona
- Calculará los requisitos computacionales para diferentes tamaños de modelo
- Aprenderá sobre el olvido catastrófico y estrategias de mitigación
- Sabrá cuándo el fine-tuning completo sigue siendo la opción adecuada
Estructura del módulo
| Capítulo | Tema | Duración |
|---|---|---|
| Capítulo 1 | Enfoque tradicional de Fine-Tuning | 25 min |
| Capítulo 2 | Requisitos computacionales | 30 min |
| Capítulo 3 | Olvido catastrófico | 25 min |
| Quiz | Quiz del Módulo 2 | 30 min |
Vista previa de conceptos clave
Fine-Tuning Completo
Actualización de todos los parámetros del modelo durante el entrenamiento, proporcionando el máximo potencial de personalización.
Memoria GPU
La VRAM requerida para almacenar los pesos del modelo, gradientes, estados del optimizador y activaciones.
Olvido Catastrófico
Pérdida del conocimiento previamente aprendido al entrenar con nuevos datos.
Acumulación de Gradientes
Simulación de tamaños de batch más grandes acumulando gradientes a lo largo de múltiples pasadas hacia adelante.
Por qué es importante
El fine-tuning completo representa el límite superior de lo que se puede lograr mediante el entrenamiento. Comprender sus requisitos y limitaciones le ayuda a:
- Valorar por qué se desarrollaron los métodos PEFT
- Tomar decisiones informadas sobre cuándo el fine-tuning completo vale la pena
- Planificar adecuadamente los recursos computacionales para sus proyectos
- Evitar errores comunes como el olvido catastrófico
Requisitos previos
Antes de comenzar este módulo, usted debe:
- Haber completado el Módulo 1
- Comprender los conceptos básicos de redes neuronales
- Estar familiarizado con los conceptos de GPU/VRAM
- Tener conocimientos básicos de Python y PyTorch
¡Comencemos!
Empiece con Capítulo 1: Enfoque tradicional de Fine-Tuning.
Tiempo estimado para completar este módulo: 2 horas