Módulo 3: Entrenamiento de LLMs
Descripción general del módulo
El entrenamiento de modelos de lenguaje grandes requiere recursos computacionales masivos, datos cuidadosamente seleccionados y técnicas sofisticadas de entrenamiento distribuido. Este módulo explora toda la cadena de entrenamiento, desde los datos hasta el modelo entrenado.
Objetivos de aprendizaje
- ✅ Comprender los objetivos de preentrenamiento (predicción del siguiente token, modelo de lenguaje enmascarado)
- ✅ Explicar los procesos de recopilación y preprocesamiento de datos
- ✅ Describir técnicas de entrenamiento distribuido (paralelismo de datos, de modelo, de tensores)
- ✅ Comprender los requisitos computacionales para entrenar LLMs
Contenido del módulo
Capítulo 1: Objetivos de preentrenamiento
Predicción del siguiente token, modelado de lenguaje enmascarado, enfoques causales vs bidireccionales.
Capítulo 2: Recopilación y preprocesamiento de datos
Rastreo web, limpieza de datos, eliminación de duplicados, filtrado de calidad, tokenización.
Capítulo 3: Técnicas de entrenamiento distribuido
Paralelismo de datos, paralelismo de modelo, paralelismo de tensores, paralelismo de pipeline, ZeRO.