Módulo 2: Profundización en la Arquitectura Transformer
Descripción del módulo
La arquitectura Transformer es la base de todos los modelos de lenguaje grande modernos. Este módulo proporciona una comprensión técnica integral de cómo funcionan los Transformers, desde el mecanismo fundamental de atención hasta la arquitectura completa.
Objetivos de aprendizaje
Al finalizar este módulo, usted podrá:
- ✅ Explicar el mecanismo de atención de manera matemática e intuitiva
- ✅ Implementar la atención escalada por producto punto desde cero
- ✅ Comprender la auto-atención y la atención multi-cabeza
- ✅ Describir el papel del codificado posicional
- ✅ Rastrear el flujo de datos a través de un bloque Transformer completo
Contenidos del módulo
Capítulo 1: Mecanismo de Atención
Profundización en las operaciones de Query, Key, Value, la atención escalada por producto punto y la intuición detrás de la atención.
Capítulo 2: Auto-Atención y Atención Multi-Cabeza
Comprender cómo se aplica la atención dentro de una sola secuencia y los beneficios de múltiples cabezas de atención.
Capítulo 3: Codificado Posicional y Embeddings
Por qué la posición es importante en los Transformers, codificación sinusoidal, embeddings aprendidos y representaciones de tokens.
Vista previa de conceptos clave
| Concepto | Definición |
|---|---|
| Atención | Mecanismo para ponderar la relevancia de diferentes partes de la entrada |
| Query, Key, Value | Tres proyecciones utilizadas para calcular la atención |
| Auto-Atención | Atención donde la entrada se atiende a sí misma |
| Multi-Cabeza | Ejecución de múltiples operaciones de atención en paralelo |
| Codificado Posicional | Información sobre la posición de los tokens en la secuencia |
Prerrequisitos
Este módulo asume familiaridad con:
- Álgebra lineal (multiplicación de matrices, productos punto)
- Conceptos básicos de redes neuronales (capas, funciones de activación)
- Fundamentos de Python y PyTorch
Estimación de tiempo
- Lectura: 3-4 horas
- Ejercicios de codificación: 2-3 horas
- Cuestionario: 30-45 minutos
- Total: 6-8 horas