Capítulo 2: Arquitectura de Transformers
La arquitectura que lo cambió todo
La arquitectura Transformer, introducida en 2017, revolucionó la IA. Todos los principales modelos de lenguaje (GPT, Claude, Gemini, Llama) están construidos sobre esta base.
Antes de los Transformers: El problema
Los enfoques anteriores para procesar datos secuenciales (como texto) tenían grandes limitaciones:
Redes Neuronales Recurrentes (RNNs)
Problemas:
- Procesamiento secuencial: Una palabra a la vez = lento
- Olvido: Se pierden relaciones a larga distancia
- Paralelización limitada: No se puede aprovechar completamente las GPUs modernas
Analogía: Como leer un libro pero solo recordar claramente las últimas páginas.
La solución Transformer
El artículo de 2017 "Attention Is All You Need" propuso una idea radical: procesar todas las palabras simultáneamente usando un mecanismo de "atención".
Innovación clave: Cada palabra puede "atender" a cualquier otra palabra, sin importar su posición.
Entendiendo la atención
La idea central
La atención permite que el modelo se enfoque en las partes relevantes de la entrada al procesar cada elemento.
Ejemplo: "El animal no cruzó la calle porque estaba demasiado cansado."
¿A qué se refiere "estaba"? Una persona sabe que "estaba" = "animal" porque los animales se cansan.
El mecanismo de atención aprende estas relaciones:
Auto-atención explicada
Para cada palabra, el modelo se pregunta: "¿Cuánta atención debo prestar a cada otra palabra?"
Paso a paso:
- Query (Q): "¿Qué estoy buscando?"
- Key (K): "¿Qué contengo?"
- Value (V): "¿Qué información proporciono?"
Analogía: Investigación en una biblioteca
Imagine que está investigando un tema:
- Query: Su pregunta de investigación
- Keys: Títulos y resúmenes de libros
- Values: El contenido real de los libros
- Atención: Qué tan relevante es cada libro para su pregunta
Arquitectura Transformer
Estructura completa
Componentes clave
1. Capa de embedding
Convierte palabras en vectores numéricos (listas de números) que capturan su significado.
"cat" → [0.2, -0.5, 0.8, 0.1, ...]
"dog" → [0.3, -0.4, 0.7, 0.2, ...]
¡Palabras similares tienen vectores similares!
2. Codificación posicional
Agrega información sobre la posición de las palabras, ya que la atención procesa todo simultáneamente.
Sin esto, "Dog bites man" y "Man bites dog" se verían igual.
3. Atención multi-cabeza
Múltiples mecanismos de atención funcionando en paralelo, cada uno enfocado en diferentes aspectos:
- Una cabeza puede enfocarse en la gramática
- Otra en el significado
- Otra en el contexto
4. Redes feed-forward
Capas estándar de red neuronal que procesan cada posición de manera independiente.
5. Normalización de capa
Mantiene los valores en un rango razonable, mejorando la estabilidad del entrenamiento.
Tipos de modelos Transformer
1. Solo codificador (por ejemplo, BERT)
- Procesa la entrada para crear representaciones
- Bueno para: Clasificación, tareas de comprensión
- Puede ver todo el contexto (bidireccional)
2. Solo decodificador (por ejemplo, GPT, Claude)
- Genera la salida palabra por palabra
- Bueno para: Generación de texto
- Solo ve el contexto previo (unidireccional)
3. Codificador-decodificador (por ejemplo, T5, BART)
- El codificador procesa la entrada, el decodificador genera la salida
- Bueno para: Traducción, resumen
Por qué los Transformers sobresalen
1. Paralelización
Puede procesar todas las posiciones simultáneamente → Entrenamiento mucho más rápido
2. Dependencias a largo plazo
La atención conecta directamente cualquier par de posiciones → Mejor comprensión del contexto
3. Escalabilidad
La arquitectura escala bien con más datos y parámetros → Permite modelos enormes
4. Aprendizaje por transferencia
Los modelos preentrenados pueden adaptarse a muchas tareas → Desarrollo más eficiente
Ventana de contexto
La ventana de contexto es la cantidad máxima de texto que un transformer puede procesar a la vez.
| Modelo | Ventana de contexto |
|---|---|
| GPT-3 | 4,096 tokens (~3,000 palabras) |
| GPT-4 | 128,000 tokens (~100,000 palabras) |
| Claude 3 | 200,000 tokens (~150,000 palabras) |
| Gemini 1.5 | 1,000,000+ tokens |
Por qué es importante:
- Mayor contexto = Mejor comprensión de documentos largos
- Puede referenciar información de antes en las conversaciones
- Permite procesar libros o bases de código completos
Tokens: Cómo se procesa el texto
Los transformers no procesan palabras—procesan tokens.
¿Qué es un token?
Un token es un fragmento de texto, usualmente:
- Una palabra común: "the" = 1 token
- Parte de una palabra: "understanding" = "under" + "standing" = 2 tokens
- Un signo de puntuación: "." = 1 token
Ejemplo
Input: "ChatGPT is amazing!"
Tokens: ["Chat", "G", "PT", " is", " amazing", "!"]
Aproximadamente: 1 token ≈ 4 caracteres o ¾ de una palabra en inglés
Limitaciones de los Transformers
1. Complejidad cuadrática
La atención compara cada token con todos los demás:
- 1,000 tokens → 1,000,000 comparaciones
- 10,000 tokens → 100,000,000 comparaciones
Esto limita los tamaños prácticos de contexto.
2. Sin razonamiento real
Los transformers reconocen patrones; no comprenden ni razonan realmente.
3. Estático después del entrenamiento
El conocimiento del modelo queda congelado al momento del entrenamiento (sin aumento por recuperación).
4. Riesgo de alucinación
La naturaleza de reconocimiento de patrones puede producir respuestas seguras pero incorrectas.
Puntos clave
✅ Los transformers procesan toda la entrada simultáneamente usando atención
✅ La atención permite que cada elemento se relacione con cualquier otro elemento
✅ Esta arquitectura impulsa todos los principales modelos de IA modernos
✅ La ventana de contexto determina cuánta cantidad de texto puede procesarse
✅ El texto se procesa como tokens, no palabras
✅ Diferentes tipos de transformers (codificador, decodificador) se adaptan a distintas tareas
Próximos pasos
Ahora que entiende la arquitectura, exploremos cómo se entrenan estos modelos en Capítulo 3: Entrenamiento y aprendizaje.