Capítulo 2: Arquitecturas emergentes
¿Más allá de los Transformers?
El Transformer ha dominado, pero están surgiendo alternativas.
Modelos de Espacio de Estados (SSMs)
Modelado de secuencias en tiempo lineal:
Transformers: O(n²) atención
SSMs: O(n) recurrencia con entrenamiento paralelizable
Mamba
Modelo de Espacio de Estados Selectivo:
# Innovación clave de Mamba: selección dependiente de la entrada
def selective_scan(x, A, B, C, delta):
# delta (Δ) depende de la entrada
# Permite un comportamiento dinámico y selectivo similar a la "atención"
# Con complejidad lineal
pass
Ventajas:
- Escalado lineal con la longitud de la secuencia
- Competitivo con Transformers
- Mejor para secuencias muy largas
RWKV
Combina la eficiencia de las RNN con la calidad de los Transformers:
- Complejidad lineal
- Entrenamiento paralelizable
- Buen rendimiento
Comparación
| Arquitectura | Complejidad | Contexto largo | Calidad |
|---|---|---|---|
| Transformer | O(n²) | Limitado* | Mejor |
| Mamba | O(n) | Excelente | Casi la mejor |
| RWKV | O(n) | Bueno | Bueno |
*Con optimizaciones como Flash Attention, los Transformers siguen siendo competitivos
¿Serán reemplazados los Transformers?
Escenario probable: Arquitecturas híbridas que combinan:
- Atención para posiciones clave
- Capas lineales para eficiencia
- Lo mejor de ambos mundos