Capítulo 2: Arquiteturas Emergentes
Além dos Transformers?
O Transformer dominou, mas alternativas estão surgindo.
Modelos de Espaço de Estado (SSMs)
Modelagem de sequências em tempo linear:
Transformers: O(n²) attention
SSMs: O(n) recurrence with parallelizable training
Mamba
Modelo de Espaço de Estado Seletivo:
# Mamba key innovation: input-dependent selection
def selective_scan(x, A, B, C, delta):
# delta (Δ) is input-dependent
# Enables dynamic, selective "attention-like" behavior
# With linear complexity
pass
Benefícios:
- Escalonamento linear com o tamanho da sequência
- Competitivo com Transformers
- Melhor para sequências muito longas
RWKV
Combina a eficiência de RNN com a qualidade do Transformer:
- Complexidade linear
- Treinamento paralelizável
- Bom desempenho
Comparação
| Arquitetura | Complexidade | Contexto Longo | Qualidade |
|---|---|---|---|
| Transformer | O(n²) | Limitado* | Melhor |
| Mamba | O(n) | Excelente | Quase tão bom quanto o melhor |
| RWKV | O(n) | Bom | Bom |
*Com otimizações como Flash Attention, os Transformers continuam competitivos
Os Transformers Serão Substituídos?
Cenário provável: Arquiteturas híbridas combinando:
- Attention para posições-chave
- Camadas lineares para eficiência
- O melhor dos dois mundos