Capítulo 1: Leis de Escalonamento e Limites
Leis de Escalonamento de Kaplan (2020)
A OpenAI encontrou relações de potência:
Onde a perda diminui de forma previsível com o tamanho do modelo.
Escalonamento Chinchilla (2022)
Descoberta de ótimo computacional da DeepMind:
Sabedoria anterior: Treinar modelos maiores com dados fixos
Chinchilla: Treinar modelos menores com mais dados
| Abordagem | Parâmetros | Tokens | Computação |
|---|---|---|---|
| GPT-3 | 175B | 300B | Alta |
| Chinchilla | 70B | 1,4T | Mesma |
| Resultado | Chinchilla vence |
Regra prática: ~20 tokens por parâmetro
Debate sobre Retornos Decrescentes
Estamos chegando aos limites?
Argumentos a favor dos limites:
- Saturação de benchmarks
- Capacidades emergentes desacelerando
- Restrições na disponibilidade de dados
Argumentos contra:
- Novas capacidades ainda surgindo
- Melhorias algorítmicas
- Avanços em multimodalidade e raciocínio
Melhorias de Eficiência
Além do escalonamento bruto:
- Arquiteturas melhores (MoE)
- Treinamento aprimorado (currículo)
- Qualidade dos dados > quantidade
- Inovações algorítmicas