Capítulo 1: Leyes de escalado y límites
Leyes de escalado de Kaplan (2020)
OpenAI encontró relaciones de ley de potencias:
Donde la pérdida disminuye de manera predecible con el tamaño del modelo.
Escalado Chinchilla (2022)
Hallazgo de DeepMind sobre el uso óptimo del cómputo:
Sabiduría previa: Entrenar modelos más grandes con datos fijos
Chinchilla: Entrenar modelos más pequeños con más datos
| Enfoque | Parámetros | Tokens | Cómputo |
|---|---|---|---|
| GPT-3 | 175B | 300B | Alto |
| Chinchilla | 70B | 1.4T | Igual |
| Resultado | Chinchilla gana |
Regla general: ~20 tokens por parámetro
Debate sobre rendimientos decrecientes
¿Estamos alcanzando límites?
Argumentos a favor de los límites:
- Saturación de benchmarks
- Disminución en la aparición de capacidades emergentes
- Restricciones en la disponibilidad de datos
Argumentos en contra:
- Siguen surgiendo nuevas capacidades
- Mejoras algorítmicas
- Avances en razonamiento y multimodalidad
Mejoras en eficiencia
Más allá del simple escalado:
- Mejores arquitecturas (MoE)
- Entrenamiento mejorado (currículo)
- Calidad de datos > cantidad
- Innovaciones algorítmicas