Capítulo 1: Serie GPT (OpenAI)
Resumen de la evolución
| Modelo | Año | Parámetros | Innovación clave |
|---|---|---|---|
| GPT-1 | 2018 | 117M | Pre-entrenamiento + fine-tuning |
| GPT-2 | 2019 | 1.5B | Capacidades zero-shot |
| GPT-3 | 2020 | 175B | Aprendizaje en contexto |
| GPT-3.5 | 2022 | ~175B | RLHF, ChatGPT |
| GPT-4 | 2023 | ~1.8T* | Multimodal, MoE* |
*Estimado
GPT-3: El punto de inflexión
GPT-3 demostró que la escala conduce a capacidades emergentes:
# Few-shot learning example
prompt = """
Q: What is the capital of France?
A: Paris
Q: What is the capital of Germany?
A: Berlin
Q: What is the capital of Italy?
A:"""
# Model completes: "Rome"
Capacidades de GPT-4
- Multimodal: Procesa imágenes y texto
- Contexto de 128K: Maneja documentos de longitud de libro
- Razonamiento mejorado: Mejor en tareas complejas
- Mejoras de seguridad: Más alineado con los valores humanos
Puntos clave
Summary
- La evolución de GPT muestra el poder de la escalabilidad
- RLHF hizo que GPT-3.5/4 fueran más útiles y alineados
- GPT-4 introdujo capacidades multimodales