Capítulo 2: De GPT a GPT-4
Una breve historia de los LLM modernos
El recorrido desde los primeros modelos de lenguaje hasta los actuales asistentes de IA avanzados ocurrió sorprendentemente rápido: apenas unos cinco años transformaron lo que la IA puede hacer con el lenguaje.
¿Qué significa GPT?
GPT = Generative Pre-trained Transformer
- Generativo: Genera texto nuevo
- Pre-entrenado: Se entrena con grandes volúmenes de datos antes de que usted lo utilice
- Transformer: La arquitectura (tipo de red neuronal) que utiliza
La arquitectura Transformer, presentada en 2017, fue el avance clave que hizo posibles los LLM modernos. Exploraremos esto en mayor profundidad en el Módulo 2.
La línea de tiempo de GPT
2018: GPT-1 - El comienzo
| Métrica | Valor |
|---|---|
| Parámetros | 117 millones |
| Datos de entrenamiento | ~5 GB de texto |
| Capacidades | Completado básico de texto |
Lo que podía hacer: Completar oraciones, pero a menudo perdía coherencia en textos largos.
Importancia: Demostró que el pre-entrenamiento con grandes volúmenes de texto, seguido de ajuste fino para tareas específicas, era poderoso.
2019: GPT-2 - "Demasiado peligroso para liberar"
| Métrica | Valor |
|---|---|
| Parámetros | 1.5 mil millones |
| Datos de entrenamiento | ~40 GB de texto |
| Capacidades | Párrafos coherentes |
Lo que podía hacer: Escribir párrafos y artículos cortos coherentes que a menudo parecían escritos por humanos.
La controversia: OpenAI inicialmente no publicó el modelo completo, preocupados por el posible uso indebido para noticias falsas. Esto generó debates sobre la seguridad en IA que continúan hasta hoy.
Demostración famosa: Dado el prompt sobre unicornios en los Andes, GPT-2 generó un convincente artículo falso sobre científicos que descubren unicornios.
2020: GPT-3 - El cambio de juego
| Métrica | Valor |
|---|---|
| Parámetros | 175 mil millones |
| Datos de entrenamiento | ~570 GB de texto |
| Capacidades | Few-shot learning |
Lo que podía hacer:
- Responder preguntas
- Escribir código
- Traducir idiomas
- Resumir documentos
- ¡Todo sin entrenamiento específico para cada tarea!
El avance: "Few-shot learning": usted podía mostrarle a GPT-3 solo unos pocos ejemplos en el prompt, y entendía qué hacer.
Ejemplo de Few-Shot Learning:
Translate English to French:
English: Hello → French: Bonjour
English: Thank you → French: Merci
English: Good morning → French:
GPT-3 generaría correctamente "Bonjour" sin ningún entrenamiento específico para traducción.
2022: ChatGPT - El momento en que la IA se hizo masiva
| Métrica | Valor |
|---|---|
| Modelo base | GPT-3.5 |
| Innovación clave | Ajuste fino conversacional |
| Hito de usuarios | 100 millones de usuarios en 2 meses |
Qué cambió: ChatGPT no solo era un modelo más inteligente, sino que fue entrenado para mantener conversaciones utilizando una técnica llamada RLHF (Reinforcement Learning from Human Feedback).
El momento ChatGPT:
- Aplicación de consumo de más rápido crecimiento en la historia
- Alcanzó 100 millones de usuarios en 2 meses (TikTok tardó 9 meses, Instagram 2,5 años)
- Hizo la IA accesible para todos
Por qué se sintió diferente:
- Fluidez natural en la conversación
- Podía rechazar solicitudes dañinas
- Admitía cuando no sabía algo
- Se sentía como hablar con un asistente útil
2023: GPT-4 - Multimodal y más capaz
| Métrica | Valor |
|---|---|
| Parámetros | No divulgado (~1 billón+) |
| Capacidades | Texto + visión |
| Rendimiento | Aprueba muchos exámenes profesionales |
Nuevas capacidades:
- Visión: Puede comprender imágenes, no solo texto
- Contexto más largo: Puede procesar ~128,000 tokens (aproximadamente 300 páginas)
- Mejor razonamiento: Obtiene puntuaciones en los percentiles más altos en muchos exámenes profesionales
Rendimiento en exámenes:
| Examen | GPT-3.5 | GPT-4 |
|---|---|---|
| Examen de abogacía | 10% inferior | 10% superior |
| SAT Matemáticas | Percentil 70 | Percentil 89 |
| GRE Verbal | Percentil 63 | Percentil 99 |
¿Qué mejoró con cada versión?
1. Coherencia y longitud
2. Capacidad de razonamiento
- GPT-2: Podía identificar patrones pero no razonar
- GPT-3: Razonamiento lógico básico
- GPT-4: Razonamiento complejo de varios pasos
3. Seguimiento de instrucciones
- GPT-2: Requería prompts similares a los datos de entrenamiento
- GPT-3: Podía seguir instrucciones simples
- ChatGPT: Diseñado para conversación natural
- GPT-4: Sigue instrucciones complejas y matizadas
4. Seguridad y alineación
- Primeros GPT: Generaban cualquier tipo de contenido
- ChatGPT: Entrenado para rechazar solicitudes dañinas
- GPT-4: Comprensión más matizada de la seguridad
El panorama competitivo
El éxito de ChatGPT desencadenó una carrera en IA:
2023: El año de la competencia en LLM
| Mes | Evento |
|---|---|
| Febrero | Google anuncia Bard (ahora Gemini) |
| Marzo | Anthropic lanza Claude |
| Marzo | Lanzamiento de GPT-4 |
| Julio | Meta publica Llama 2 como open source |
| Diciembre | Google lanza Gemini |
Por qué importa la competencia:
- Innovación más rápida
- Precios más bajos
- Más opciones para los usuarios
- Alternativas open source
Resumen de hitos clave
| Año | Hito | Importancia |
|---|---|---|
| 2017 | Arquitectura Transformer | La base de todos los LLM modernos |
| 2018 | GPT-1 | Demostró que el pre-entrenamiento funciona |
| 2019 | GPT-2 | Mostró capacidades preocupantes |
| 2020 | GPT-3 | Demostró few-shot learning |
| 2022 | ChatGPT | Hizo la IA accesible para todos |
| 2023 | GPT-4 | Alcanzó nivel humano en muchas tareas |
| 2023 | Explosión open source | Democratizó el acceso a la tecnología LLM |
Por qué GPT se hizo famoso
Varios factores se combinaron:
- Accesibilidad: ChatGPT era gratuito y fácil de usar
- Capacidad: Realmente podía hacer cosas útiles
- Conversacional: Interactuar con él se sentía natural
- Momento: El trabajo remoto hizo más importantes las herramientas digitales
- Viralidad: Resultados sorprendentes se compartieron ampliamente en redes sociales
Puntos clave
✅ GPT evolucionó de 117M a más de 1T de parámetros en 5 años
✅ Cada versión trajo mejoras cualitativas, no solo cuantitativas
✅ La innovación de ChatGPT estuvo en la usabilidad, no solo en la capacidad
✅ GPT-4 añadió visión y mejoró drásticamente el razonamiento
✅ La competencia está impulsando una innovación acelerada en toda la industria
Piense en esto
- ¿Por qué cree que ChatGPT se difundió más rápido que cualquier tecnología anterior?
- ¿Qué podría hacer GPT-5 que GPT-4 no puede?
- ¿Cómo podrían los modelos open source cambiar el panorama de la IA?
Próximos pasos
Ahora veamos quién más está desarrollando LLM en Capítulo 3: Proveedores principales de LLM.