Capítulo 1: Entendiendo los Modelos de Lenguaje
Del autocompletado a la conversación
Usted utiliza modelos de lenguaje todos los días—probablemente sin darse cuenta. Cuando su teléfono sugiere la siguiente palabra mientras escribe, ese es un modelo de lenguaje simple en acción. Los Modelos de Lenguaje de Gran Tamaño son el mismo concepto, pero mucho más potentes.
¿Qué es un modelo de lenguaje?
Un modelo de lenguaje es un programa informático que predice qué texto viene a continuación. Si se le da un comienzo, predice una continuación.
La analogía del autocompletado
Piense en el autocompletado de su teléfono:
- Usted escribe "Buenos dí..."
- Su teléfono sugiere "días"
- Usted escribe "¿Cómo est..."
- Su teléfono sugiere "ás"
Esto es un modelo de lenguaje en su forma más simple. Ha aprendido de millones de mensajes de texto que "Buenos dí..." suele ir seguido de "días".
Los LLM son la misma idea—pero en lugar de predecir palabras individuales, pueden predecir párrafos completos, ensayos o incluso libros.
Cómo la predicción se convierte en conversación
Aquí está la idea clave: generar texto es simplemente predecir qué viene después, una pieza a la vez.
Cuando usted le pregunta a ChatGPT "¿Cuál es la capital de Francia?", esto es lo que sucede:
- El modelo ve su pregunta
- Predice la palabra más probable a continuación: "La"
- Luego la siguiente: "capital"
- Luego: "de"
- Luego: "Francia"
- Luego: "es"
- Luego: "París"
- Y así sucesivamente...
Cada palabra es una predicción basada en todo lo anterior. La magia es que, después de entrenar con miles de millones de ejemplos, estas predicciones se vuelven notablemente coherentes y útiles.
Por qué "grande" importa
La palabra "grande" en Modelo de Lenguaje de Gran Tamaño se refiere a dos cosas:
1. Tamaño del modelo (parámetros)
| Modelo | Parámetros | Analogía |
|---|---|---|
| Autocompletado simple | Miles | Un diccionario de bolsillo |
| GPT-2 (2019) | 1.5 mil millones | Una biblioteca pequeña |
| GPT-3 (2020) | 175 mil millones | Una biblioteca universitaria masiva |
| GPT-4 (2023) | ~1 billón+ | Todas las bibliotecas del mundo combinadas |
Los parámetros son como las celdas de memoria del modelo. Más parámetros significa que el modelo puede almacenar más patrones y relaciones.
2. Tamaño de los datos de entrenamiento
Los LLM modernos se entrenan con:
- Miles de millones de páginas web
- Millones de libros
- Artículos científicos
- Repositorios de código
- Wikipedia (todos los idiomas)
- Artículos de noticias
- Y mucho más...
La escala lo cambia todo
Algo extraordinario sucede cuando estos modelos son lo suficientemente grandes: aparecen habilidades emergentes.
¿Qué son las habilidades emergentes?
Son capacidades que no fueron programadas explícitamente, pero que "emergen" con la escala:
- Razonamiento: Resolver problemas lógicos paso a paso
- Generación de código: Escribir programas funcionales
- Traducción: Convertir entre idiomas
- Resumir: Condensar documentos extensos
- Escritura creativa: Generar historias, poemas y más
Los modelos pequeños no pueden hacer estas cosas. Los modelos grandes, de repente, sí pueden—es como una transición de fase en física.
De calculadora a asistente
A medida que los modelos crecieron:
- 2018: Podían completar oraciones
- 2019: Podían escribir párrafos coherentes
- 2020: Podían responder preguntas y mantener conversaciones
- 2022: Podían razonar, programar y crear de formas sofisticadas
- 2023: Podían procesar imágenes, audio y más
Lo que los LLM realmente "saben"
Aquí hay una distinción importante:
Los LLM no almacenan hechos como una base de datos
No tienen una tabla que diga "Capital de Francia = París". En cambio, han aprendido que cuando un texto comienza con "La capital de Francia es...", casi siempre va seguido de "París".
Han aprendido patrones, no memorizado hechos
Por eso los LLM pueden:
- Generar contenido creativo que nunca han visto
- Combinar ideas de formas nuevas
- A veces cometer errores sobre "hechos"
Piénselo así: Una persona culta no memoriza cada oración que ha leído. En cambio, desarrolla una comprensión de cómo funciona el lenguaje y qué conceptos se relacionan entre sí.
Ejemplos del mundo real
Ejemplo 1: Redacción de correos electrónicos
Usted comienza a escribir: "Espero que este correo le..." El LLM predice: "...encuentre bien. Me pongo en contacto respecto a nuestra próxima reunión..."
Ejemplo 2: Completado de código
Usted escribe: def calculate_average(numbers):
El LLM predice toda la función basándose en el nombre y patrones comunes.
Ejemplo 3: Escritura creativa
Usted solicita: "Escriba un haiku sobre programación" El LLM genera un poema que sigue la estructura de un haiku porque ha aprendido estos patrones.
Puntos clave
✅ Los modelos de lenguaje predicen qué texto viene a continuación
✅ "Grande" significa miles de millones de parámetros y datos de entrenamiento masivos
✅ La escala permite habilidades emergentes como el razonamiento y la creación
✅ Los LLM aprenden patrones, no hechos—esto tiene implicaciones importantes
✅ Cada respuesta es una serie de predicciones, un token a la vez
Piénselo
Antes de continuar, considere:
- Cuando utiliza el autocompletado en su teléfono, ¿qué patrones ha aprendido de su escritura?
- ¿Por qué predecir "la siguiente palabra" podría llevar a párrafos coherentes?
- ¿Qué podría salir mal cuando un modelo solo predice patrones?
Próximos pasos
Ahora que entiende qué son los modelos de lenguaje, exploremos cómo evolucionaron en el Capítulo 2: De GPT a GPT-4.