Capítulo 2: Predecir la siguiente palabra
El mecanismo central de los LLM
Todo lo que hace un LLM—responder preguntas, escribir historias, programar—se reduce a una operación simple: predecir qué palabra debería venir a continuación.
La idea básica
Un LLM genera texto preguntando repetidamente: "Dado todo lo anterior, ¿qué palabra es más probable que venga después?"
Un ejemplo sencillo
Prompt: "La capital de Francia es"
El modelo calcula probabilidades:
- "París" → 95% de probabilidad
- "Lyon" → 2% de probabilidad
- "Berlín" → 0.1% de probabilidad
- "pizza" → 0.0001% de probabilidad
Elige "París" (o selecciona aleatoriamente ponderando por probabilidad).
Cómo la predicción crea conversación
Veamos cómo una pregunta se convierte en respuesta:
Su entrada
"¿De qué color es el cielo?"
El proceso del modelo
- Ve: "¿De qué color es el cielo?"
- Predice la siguiente palabra: "El" (probable inicio de una respuesta)
- Ve: "¿De qué color es el cielo? El"
- Predice: "cielo" (tiene sentido en el contexto)
- Ve: "¿De qué color es el cielo? El cielo"
- Predice: "es" (gramaticalmente correcto)
- Predice: "azul" (el patrón de respuesta que ha aprendido)
- Continúa hasta: Detectar el final de la respuesta
Salida: "El cielo es azul."
Por qué parece inteligente
Este mecanismo simple produce un comportamiento que parece inteligente porque:
1. Los patrones codifican conocimiento
Cuando se entrena con textos como:
- "El cielo es azul durante el día"
- "El cielo parece azul debido a la dispersión de la luz"
- "El cielo azul es señal de buen clima"
El modelo aprende que "azul" suele seguir a "cielo es" en contextos de preguntas y respuestas.
2. El contexto da forma a la predicción
La misma palabra tiene predicciones diferentes según el contexto:
| Contexto | Palabra probable siguiente |
|---|---|
| "El banco del río..." | "estaba" (contexto natural) |
| "El banco donde deposito..." | "dinero" (contexto financiero) |
| "Siéntese en el banco..." | "del parque" (contexto de asiento) |
3. La escala permite el razonamiento
Con suficientes parámetros y entrenamiento, el modelo puede seguir patrones lógicos:
"Si A causa B, y B causa C, entonces A causa ___" → "C"
Probabilidad y aleatoriedad
Temperatura: controlando la creatividad
Los LLM tienen un ajuste de "temperatura" que afecta cómo eligen la siguiente palabra:
| Temperatura | Comportamiento | Caso de uso |
|---|---|---|
| Baja (0.1) | Siempre elige la palabra más probable | Respuestas fácticas, código |
| Media (0.7) | Algo de variedad, aún coherente | Conversación general |
| Alta (1.0+) | Más aleatorio, creativo, arriesgado | Escritura creativa, lluvia de ideas |
Ejemplo con diferentes temperaturas
Prompt: "El clima de hoy es"
- Temperatura baja: "soleado" (elegido 10/10 veces)
- Temperatura media: "soleado" (7/10), "hermoso" (2/10), "agradable" (1/10)
- Temperatura alta: "espectacular" (3/10), "que recuerda a la primavera" (2/10), "inesperadamente templado" (2/10)...
La naturaleza estadística de los LLM
Los LLM son máquinas de probabilidad
Esto explica muchos comportamientos
Por qué los LLM pueden ser "creativos": Pueden elegir palabras menos probables pero válidas.
Por qué varían las salidas: El muestreo aleatorio significa que diferentes ejecuciones pueden dar respuestas distintas.
Por qué pueden equivocarse: Alta probabilidad ≠ correcto. Los patrones "confiados" no siempre son ciertos.
Comportamientos emergentes
Cuando se combinan:
- Miles de millones de parámetros
- Billones de ejemplos de entrenamiento
- Predicción de la siguiente palabra
Se obtienen capacidades que no fueron programadas explícitamente:
Ejemplos de habilidades emergentes
| Habilidad | Cómo emerge |
|---|---|
| Traducción | Patrones aprendidos de textos multilingües |
| Generación de código | Patrones aprendidos de repositorios de código |
| Matemáticas | Patrones aprendidos de problemas y soluciones matemáticas |
| Razonamiento | Patrones aprendidos de argumentos lógicos |
| Resumir | Aprendido a condensar a partir de ejemplos de resúmenes |
Por qué esto funciona tan bien
La hipótesis de la compresión
Para predecir texto correctamente, un modelo debe entender implícitamente:
- Gramática y sintaxis
- Hechos sobre el mundo
- Lógica y razonamiento
- Diferentes estilos de escritura
- Flujo de contexto y conversación
La predicción obliga al modelo a aprender todo esto.
La hipótesis del escalado
A medida que los modelos crecen:
- Aprenden más patrones
- Combinan patrones de manera más efectiva
- Nuevas capacidades "emergen" a ciertas escalas
- El rendimiento sigue mejorando (hasta ahora)
Limitaciones de la predicción
1. Reconocimiento de patrones, no razonamiento
El modelo encuentra patrones, no la verdad. Si información falsa aparece en los patrones, puede reproducirse.
2. Sin autoconciencia
El modelo no "sabe" que está generando texto. Solo está prediciendo.
3. Riesgo de alucinación
Cuando no existe un patrón fuerte, el modelo genera texto que suena plausible pero puede ser falso.
4. Sensibilidad al prompt
Pequeños cambios en la entrada pueden causar grandes cambios en la salida.
El ciclo autorregresivo
Autorregresivo significa que la salida del modelo se retroalimenta como entrada para la siguiente predicción.
Input: "Hello"
Predict: "there"
New input: "Hello there"
Predict: "!"
New input: "Hello there!"
Predict: "How"
New input: "Hello there! How"
...and so on
Por esto:
- Las salidas largas se generan pieza por pieza
- Los errores tempranos pueden acumularse
- El modelo puede "ver" su propia salida previa
Puntos clave
✅ Todo lo que hace un LLM es predecir la siguiente palabra
✅ Se calculan probabilidades para todas las posibles palabras siguientes
✅ La temperatura controla aleatoriedad vs. previsibilidad
✅ La escala y el entrenamiento permiten habilidades emergentes
✅ Predicción ≠ comprensión, lo que lleva a alucinaciones
✅ Cada palabra generada se convierte en entrada para la siguiente predicción
Piénselo
- Si un LLM predice "París" con un 95% de probabilidad para "la capital de Francia es ___", ¿de dónde sale ese 95%?
- ¿Por qué una temperatura alta puede ser buena para la escritura creativa pero mala para preguntas fácticas?
- ¿Cómo explica el ciclo autorregresivo que los errores tempranos en una respuesta puedan llevar a más errores?
Próximos pasos
Ahora veamos cómo los LLM "recuerdan" la conversación en Capítulo 3: Contexto y memoria.