Capítulo 1: Entrenamiento con datos de texto
Enseñando a una máquina a comprender el lenguaje
Entrenar un LLM es como enseñar a un lector muy rápido a entender cómo funciona el lenguaje. Pero en lugar de enseñar hechos, estamos enseñando patrones.
¿De dónde provienen los datos de entrenamiento?
Los LLM modernos se entrenan con una cantidad asombrosa de texto:
Fuentes de datos comunes
| Fuente | Qué proporciona |
|---|---|
| Páginas web | Temas diversos, texto conversacional, opiniones |
| Libros | Argumentos estructurados, narración, conocimiento profundo |
| Wikipedia | Conocimiento factual, tono neutral |
| Artículos científicos | Conocimiento técnico, hallazgos de investigación |
| Repositorios de código | Patrones de programación, documentación |
| Artículos de noticias | Eventos actuales, estilo periodístico |
| Redes sociales | Conversación casual, tendencias |
La escala es asombrosa
- GPT-3 fue entrenado con aproximadamente 570 GB de texto
- Eso equivale a 300 mil millones de palabras
- Equivalente a leer sin parar durante miles de años
¿Qué significa realmente "entrenar"?
Entrenar es ajustar los parámetros del modelo para que mejore en predecir qué texto viene después.
Piénselo así:
Imagine que está aprendiendo a predecir el clima:
- Observa millones de patrones históricos del clima
- Nota: "Cuando se juntan nubes, a menudo llueve después"
- Ajusta su modelo mental para predecir lluvia cuando ve nubes
- Con el tiempo, sus predicciones mejoran
Los LLM hacen lo mismo, pero con el lenguaje:
- El modelo ve miles de millones de oraciones
- Aprende patrones como: "Después de 'El gato se sentó en la', a menudo sigue 'alfombra'"
- Ajusta los parámetros para hacer mejores predicciones
- Con el tiempo, aprende la estructura del lenguaje
El proceso de entrenamiento (simplificado)
Paso a paso:
- Tome una oración: "El gato se sentó en la alfombra"
- Oculte la última palabra: "El gato se sentó en la ___"
- Pida al modelo que prediga: El modelo podría decir "piso"
- Compare con la realidad: La palabra real era "alfombra"
- Ajuste ligeramente: Hacer que "alfombra" sea más probable la próxima vez en este contexto
- Repita miles de millones de veces
Lo que aprende el modelo
Estructura del lenguaje
- Reglas gramaticales (sin que se le digan explícitamente)
- Cómo se construyen las oraciones
- Orden de palabras en diferentes idiomas
Relaciones entre conceptos
- "París" se relaciona con "Francia" como "Tokio" se relaciona con "Japón"
- "Rey" se relaciona con "Reina" como "Hombre" se relaciona con "Mujer"
Estilos de escritura
- Lenguaje formal vs. casual
- Escritura académica vs. creativa
- Técnico vs. público general
Conocimiento del mundo (más o menos)
- Hechos mencionados frecuentemente en los datos de entrenamiento
- Asociaciones comunes entre conceptos
- ¡Pero NO es una base de datos de hechos verificados!
Lo que el modelo NO aprende
❌ Hechos verificados
El modelo no sabe si algo es cierto—solo que se escribió muchas veces.
❌ Información en tiempo real
El modelo solo conoce lo que existía en los datos de entrenamiento (antes de su "knowledge cutoff").
❌ Experiencias personales
No ha vivido, sentido ni experimentado nada.
❌ Comprensión real
Reconoce patrones, pero no "comprende" en el sentido humano.
La analogía de "leerlo todo"
Piense en el entrenamiento así:
| Lector humano | LLM |
|---|---|
| Lee miles de libros | Procesa miles de millones de muestras de texto |
| Desarrolla intuición sobre el lenguaje | Desarrolla patrones estadísticos |
| Recuerda hechos clave (imperfectamente) | Codifica patrones (imperfectamente) |
| Puede generalizar a nuevos temas | Puede generalizar a nuevos prompts |
| Comete errores por memoria | Comete errores por patrones |
La idea clave: Los LLM desarrollan intuición sobre el lenguaje sin comprenderlo como lo hacen los humanos.
Problemas con los datos de entrenamiento
1. Sesgo en los datos
Si los datos de entrenamiento contienen sesgos, el modelo los aprende:
- Prejuicios históricos
- Puntos ciegos culturales
- Sobre-representación de ciertos puntos de vista
2. Información desactualizada
- Los datos de entrenamiento tienen una fecha de corte
- La información cambia después del entrenamiento
3. Variación en la calidad
- No todo en internet es preciso
- El modelo no puede distinguir fuentes confiables de no confiables
4. Preguntas de derechos de autor
- Algunos datos de entrenamiento pueden tener derechos de autor
- Los debates legales están en curso
Pre-entrenamiento vs. Fine-tuning
Pre-entrenamiento (La base)
- Conjunto de datos masivo (prácticamente todo internet)
- Aprende patrones generales del lenguaje
- Muy costoso y lleva mucho tiempo
- Lo realiza una sola vez la empresa
Fine-tuning (La especialización)
- Conjunto de datos más pequeño y específico
- Se ajusta para tareas particulares (chat, código, etc.)
- Mucho más barato y rápido
- Puede hacerlo cualquiera con los recursos necesarios
RLHF (Haciéndolo útil)
- Evaluadores humanos puntúan las respuestas
- El modelo aprende a producir respuestas mejor valoradas
- Hace que las salidas sean más útiles y menos dañinas
- Es lo que convierte GPT en ChatGPT
Puntos clave
✅ Los LLM se entrenan con miles de millones de muestras de texto de internet y libros
✅ Entrenar significa ajustar parámetros para predecir mejor el texto
✅ El modelo aprende patrones y relaciones, no hechos verificados
✅ Las limitaciones de los datos de entrenamiento (sesgo, antigüedad, calidad) afectan los resultados
✅ El fine-tuning y RLHF hacen que los modelos base sean más útiles
Piénselo
- ¿Por qué un LLM podría dar información desactualizada sobre un evento reciente?
- Si internet contiene información verdadera y falsa, ¿cómo podría eso afectar a un LLM?
- ¿Por qué una empresa querría hacer fine-tuning a un modelo pre-entrenado en lugar de entrenar desde cero?
Próximos pasos
Ahora veamos el mecanismo central en Capítulo 2: Predicción de la siguiente palabra.