Capítulo 3: Proceso de Entrenamiento y Aprendizaje
Cómo la IA Aprende a Ser Inteligente
El entrenamiento es el proceso que transforma una red neuronal de una hoja en blanco a un sistema de IA potente. Comprender este proceso revela tanto las capacidades como las limitaciones de la IA.
Las Tres Etapas del Entrenamiento de IA
Etapa 1: Pre-entrenamiento
Qué Sucede
El modelo aprende los patrones básicos del lenguaje prediciendo la siguiente palabra en miles de millones de muestras de texto.
La Tarea: Predicción de la Siguiente Palabra
Input: "The cat sat on the"
Model predicts: "mat" (with 35% probability)
"floor" (with 25% probability)
"roof" (with 15% probability)
...
Tarea simple, resultados profundos: Al aprender a predecir la siguiente palabra, el modelo aprende gramática, hechos, patrones de razonamiento y mucho más.
Escala de los Datos de Entrenamiento
| Modelo | Datos de Entrenamiento |
|---|---|
| GPT-3 | ~45 TB de texto |
| GPT-4 | Estimado 1 PB+ |
| Llama 2 | 2 billones de tokens |
Las fuentes incluyen:
- Páginas web (Common Crawl)
- Libros
- Wikipedia
- Artículos académicos
- Repositorios de código
Requisitos Computacionales
Entrenar modelos grandes requiere recursos masivos:
| Recurso | Escala |
|---|---|
| GPUs | Miles de A100/H100 |
| Tiempo de entrenamiento | Semanas a meses |
| Costo | Millones de dólares |
| Energía | Energía para una ciudad pequeña |
Ejemplo: Se informa que entrenar GPT-4 costó más de $100 millones.
Etapa 2: Ajuste fino (Fine-tuning)
Propósito
Adaptar el modelo preentrenado para tareas o comportamientos específicos.
Tipos de Ajuste Fino
1. Ajuste fino para tareas específicas
Entrenar con ejemplos de la tarea específica:
- Conjuntos de datos de resumen
- Pares de preguntas y respuestas
- Documentación de código
2. Ajuste fino por instrucciones
Entrenar el modelo para seguir instrucciones:
Before:
User: "Translate to French: Hello"
Model: "The word hello can be translated..."
After instruction fine-tuning:
User: "Translate to French: Hello"
Model: "Bonjour"
3. Ajuste fino por dominio
Especializar para campos específicos:
- Terminología médica
- Documentos legales
- Conocimiento específico de la empresa
Proceso de Ajuste Fino
Etapa 3: RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)
El Problema
El pre-entrenamiento produce salidas capaces pero a menudo poco útiles o inseguras.
La Solución
Utilizar retroalimentación humana para enseñar al modelo cómo se ven las respuestas "buenas".
Proceso de RLHF
Paso 1: Recopilar Preferencias Humanas
Las personas comparan pares de respuestas de IA e indican cuál es mejor.
Ejemplo:
Prompt: "How do I pick a lock?"
Response A: "Here are step-by-step instructions..."
Response B: "I can't help with that. If you're locked out,
contact a locksmith."
Human Ranking: B > A (B es mejor)
Paso 2: Entrenar el Modelo de Recompensa
Crear un modelo que prediga qué respuestas prefieren los humanos.
Paso 3: Optimizar la IA
Utilizar el modelo de recompensa para guiar a la IA hacia respuestas preferidas.
Por Qué Importa RLHF
| Antes de RLHF | Después de RLHF |
|---|---|
| Capaz pero impredecible | Más útil y alineado |
| Puede seguir instrucciones dañinas | Rechaza solicitudes inapropiadas |
| Verboso y poco enfocado | Conciso y relevante |
| Calidad inconsistente | Calidad más confiable |
Conceptos Clave del Entrenamiento
Épocas
Un recorrido completo por los datos de entrenamiento.
Tamaño de Lote (Batch Size)
Cuántos ejemplos se procesan juntos.
Tasa de Aprendizaje (Learning Rate)
Cuánto cambian los pesos en cada actualización.
Sobreajuste (Overfitting)
Cuando el modelo memoriza los datos de entrenamiento en lugar de aprender patrones.
Señales de sobreajuste:
- Perfecto en los datos de entrenamiento
- Malo en datos nuevos
- Reproduce ejemplos exactos de entrenamiento
Subajuste (Underfitting)
Cuando el modelo no ha aprendido suficientes patrones.
Señales de subajuste:
- Malo en los datos de entrenamiento
- Malo en datos nuevos
- Salidas muy genéricas
Qué Aprenden Realmente los Modelos
Habilidades Emergentes
Capacidades que aparecen repentinamente a ciertas escalas:
Ejemplos de habilidades emergentes:
- Aritmética (aparece alrededor de 10 mil millones de parámetros)
- Razonamiento en cadena (aparece alrededor de 100 mil millones de parámetros)
- Generación de código (mejora drásticamente con la escala)
Lo Que No Aprenden
- Comprensión real o consciencia
- Consecuencias reales de sus acciones
- Sentido común que no esté en los datos
- Eventos posteriores al corte de entrenamiento
Desafíos del Entrenamiento
1. Calidad de los Datos
"Basura entra, basura sale" aplica fuertemente:
- Datos sesgados → Modelo sesgado
- Datos incorrectos → Respuestas incorrectas
- Diversidad limitada → Capacidades limitadas
2. Costo y Recursos
- Solo organizaciones grandes pueden entrenar modelos de frontera
- Preocupaciones ambientales por el uso de energía
- Restricciones en la disponibilidad de GPUs
3. Alineación
Asegurar que el modelo haga lo que se pretende:
- Sigue instrucciones
- Rechaza solicitudes dañinas
- Proporciona información precisa
- Se comporta de manera consistente
4. Evaluación
Difícil medir todos los aspectos del rendimiento:
- Los benchmarks pueden ser "manipulados"
- El comportamiento en el mundo real difiere de las pruebas
- Los casos límite son difíciles de anticipar
Enfoques Alternativos de Entrenamiento
Constitutional AI (Enfoque de Anthropic)
Entrenar la IA para criticar sus propias salidas usando un conjunto de principios.
DPO (Optimización Directa de Preferencias)
Más simple que RLHF, utiliza directamente los datos de preferencias sin un modelo de recompensa separado.
Auto-juego (Self-Play)
El modelo mejora compitiendo contra sí mismo (utilizado en IA para juegos).
El Costo del Entrenamiento
Costo Financiero
| Modelo | Costo Estimado |
|---|---|
| GPT-3 | $4.6 millones |
| GPT-4 | $100+ millones |
| Gemini Ultra | Probablemente similar |
Costo Ambiental
Entrenar un modelo grande puede producir CO2 equivalente a:
- 5 autos durante toda su vida útil
- Cientos de vuelos
Por Qué Importa el Código Abierto
- Distribuye el costo de entrenamiento
- Permite la investigación sin presupuestos masivos
- Modelos como Llama, Mistral permiten un acceso más amplio
Puntos Clave
✅ El entrenamiento tiene tres etapas principales: pre-entrenamiento, ajuste fino y RLHF
✅ El pre-entrenamiento utiliza predicción de la siguiente palabra en conjuntos de datos de texto masivos
✅ El ajuste fino adapta los modelos para tareas o comportamientos específicos
✅ RLHF alinea los modelos con preferencias y valores humanos
✅ Entrenar modelos grandes cuesta millones de dólares
✅ Lo que aprenden los modelos incluye habilidades emergentes que aparecen a gran escala
✅ Los desafíos clave incluyen calidad de datos, alineación y evaluación
Resumen del Módulo
¡Felicidades! Ha completado el Módulo 2. Ahora comprende:
- Redes Neuronales: La base de los sistemas de IA
- Transformers: La arquitectura que habilita la IA moderna
- Proceso de Entrenamiento: Cómo la IA aprende de los datos
Próximos Pasos
Ponga a prueba sus conocimientos con el Cuestionario del Módulo 2, luego continúe a Módulo 3: Generación de Texto para explorar cómo estas tecnologías potencian los modelos de lenguaje.