Capítulo 1: Modelos de Difusión Explicados
La tecnología detrás de las imágenes generadas por IA
Los modelos de difusión son la tecnología revolucionaria que permitió la generación de imágenes por IA. Comprender cómo funcionan le ayuda a utilizarlos de manera más efectiva.
¿Qué son los modelos de difusión?
Los modelos de difusión generan imágenes aprendiendo a revertir un proceso de adición de ruido.
Imagine agregar estática gradualmente a la imagen de un televisor hasta que sea puro ruido, y luego aprender a revertir ese proceso. Así es esencialmente cómo funcionan los modelos de difusión.
El proceso en dos fases
Fase 1: Difusión directa (entrenamiento)
El modelo aprende observando cómo las imágenes se convierten en ruido:
- Comienza con imágenes reales
- Agrega ruido aleatorio de forma gradual
- Registra cada paso
- El modelo aprende qué ruido se añadió en cada paso
Fase 2: Difusión inversa (generación)
Para generar, el modelo revierte el proceso:
- Comienza con ruido aleatorio
- Predice y elimina el ruido paso a paso
- Revela gradualmente una imagen
- Los prompts de texto guían lo que aparece
Cómo el texto guía el proceso
- Codificación de texto: Su prompt se convierte en números (embeddings)
- Guía: Estos números dirigen el proceso de eliminación de ruido
- Condicionamiento: El modelo elimina el ruido de formas que coinciden con su descripción
Por qué los modelos de difusión tuvieron éxito
Antes de la difusión: GANs
Las Redes Generativas Antagónicas (GANs) eran el estado del arte anterior:
| GANs | Modelos de Difusión |
|---|---|
| Difíciles de entrenar | Entrenamiento estable |
| Problemas de colapso de modos | Mejor diversidad |
| Control limitado | Generación guiada por texto |
| Calidad estancada | Mejoras rápidas |
Ventajas clave de la difusión
- Estabilidad en el entrenamiento: Mucho más fácil de entrenar de manera confiable
- Calidad: Produce imágenes altamente detalladas
- Diversidad: Genera resultados variados
- Control: Responde bien a la guía por texto
- Flexibilidad: Funciona para varios estilos y temas
Los componentes técnicos
1. Arquitectura U-Net
La red neuronal que predice el ruido a eliminar:
- Codificador: comprime la imagen
- Bottleneck: procesa a baja resolución
- Decodificador: expande de nuevo a resolución completa
- Conexiones de salto: preservan detalles
2. Codificador de texto (CLIP)
Convierte texto en representaciones numéricas:
- Entrenado con pares de imagen-texto
- Comprende conceptos visuales a partir del texto
- Crea un espacio compartido para texto e imágenes
3. Espacio latente
Muchos modelos trabajan en "espacio latente" por eficiencia:
- Comprimen imágenes a representaciones más pequeñas
- Procesan la versión comprimida
- Expanden de nuevo a imágenes completas
- Mucho más rápido que el procesamiento en espacio de píxeles
Cómo funciona realmente la generación
Ejemplo paso a paso
Prompt: "Un golden retriever jugando en hojas otoñales"
Step 1: Start with random noise
Step 2: Model predicts: "This noise should become dog-shaped here"
Step 3: Remove that predicted noise
Step 4: Model predicts: "These areas should have fur texture"
Step 5: Remove that noise
Step 6: Continue for 20-50 steps
Step 7: Final image emerges
Parámetros clave
Steps: Cuántas iteraciones de eliminación de ruido
- Más pasos = más detalles, generación más lenta
- Rango típico: 20-50 pasos
Guidance Scale (CFG): Qué tan estrictamente seguir el prompt
- Más alto = interpretación más literal
- Más bajo = mayor libertad creativa
- Rango típico: 7-12
Seed: Punto de inicio aleatorio
- Mismo seed + mismo prompt = misma imagen
- Útil para reproducibilidad
Tipos de modelos de difusión
1. Difusión en espacio de píxeles
- Trabaja directamente sobre los píxeles de la imagen
- Potencial de mayor calidad
- Muy lento y requiere mucha memoria
- Ejemplo: DDPM original
2. Difusión latente
- Trabaja en una representación comprimida
- Mucho más rápido y eficiente
- Excelente calidad
- Ejemplo: Stable Diffusion
3. Difusión en cascada
- Genera primero en baja resolución
- Escala con modelos adicionales
- Potencial de mayor calidad
- Ejemplo: DALL-E 2, Imagen
Comprender la calidad de la imagen
¿Qué determina la calidad?
- Datos de entrenamiento: Calidad y diversidad de las imágenes de entrenamiento
- Tamaño del modelo: Los modelos más grandes generalmente producen mejores resultados
- Pasos: Más pasos de eliminación de ruido = más detalles
- Guía: Escala CFG adecuada para la tarea
- Calidad del prompt: Descripciones claras y detalladas
Problemas comunes
| Problema | Causa | Solución |
|---|---|---|
| Imágenes borrosas | Muy pocos pasos | Aumentar los pasos |
| Sujeto incorrecto | Prompt vago | Sea más específico |
| Anatomía extraña | Limitaciones del modelo | Use prompts negativos |
| Estilo inconsistente | Términos conflictivos en el prompt | Simplifique el prompt |
Difusión latente: el enfoque eficiente
Stable Diffusion y modelos similares usan difusión latente:
¿Por qué espacio latente?
- Imagen 512×512 = 786,432 valores a procesar
- Latente 64×64 = 12,288 valores a procesar
- ¡64× más eficiente!
El papel de los clasificadores
Guía sin clasificador
Los modelos de difusión modernos usan "guía sin clasificador":
- Generan dos versiones: con y sin prompt
- Amplifican la diferencia
- Resulta en mayor fidelidad al prompt
Por esto existe el parámetro "guidance scale".
Puntos clave
✅ Los modelos de difusión aprenden a revertir un proceso de adición de ruido
✅ Los prompts de texto guían lo que emerge del ruido
✅ La difusión latente hace que la generación sea rápida y eficiente
✅ Parámetros clave: pasos, guidance scale, seed
✅ La calidad depende de los datos de entrenamiento, el tamaño del modelo y los prompts
✅ Comprender el proceso ayuda a crear mejores prompts
Próximos pasos
Ahora comparemos las principales plataformas en Capítulo 2: DALL-E, Midjourney, Stable Diffusion.