Capítulo 1: Modelos de Difusão Explicados
A Tecnologia por Trás das Imagens de IA
Modelos de difusão são a tecnologia revolucionária que possibilitou a revolução da geração de imagens por IA. Entender como eles funcionam ajuda você a utilizá-los de forma mais eficaz.
O Que São Modelos de Difusão?
Modelos de difusão geram imagens aprendendo a reverter um processo de adição de ruído.
Imagine adicionar estática gradualmente a uma imagem de TV até virar puro ruído, depois aprender a reverter esse processo. É assim que os modelos de difusão funcionam.
O Processo em Duas Fases
Fase 1: Difusão Direta (Treinamento)
O modelo aprende observando imagens se transformarem em ruído:
- Começa com imagens reais
- Adiciona ruído aleatório gradualmente
- Registra cada etapa
- O modelo aprende qual ruído foi adicionado em cada etapa
Fase 2: Difusão Reversa (Geração)
Para gerar, o modelo reverte o processo:
- Começa com ruído aleatório
- Prediz e remove o ruído passo a passo
- Revela uma imagem gradualmente
- Prompts de texto guiam o que aparece
Como o Texto Guia o Processo
- Codificação de Texto: Seu prompt vira números (embeddings)
- Orientação: Esses números direcionam o processo de remoção de ruído
- Condicionamento: O modelo remove o ruído de formas que correspondem à sua descrição
Por Que os Modelos de Difusão Tiveram Sucesso
Antes da Difusão: GANs
Redes Generativas Adversariais (GANs) eram o estado da arte anterior:
| GANs | Modelos de Difusão |
|---|---|
| Difíceis de treinar | Treinamento estável |
| Problemas de colapso de modo | Melhor diversidade |
| Controle limitado | Geração guiada por texto |
| Qualidade estagnada | Melhorando rapidamente |
Principais Vantagens da Difusão
- Estabilidade no Treinamento: Muito mais fácil de treinar de forma confiável
- Qualidade: Produz imagens altamente detalhadas
- Diversidade: Gera resultados variados
- Controle: Responde bem à orientação por texto
- Flexibilidade: Funciona para vários estilos e temas
Os Componentes Técnicos
1. Arquitetura U-Net
A rede neural que prevê o ruído a ser removido:
- Encoder: Comprime a imagem
- Bottleneck: Processa em baixa resolução
- Decoder: Expande de volta para resolução total
- Conexões de atalho: Preservam detalhes
2. Codificador de Texto (CLIP)
Converte texto em representações numéricas:
- Treinado em pares de imagem-texto
- Entende conceitos visuais a partir do texto
- Cria um espaço compartilhado para texto e imagens
3. Espaço Latente
Muitos modelos trabalham no "espaço latente" para eficiência:
- Comprime imagens em representações menores
- Processa a versão comprimida
- Expande de volta para imagens completas
- Muito mais rápido que o processamento em espaço de pixels
Como a Geração Realmente Funciona
Exemplo Passo a Passo
Prompt: "Um golden retriever brincando em folhas de outono"
Step 1: Start with random noise
Step 2: Model predicts: "This noise should become dog-shaped here"
Step 3: Remove that predicted noise
Step 4: Model predicts: "These areas should have fur texture"
Step 5: Remove that noise
Step 6: Continue for 20-50 steps
Step 7: Final image emerges
Parâmetros Principais
Steps: Quantas iterações de remoção de ruído
- Mais passos = mais detalhes, geração mais lenta
- Faixa típica: 20-50 passos
Guidance Scale (CFG): O quanto seguir fielmente o prompt
- Mais alto = interpretação mais literal
- Mais baixo = mais liberdade criativa
- Faixa típica: 7-12
Seed: Ponto de partida aleatório
- Mesmo seed + mesmo prompt = mesma imagem
- Útil para reprodutibilidade
Tipos de Modelos de Difusão
1. Difusão em Espaço de Pixels
- Atua diretamente nos pixels da imagem
- Potencial de qualidade mais alto
- Muito lento e consome muita memória
- Exemplo: DDPM original
2. Difusão Latente
- Atua em representações comprimidas
- Muito mais rápido e eficiente
- Excelente qualidade
- Exemplo: Stable Diffusion
3. Difusão em Cascata
- Gera primeiro em baixa resolução
- Faz upscale com modelos adicionais
- Potencial de qualidade mais alto
- Exemplo: DALL-E 2, Imagen
Entendendo a Qualidade da Imagem
O Que Determina a Qualidade?
- Dados de Treinamento: Qualidade e diversidade das imagens usadas no treinamento
- Tamanho do Modelo: Modelos maiores geralmente produzem melhores resultados
- Passos: Mais etapas de remoção de ruído = mais detalhes
- Orientação: Escala CFG adequada para a tarefa
- Qualidade do Prompt: Descrições claras e detalhadas
Problemas Comuns
| Problema | Causa | Solução |
|---|---|---|
| Imagens borradas | Poucos passos | Aumente os passos |
| Assunto errado | Prompt vago | Seja mais específico |
| Anatomia estranha | Limitações do modelo | Use prompts negativos |
| Estilo inconsistente | Termos conflitantes no prompt | Simplifique o prompt |
Difusão Latente: A Abordagem Eficiente
Stable Diffusion e modelos similares usam difusão latente:
Por Que Espaço Latente?
- Imagem 512×512 = 786.432 valores para processar
- Latente 64×64 = 12.288 valores para processar
- 64× mais eficiente!
O Papel dos Classificadores
Classifier-Free Guidance
Modelos de difusão modernos usam "classifier-free guidance":
- Geram duas versões: com e sem prompt
- Amplificam a diferença
- Resulta em maior aderência ao prompt
É por isso que existe o parâmetro "guidance scale".
Principais Aprendizados
✅ Modelos de difusão aprendem a reverter um processo de adição de ruído
✅ Prompts de texto guiam o que emerge do ruído
✅ Difusão latente torna a geração rápida e eficiente
✅ Parâmetros principais: passos, guidance scale, seed
✅ A qualidade depende dos dados de treinamento, tamanho do modelo e prompts
✅ Entender o processo ajuda a criar prompts melhores
Próximos Passos
Agora vamos comparar as principais plataformas em Capítulo 2: DALL-E, Midjourney, Stable Diffusion.