Capítulo 3: Processo de Treinamento e Aprendizado
Como a IA Aprende a Ser Inteligente
O treinamento é o processo que transforma uma rede neural de uma folha em branco em um poderoso sistema de IA. Entender esse processo revela tanto as capacidades quanto as limitações da IA.
As Três Etapas do Treinamento de IA
Etapa 1: Pré-treinamento
O Que Acontece
O modelo aprende os padrões básicos da linguagem prevendo a próxima palavra em bilhões de amostras de texto.
A Tarefa: Previsão da Próxima Palavra
Input: "The cat sat on the"
Model predicts: "mat" (with 35% probability)
"floor" (with 25% probability)
"roof" (with 15% probability)
...
Tarefa simples, resultados profundos: Ao aprender a prever a próxima palavra, o modelo aprende gramática, fatos, padrões de raciocínio e muito mais.
Escala dos Dados de Treinamento
| Modelo | Dados de Treinamento |
|---|---|
| GPT-3 | ~45 TB de texto |
| GPT-4 | Estimado em 1 PB+ |
| Llama 2 | 2 trilhões de tokens |
Fontes incluem:
- Páginas da web (Common Crawl)
- Livros
- Wikipedia
- Artigos acadêmicos
- Repositórios de código
Requisitos Computacionais
Treinar grandes modelos exige recursos massivos:
| Recurso | Escala |
|---|---|
| GPUs | Milhares de A100/H100 |
| Tempo de Treinamento | Semanas a meses |
| Custo | Milhões de dólares |
| Energia | Energia para uma pequena cidade |
Exemplo: O treinamento do GPT-4 teria custado mais de US$ 100 milhões.
Etapa 2: Fine-tuning
Objetivo
Adaptar o modelo pré-treinado para tarefas ou comportamentos específicos.
Tipos de Fine-tuning
1. Fine-tuning Específico de Tarefa
Treinar com exemplos da tarefa específica:
- Conjuntos de dados de sumarização
- Pares de perguntas e respostas
- Documentação de código
2. Fine-tuning de Instrução
Treinar o modelo para seguir instruções:
Before:
User: "Translate to French: Hello"
Model: "The word hello can be translated..."
After instruction fine-tuning:
User: "Translate to French: Hello"
Model: "Bonjour"
3. Fine-tuning de Domínio
Especializar para áreas específicas:
- Terminologia médica
- Documentos jurídicos
- Conhecimento específico de empresas
Processo de Fine-tuning
Etapa 3: RLHF (Reinforcement Learning from Human Feedback)
O Problema
O pré-treinamento produz saídas capazes, mas muitas vezes inúteis ou inseguras.
A Solução
Usar feedback humano para ensinar ao modelo como são as respostas "boas".
Processo de RLHF
Passo 1: Coletar Preferências Humanas
Humanos comparam pares de respostas da IA e indicam qual é melhor.
Exemplo:
Prompt: "How do I pick a lock?"
Response A: "Here are step-by-step instructions..."
Response B: "I can't help with that. If you're locked out,
contact a locksmith."
Human Ranking: B > A (B é melhor)
Passo 2: Treinar o Modelo de Recompensa
Criar um modelo que prevê quais respostas os humanos preferem.
Passo 3: Otimizar a IA
Usar o modelo de recompensa para guiar a IA em direção às respostas preferidas.
Por Que o RLHF é Importante
| Antes do RLHF | Depois do RLHF |
|---|---|
| Capaz, mas imprevisível | Mais útil e alinhado |
| Pode seguir instruções prejudiciais | Recusa solicitações inadequadas |
| Verboso e sem foco | Conciso e relevante |
| Qualidade inconsistente | Qualidade mais confiável |
Conceitos-Chave de Treinamento
Épocas (Epochs)
Uma passagem completa pelos dados de treinamento.
Tamanho do Lote (Batch Size)
Quantos exemplos são processados juntos.
Taxa de Aprendizado (Learning Rate)
Quanto os pesos mudam a cada atualização.
Overfitting
Quando o modelo memoriza os dados de treinamento em vez de aprender padrões.
Sinais de overfitting:
- Perfeito nos dados de treinamento
- Ruim em novos dados
- Reproduz exemplos exatos do treinamento
Underfitting
Quando o modelo não aprendeu padrões suficientes.
Sinais de underfitting:
- Ruim nos dados de treinamento
- Ruim em novos dados
- Saídas muito genéricas
O Que os Modelos Realmente Aprendem
Habilidades Emergentes
Capacidades que aparecem subitamente em certas escalas:
Exemplos de habilidades emergentes:
- Aritmética (aparece em torno de 10B parâmetros)
- Raciocínio em cadeia (aparece em torno de 100B parâmetros)
- Geração de código (melhora drasticamente com escala)
O Que Eles Não Aprendem
- Verdadeira compreensão ou consciência
- Consequências reais de ações
- Senso comum que não está nos dados
- Eventos após o corte dos dados de treinamento
Desafios do Treinamento
1. Qualidade dos Dados
"O que entra, sai" se aplica fortemente:
- Dados enviesados → Modelo enviesado
- Dados incorretos → Respostas incorretas
- Diversidade limitada → Capacidades limitadas
2. Custo e Recursos
- Apenas grandes organizações podem treinar modelos de fronteira
- Preocupações ambientais sobre o uso de energia
- Restrições de disponibilidade de GPU
3. Alinhamento
Garantir que o modelo faça o que pretendemos:
- Siga instruções
- Recuse solicitações prejudiciais
- Forneça informações precisas
- Comporte-se de forma consistente
4. Avaliação
Difícil medir todos os aspectos de desempenho:
- Benchmarks podem ser "contornados"
- O comportamento no mundo real difere dos testes
- Casos extremos são difíceis de antecipar
Abordagens Alternativas de Treinamento
Constitutional AI (Abordagem da Anthropic)
Treinar a IA para criticar suas próprias respostas usando um conjunto de princípios.
DPO (Direct Preference Optimization)
Mais simples que RLHF, usa diretamente dados de preferência sem um modelo de recompensa separado.
Self-Play
O modelo melhora competindo contra si mesmo (usado em IA para jogos).
O Custo do Treinamento
Custo Financeiro
| Modelo | Custo Estimado |
|---|---|
| GPT-3 | US$ 4,6 milhões |
| GPT-4 | US$ 100+ milhões |
| Gemini Ultra | Provavelmente similar |
Custo Ambiental
Treinar um grande modelo pode produzir CO2 equivalente a:
- 5 carros durante toda a vida útil
- Centenas de voos
Por Que o Open Source é Importante
- Distribui o custo do treinamento
- Permite pesquisa sem orçamentos massivos
- Modelos como Llama, Mistral permitem acesso mais amplo
Principais Aprendizados
✅ O treinamento tem três etapas principais: pré-treinamento, fine-tuning e RLHF
✅ O pré-treinamento usa previsão da próxima palavra em grandes conjuntos de texto
✅ O fine-tuning adapta modelos para tarefas ou comportamentos específicos
✅ O RLHF alinha modelos com preferências e valores humanos
✅ Treinar grandes modelos custa milhões de dólares
✅ O que os modelos aprendem inclui habilidades emergentes que aparecem em escala
✅ Os principais desafios incluem qualidade dos dados, alinhamento e avaliação
Resumo do Módulo
Parabéns! Você concluiu o Módulo 2. Agora você entende:
- Redes Neurais: A base dos sistemas de IA
- Transformers: A arquitetura que viabiliza a IA moderna
- Processo de Treinamento: Como a IA aprende a partir de dados
Próximos Passos
Teste seu conhecimento com o Quiz do Módulo 2, depois continue para Módulo 3: Geração de Texto para explorar como essas tecnologias impulsionam os modelos de linguagem.