Pular para o conteúdo principal

Capítulo 2: Arquitetura dos Transformers

A Arquitetura que Mudou Tudo​

A arquitetura Transformer, introduzida em 2017, revolucionou a IA. Todo grande modelo de linguagem (GPT, Claude, Gemini, Llama) é construído sobre essa base.

Antes dos Transformers: O Problema​

Abordagens anteriores para processar dados sequenciais (como texto) tinham grandes limitações:

Redes Neurais Recorrentes (RNNs)​

Problemas:

  1. Processamento sequencial: Uma palavra de cada vez = lento
  2. Esquecimento: Relações de longo alcance se perdem
  3. Paralelização limitada: Não aproveita GPUs modernas

Analogia: Como ler um livro, mas só lembrar claramente das últimas páginas.

A Solução Transformer​

O artigo de 2017 "Attention Is All You Need" propôs uma ideia radical: processar todas as palavras simultaneamente usando um mecanismo de "atenção".

Inovação principal: Cada palavra pode "prestar atenção" a qualquer outra palavra, independentemente da posição.

Entendendo Atenção​

A Ideia Central​

A atenção permite que o modelo foque nas partes relevantes da entrada ao processar cada elemento.

Exemplo: "O animal não atravessou a rua porque ele estava muito cansado."

A que "ele" se refere? Um humano sabe que "ele" = "animal" porque animais ficam cansados.

O mecanismo de atenção aprende essas relações:

Autoatenção Explicada​

Para cada palavra, o modelo pergunta: "Quanto devo prestar atenção em cada outra palavra?"

Passo a passo:

  1. Query (Q): "O que estou procurando?"
  2. Key (K): "O que eu contenho?"
  3. Value (V): "Que informação eu forneço?"

Analogia: Pesquisa em Biblioteca​

Imagine que você está pesquisando um tema:

  • Query: Sua pergunta de pesquisa
  • Keys: Títulos e resumos dos livros
  • Values: O conteúdo real dos livros
  • Atenção: O quão relevante cada livro é para sua pergunta

Arquitetura Transformer​

Estrutura Completa​

Componentes Principais​

1. Camada de Embedding​

Converte palavras em vetores numéricos (listas de números) que capturam significado.

"cat" → [0.2, -0.5, 0.8, 0.1, ...]
"dog" → [0.3, -0.4, 0.7, 0.2, ...]

Palavras semelhantes têm vetores semelhantes!

2. Codificação Posicional​

Adiciona informação sobre a posição das palavras, já que a atenção processa tudo simultaneamente.

Sem isso, "Cachorro morde homem" e "Homem morde cachorro" pareceriam iguais.

3. Multi-Head Attention​

Vários mecanismos de atenção rodando em paralelo, cada um focando em aspectos diferentes:

  • Uma cabeça pode focar em gramática
  • Outra em significado
  • Outra em contexto

4. Redes Feed-Forward​

Camadas padrão de rede neural que processam cada posição de forma independente.

5. Normalização de Camada​

Mantém os valores em uma faixa razoável, melhorando a estabilidade do treinamento.

Tipos de Modelos Transformer​

1. Apenas Encoder (ex.: BERT)​

  • Processa a entrada para criar representações
  • Bom para: Classificação, tarefas de compreensão
  • Pode ver todo o contexto (bidirecional)

2. Apenas Decoder (ex.: GPT, Claude)​

  • Gera saída palavra por palavra
  • Bom para: Geração de texto
  • Vê apenas o contexto anterior (unidirecional)

3. Encoder-Decoder (ex.: T5, BART)​

  • Encoder processa a entrada, decoder gera a saída
  • Bom para: Tradução, sumarização

Por que os Transformers se Destacam​

1. Paralelização​

Podem processar todas as posições simultaneamente → Treinamento muito mais rápido

2. Dependências de Longo Alcance​

Atenção conecta diretamente quaisquer duas posições → Melhor compreensão de contexto

3. Escalabilidade​

A arquitetura escala bem com mais dados e parâmetros → Permite modelos gigantes

4. Transfer Learning​

Modelos pré-treinados podem ser adaptados para várias tarefas → Desenvolvimento mais eficiente

Janela de Contexto​

A janela de contexto é a quantidade máxima de texto que um transformer pode processar de uma vez.

ModeloJanela de Contexto
GPT-34.096 tokens (~3.000 palavras)
GPT-4128.000 tokens (~100.000 palavras)
Claude 3200.000 tokens (~150.000 palavras)
Gemini 1.51.000.000+ tokens

Por que isso importa:

  • Contexto maior = Melhor compreensão de documentos longos
  • Pode referenciar informações de mais cedo em conversas
  • Permite processar livros ou bases de código inteiras

Tokens: Como o Texto é Processado​

Transformers não processam palavras—eles processam tokens.

O que é um Token?​

Um token é um pedaço de texto, geralmente:

  • Uma palavra comum: "the" = 1 token
  • Parte de uma palavra: "understanding" = "under" + "standing" = 2 tokens
  • Um sinal de pontuação: "." = 1 token

Exemplo​

Input: "ChatGPT is amazing!"

Tokens: ["Chat", "G", "PT", " is", " amazing", "!"]

Aproximadamente: 1 token ≈ 4 caracteres ou ¾ de uma palavra em inglês

Limitações dos Transformers​

1. Complexidade Quadrática​

A atenção compara cada token com todos os outros:

  • 1.000 tokens → 1.000.000 comparações
  • 10.000 tokens → 100.000.000 comparações

Isso limita o tamanho prático do contexto.

2. Sem Raciocínio Verdadeiro​

Transformers reconhecem padrões; eles não realmente entendem ou raciocinam.

3. Estático Após o Treinamento​

O conhecimento do modelo fica congelado no momento do treinamento (sem recuperação aumentada).

4. Risco de Alucinação​

A natureza de reconhecimento de padrões pode gerar respostas confiantes, porém incorretas.

Principais Pontos​

✅ Transformers processam toda a entrada simultaneamente usando atenção

✅ Atenção permite que cada elemento se relacione com todos os outros

✅ Essa arquitetura impulsiona todos os principais modelos modernos de IA

✅ A janela de contexto determina quanto texto pode ser processado

✅ O texto é processado como tokens, não palavras

✅ Diferentes tipos de transformer (encoder, decoder) são adequados para tarefas diferentes

Próximos Passos​

Agora que você entende a arquitetura, vamos explorar como esses modelos são treinados em Capítulo 3: Treinamento e Aprendizado.