Módulo 2: Imersão na Arquitetura Transformer
Visão Geral do Módulo
A arquitetura Transformer é a base de todos os modelos de linguagem de grande porte modernos. Este módulo fornece uma compreensão técnica abrangente de como os Transformers funcionam, desde o mecanismo fundamental de atenção até a arquitetura completa.
Objetivos de Aprendizagem
Ao final deste módulo, você será capaz de:
- ✅ Explicar o mecanismo de atenção de forma matemática e intuitiva
- ✅ Implementar a atenção por produto escalar com escala do zero
- ✅ Compreender self-attention e multi-head attention
- ✅ Descrever o papel do positional encoding
- ✅ Traçar o fluxo de dados por um bloco completo de Transformer
Conteúdo do Módulo
Capítulo 1: Mecanismo de Atenção
Imersão em operações de Query, Key, Value, atenção por produto escalar com escala e a intuição por trás do mecanismo de atenção.
Capítulo 2: Self-Attention e Multi-Head Attention
Compreendendo como a atenção é aplicada dentro de uma única sequência e os benefícios de múltiplas cabeças de atenção.
Capítulo 3: Positional Encoding e Embeddings
Por que a posição é importante em Transformers, codificação senoidal, embeddings aprendidos e representações de tokens.
Prévia dos Conceitos-Chave
| Conceito | Definição |
|---|---|
| Atenção | Mecanismo para ponderar a relevância de diferentes partes da entrada |
| Query, Key, Value | Três projeções usadas para calcular a atenção |
| Self-Attention | Atenção onde a entrada se auto-observa |
| Multi-Head | Execução de múltiplas operações de atenção em paralelo |
| Positional Encoding | Informação sobre a posição dos tokens na sequência |
Pré-requisitos
Este módulo pressupõe familiaridade com:
- Álgebra linear (multiplicação de matrizes, produtos escalares)
- Noções básicas de redes neurais (camadas, funções de ativação)
- Fundamentos de Python e PyTorch
Estimativa de Tempo
- Leitura: 3-4 horas
- Exercícios de programação: 2-3 horas
- Quiz: 30-45 minutos
- Total: 6-8 horas