Quiz: Módulo 2 - Arquitetura Transformer

Teste seu entendimento sobre a arquitetura Transformer. Este quiz contém 30 questões cobrindo mecanismos de atenção, multi-head attention e codificação posicional.

---

Capítulo 1: Mecanismo de Atenção

Questão 1

Na fórmula de atenção, o que representa o Query (Q)?

1. O que estamos procurando ou buscando
2. O conteúdo a ser recuperado
3. O índice na memória
4. A saída da atenção

Questão 2

Por que o score de atenção é escalado por √d_k?

1. Para tornar o cálculo mais rápido
2. Para evitar que os produtos escalares fiquem muito grandes, o que levaria o softmax para regiões de baixo gradiente
3. Para normalizar a saída para comprimento unitário
4. Para reduzir o uso de memória

Questão 3

Qual é o formato da matriz de pesos de atenção para uma sequência de comprimento n?

1. n × d_model
2. d_k × d_v
3. n × n
4. 1 × n

Questão 4

Na atenção causal (mascarada), o que a máscara impede?

1. Olhar para a mesma posição
2. Olhar para posições futuras
3. Olhar para posições passadas
4. Olhar apenas para tokens de padding

Questão 5

Qual é a complexidade de tempo da atenção padrão em relação ao comprimento da sequência n?

1. O(n)
2. O(n log n)
3. O(n²)
4. O(n³)

Questão 6

Qual valor é usado para mascarar posições na atenção?

1. 0
2. 1
3. -infinito (antes do softmax)
4. Um valor aleatório

Questão 7

O que a matriz Value (V) contém?

1. Os critérios de busca
2. Os scores de relevância
3. O conteúdo real a ser recuperado com base nos pesos de atenção
4. A informação de posição

Questão 8

O que o softmax garante sobre os pesos de atenção?

1. Que eles somam 1 para cada posição de query
2. Que todos são iguais
3. Que são binários (0 ou 1)
4. Que são sempre inteiros positivos

Questão 9

Flash Attention aborda principalmente qual problema?

1. Precisão da atenção
2. Eficiência de memória da atenção
3. Apenas velocidade de treinamento
4. Tamanho do modelo

Questão 10

Como a saída final da atenção é calculada?

1. Soma de Q, K e V
2. Produto de Q e K
3. Soma ponderada de V usando os pesos de atenção
4. Máximo dos pesos de atenção

---

Capítulo 2: Self-Attention e Multi-Head Attention

Questão 11

O que diferencia self-attention de cross-attention?

1. Em self-attention, Q, K e V vêm todos do mesmo input
2. Self-attention usa mais parâmetros
3. Self-attention é mais rápido
4. Self-attention só funciona com texto

Questão 12

Se d_model = 512 e temos 8 cabeças de atenção, qual é o d_k por cabeça?

1. 512
2. 256
3. 128
4. 64

Questão 13

Qual é o principal benefício do multi-head attention?

1. Reduz o tempo de computação
2. Permite que o modelo atenda a diferentes subespaços de representação
3. Usa menos parâmetros
4. Elimina a necessidade de codificação posicional

Questão 14

No multi-head attention, como as saídas das diferentes cabeças são combinadas?

1. Média
2. Soma
3. Concatenadas e depois projetadas
4. Max pooling

Questão 15

Onde o cross-attention é tipicamente utilizado?

1. Apenas em codificadores
2. Em arquiteturas encoder-decoder, onde o decoder atende à saída do encoder
3. Apenas em modelos GPT
4. Nunca em Transformers

Questão 16

Por que as cabeças de atenção podem ser computadas em paralelo?

1. O cálculo de cada cabeça é independente das outras
2. Elas compartilham pesos
3. Processam sequências diferentes
4. Usam funções de ativação diferentes

Questão 17

O que diferentes cabeças de atenção podem aprender?

1. Os mesmos padrões para redundância
2. Diferentes padrões linguísticos (sintaxe, semântica, etc.)
3. Apenas informação posicional
4. Ruído aleatório

Questão 18

Qual é a dimensão de saída do multi-head attention com d_model = 512?

1. Depende do número de cabeças
2. 64 por posição
3. 512 por posição (igual ao d_model)
4. 1024 por posição

Questão 19

Por que o self-attention é permutacionalmente equivariável?

1. Porque usa RNNs internamente
2. Porque os pesos de atenção dependem apenas das similaridades par a par, não das posições
3. Por causa da função softmax
4. Não é permutacionalmente equivariável

Questão 20

Qual é o papel da projeção de saída (W_O) no multi-head attention?

1. Calcular os pesos de atenção
2. Projetar as saídas concatenadas das cabeças de volta para d_model
3. Adicionar informação posicional
4. Calcular a perda

---

Capítulo 3: Codificação Posicional e Embeddings

Questão 21

Por que os Transformers precisam de codificação posicional?

1. Para reduzir a computação
2. Porque o self-attention sozinho é invariante à permutação e perde a informação de posição
3. Para aumentar a capacidade do modelo
4. Para lidar com sequências de comprimento variável

Questão 22

Na codificação posicional senoidal, o que varia entre as diferentes dimensões?

1. A amplitude
2. A frequência de oscilação
3. O deslocamento de fase
4. Nada - todas as dimensões são idênticas

Questão 23

Qual é o intervalo de valores para a codificação posicional senoidal?

1. 0 a 1
2. 0 ao infinito
3. -1 a 1
4. Ilimitado

Questão 24

Como os embeddings de tokens são combinados com as codificações posicionais?

1. Concatenados
2. Somados
3. Multiplicados
4. Max pooling

Questão 25

Qual é uma vantagem dos embeddings posicionais aprendidos em relação aos senoidais?

1. Melhor extrapolação para sequências longas
2. Não requer parâmetros
3. Podem se adaptar a padrões específicos dos dados de treinamento
4. Funciona com qualquer comprimento de sequência

Questão 26

O que é RoPE (Rotary Position Embedding)?

1. Um tipo de mecanismo de atenção
2. Um método que codifica posição rotacionando os embeddings
3. Um objetivo de treinamento
4. Um tipo de normalização

Questão 27

Quais modelos usam RoPE comumente?

1. Transformer original e BERT
2. LLaMA, Mistral e muitos LLMs modernos
3. Apenas GPT-2
4. Apenas modelos encoder

Questão 28

Por que o embedding do token é escalado por √d_model no Transformer original?

1. Para reduzir o uso de memória
2. Para balancear a magnitude dos embeddings com as codificações posicionais
3. Para normalizar os gradientes
4. Para aumentar a capacidade do modelo

Questão 29

Qual é a abordagem do ALiBi para codificação de posição?

1. Adicionando vetores de posição aos embeddings
2. Rotacionando os vetores de query e key
3. Adicionando viés baseado em distância diretamente aos scores de atenção
4. Aprendendo embeddings de posição separados

Questão 30

Qual é uma limitação dos embeddings posicionais aprendidos?

1. Exigem muita computação
2. Possuem um comprimento máximo de sequência fixo
3. Não conseguem capturar posições relativas
4. Não funcionam com multi-head attention

---

Quiz Concluído!

Parabéns por concluir o Quiz do Módulo 2! Revise as questões que achou desafiadoras e revisite as seções relevantes do capítulo.

Nota de aprovação: 24/30 (80%)

---

← Capítulo 3: Codificação Posicional

Módulo 3: Treinando LLMs →