Quiz: Módulo 5 - Tokenização & Embeddings

Pergunta 1

O que é BPE (Byte Pair Encoding)?

1. Um algoritmo de tokenização que mescla iterativamente pares de caracteres frequentes
2. Um tipo de rede neural
3. Um método de embedding
4. Um algoritmo de compressão para modelos

Pergunta 2

Qual tokenizador é usado pelo BERT?

1. BPE
2. WordPiece
3. SentencePiece
4. Unigram

Pergunta 3

Como o SentencePiece trata o texto?

1. Palavras
2. Caracteres
3. Bytes brutos (agnóstico ao idioma)
4. Sentenças

Pergunta 4

Qual era a janela de contexto do GPT-3?

1. 2K tokens
2. 4K tokens
3. 8K tokens
4. 32K tokens

Pergunta 5

Qual é a janela de contexto do Claude 3?

1. 32K tokens
2. 100K tokens
3. 200K tokens
4. 1M tokens

Pergunta 6

Por que usar chunking com sobreposição?

1. Para reduzir o tempo de processamento
2. Para preservar o contexto nas bordas dos chunks
3. Para aumentar a precisão
4. Para reduzir a contagem de tokens

Pergunta 7

O que significa RoPE?

1. Rotary Position Embedding
2. Recursive Operator for Position Encoding
3. Random Orthogonal Position Encoding
4. Relative Order Position Embedding

Pergunta 8

O que os embeddings representam?

1. IDs de tokens
2. Vetores densos que capturam significado semântico
3. Probabilidades
4. Peso de atenção

Pergunta 9

Como a similaridade semântica é normalmente medida?

1. Distância Euclidiana
2. Similaridade do cosseno
3. Distância Manhattan
4. Distância de Hamming

Pergunta 10

Qual é uma aplicação chave de embeddings?

1. Treinamento de modelo
2. Busca semântica e RAG
3. Tokenização
4. Cálculo de atenção

Pergunta 11

Qual é o tamanho típico do vocabulário para LLMs?

1. 1.000 tokens
2. 10.000 tokens
3. 30.000-50.000 tokens
4. 1.000.000 tokens

Pergunta 12

Qual a vantagem da tokenização por subpalavra?

1. Lida com palavras desconhecidas dividindo-as em subpalavras conhecidas
2. Processamento mais rápido
3. Tamanho de modelo menor
4. Melhor gramática

Pergunta 13

O que o prefixo ## indica no WordPiece?

1. Início de palavra
2. Continuação de uma palavra (não início)
3. Token especial
4. Token desconhecido

Pergunta 14

Qual modelo atingiu mais de 1M de contexto?

1. GPT-4
2. Claude 3
3. Gemini 1.5
4. LLaMA 3

Pergunta 15

Qual é a dimensão do embedding do GPT-3?

1. 768
2. 1024
3. 12288
4. 4096

Pergunta 16-30

(Perguntas adicionais cobrindo casos extremos de tokenização, aplicações de embedding, gerenciamento de janela de contexto e implementações práticas)

Pergunta 16

O que acontece quando uma palavra não está no vocabulário do tokenizador?

1. Ela é ignorada
2. Ela é dividida em subpalavras ou caracteres conhecidos
3. Um erro é gerado
4. Ela é substituída por [UNK]

Pergunta 17

Qual o efeito do tamanho do vocabulário no modelo?

1. Vocabulário maior = mais parâmetros na camada de embedding
2. Nenhum efeito
3. Afeta apenas a velocidade de treinamento
4. Afeta apenas a velocidade de inferência

Pergunta 18

Qual biblioteca é popular para embeddings de sentenças?

1. sentence-transformers
2. spaCy
3. NLTK
4. gensim

Pergunta 19

Qual o propósito de tokens especiais como [CLS] e [SEP]?

1. Marcar limites de sentenças e habilitar tarefas especiais
2. Reduzir o tamanho do vocabulário
3. Acelerar a tokenização
4. Melhorar a precisão

Pergunta 20

O que é a fusão de tokens em tokenizadores?

1. Combinar pares de tokens frequentes em tokens únicos
2. Remover tokens duplicados
3. Combinar embeddings
4. Reduzir o vocabulário

Pergunta 21

Por que a tokenização em nível de byte é benéfica?

1. Pode representar qualquer entrada sem tokens UNK
2. Processamento mais rápido
3. Vocabulário menor
4. Melhor precisão

Pergunta 22

Qual a relação entre tokens e palavras?

1. 1 token = 1 palavra sempre
2. 1 palavra pode ser vários tokens; 1 token pode ser parte de uma palavra
3. 1 token = 1 caractere
4. 1 token = 1 sentença

Pergunta 23

Aproximadamente quantos tokens equivalem a uma palavra em inglês?

1. 0,5 tokens
2. 1 token
3. ~1,3-1,5 tokens
4. 3 tokens

Pergunta 24

De onde é aprendido o embedding de um token?

1. Rotulagem manual
2. Dados de treinamento durante o treinamento do modelo
3. Definições de dicionário
4. Feedback do usuário

Pergunta 25

O que acontece ao atingir o limite da janela de contexto?

1. O modelo não pode processar tokens adicionais; é necessário truncamento ou chunking
2. O processamento fica mais lento
3. O modelo resume automaticamente
4. A qualidade melhora

Pergunta 26

Qual é o problema de complexidade da atenção com contextos longos?

1. O(n²) de memória e computação para sequência de comprimento n
2. O(n) de uso de memória
3. Sem problema de complexidade
4. Afeta apenas o treinamento

Pergunta 27

Para que serve o ALiBi?

1. Codificação de posição por meio de vieses na atenção
2. Tokenização
3. Compressão de embeddings
4. Construção de vocabulário

Pergunta 28

A que os embeddings de posição são somados?

1. Embeddings de tokens
2. Peso de atenção
3. Logits de saída
4. Função de perda

Pergunta 29

O que é quantização de embeddings?

1. Reduzir a precisão dos valores de embedding para economizar memória
2. Contar embeddings
3. Medir a qualidade do embedding
4. Normalizar embeddings

Pergunta 30

Qual o benefício de usar o mesmo tokenizador para todas as variantes do LLaMA?

1. Mapeamento consistente de token para texto e troca de modelo facilitada
2. Tokenização mais rápida
3. Melhor precisão
4. Vocabulário menor

---

Nota de corte: 24/30 (80%)

← Capítulo 3Módulo 6 →