Quiz: Módulo 3 - Treinamento de LLMs

Teste seu entendimento sobre treinamento de LLMs. 30 questões cobrindo pré-treinamento, processamento de dados e treinamento distribuído.

---

Pergunta 1

Qual é o objetivo de pré-treinamento para modelos no estilo GPT?

1. Previsão do próximo token (causal language modeling)
2. Masked language modeling
3. Classificação de sentenças
4. Tradução

Pergunta 2

Na masked language modeling, qual porcentagem de tokens normalmente é mascarada?

1. 5%
2. 15%
3. 50%
4. 80%

Pergunta 3

Qual é a principal vantagem do causal LM sobre o masked LM para LLMs?

1. Treinamento mais rápido
2. Melhor adequação para geração de texto
3. Melhor compreensão
4. Menos dados necessários

Pergunta 4

Por que a deduplicação é importante nos dados de treinamento?

1. Para reduzir custos de armazenamento
2. Para evitar memorização e melhorar a generalização
3. Para acelerar a tokenização
4. Para melhorar a gramática

Pergunta 5

O que é o Common Crawl?

1. Um navegador web
2. Um grande dataset de páginas web comumente usado para treinamento de LLM
3. Um mecanismo de busca
4. Um filtro de qualidade

Pergunta 6

O que é paralelismo de dados?

1. Cada GPU processa dados diferentes com o mesmo modelo
2. Cada GPU possui camadas de modelo diferentes
3. Cada GPU processa os mesmos dados
4. Divisão de matrizes de pesos entre GPUs

Pergunta 7

Qual é a limitação do paralelismo puro de dados?

1. Treinamento lento
2. O modelo deve caber na memória de uma única GPU
3. Baixa acurácia
4. Requer hardware especial

Pergunta 8

No paralelismo de tensores, o que é dividido entre as GPUs?

1. Dados de treinamento
2. Diferentes camadas do modelo
3. Matrizes de pesos individuais dentro das camadas
4. Apenas attention heads

Pergunta 9

O que significa ZeRO?

1. Zero Redundancy Optimizer
2. Zero Error Regularization Objective
3. Zoned Efficient Resource Optimization
4. Zero Entropy Reduction Operation

Pergunta 10

O que o ZeRO-3 particiona?

1. Apenas estados do otimizador
2. Estados do otimizador e gradientes
3. Estados do otimizador, gradientes e parâmetros
4. Apenas os dados de treinamento

Pergunta 11

Qual é a recomendação de escalonamento Chinchilla para tokens de treinamento?

1. 1 token por parâmetro
2. 10 tokens por parâmetro
3. ~20 tokens por parâmetro
4. 100 tokens por parâmetro

Pergunta 12

Qual precisão é comumente usada no treinamento de LLM para economizar memória?

1. FP64
2. FP32
3. BF16 (bfloat16)
4. INT8

Pergunta 13

O que é paralelismo de pipeline?

1. Processamento de dados em lotes
2. Distribuição de diferentes camadas em diferentes GPUs
3. Tokenização paralela
4. Carregamento de dados concorrente

Pergunta 14

Qual framework popularizou o ZeRO?

1. PyTorch
2. TensorFlow
3. DeepSpeed
4. JAX

Pergunta 15

Por que o filtro de qualidade é importante para os dados de treinamento?

1. Para reduzir o tempo de treinamento
2. Para melhorar a qualidade do modelo removendo textos de baixa qualidade
3. Para reduzir custos de armazenamento
4. Para simplificar a tokenização

Pergunta 16

Quantos tokens de treinamento o LLaMA 2 utilizou?

1. 300 bilhões
2. 1 trilhão
3. 2 trilhões
4. 10 trilhões

Pergunta 17

O que o gradient checkpointing faz?

1. Salva gradientes em disco
2. Troca computação por memória ao recomputar ativações
3. Verifica gradientes para valores NaN
4. Comprime gradientes

Pergunta 18

Qual é o principal desafio do paralelismo de pipeline?

1. Uso de memória
2. Bubbles no pipeline (tempo ocioso)
3. Sobrecarga de comunicação
4. Instabilidade numérica

Pergunta 19

Qual é o papel do aquecimento da taxa de aprendizado (learning rate warmup)?

1. Para resfriar as GPUs
2. Para evitar instabilidade no início do treinamento
3. Para aumentar a taxa de aprendizado
4. Para reduzir overfitting

Pergunta 20

Qual otimizador é comumente usado para treinamento de LLM?

1. SGD
2. AdamW
3. RMSprop
4. Adagrad

Pergunta 21

O que significa "context length" durante o treinamento?

1. Duração do treinamento
2. O comprimento máximo de sequência que o modelo pode processar
3. O tamanho do vocabulário
4. A dimensão do embedding

Pergunta 22

O que é perplexidade no contexto de avaliação de LLM?

1. Uma medida do tamanho do modelo
2. Exponencial da média da perda de cross-entropy
3. O número de etapas de treinamento
4. Uma métrica de complexidade para código

Pergunta 23

Qual é o tamanho de batch típico para treinamento de LLM?

1. 32 amostras
2. 256 amostras
3. Milhões de tokens (usando acumulação de gradientes)
4. 1 amostra por vez

Pergunta 24

O que é loss spiking durante o treinamento?

1. Comportamento normal
2. Aumento repentino da loss indicando instabilidade no treinamento
3. Problema no carregamento de dados
4. Um sinal de convergência

Pergunta 25

Qual é o objetivo do treinamento do tokenizer?

1. Aprender um vocabulário eficiente para o corpus de treinamento
2. Treinar a camada de embedding
3. Filtrar os dados de treinamento
4. Validar as saídas do modelo

Pergunta 26

Qual é o agendamento de taxa de aprendizado mais comum para treinamento de LLM?

1. Taxa de aprendizado constante
2. Aumento linear
3. Aquecimento seguido de decaimento cossenoidal
4. Aumento exponencial

Pergunta 27

Qual é o objetivo do weight decay no treinamento?

1. Acelerar o treinamento
2. Regularizar e evitar overfitting
3. Reduzir o uso de memória
4. Aumentar a capacidade do modelo

Pergunta 28

O que é FSDP?

1. Fully Sharded Data Parallel - implementação nativa do ZeRO no PyTorch
2. Fast Synchronized Data Processing
3. Flexible Storage Data Partitioning
4. Full Scale Distributed Processing

Pergunta 29

Qual é o benefício de usar curriculum learning para LLMs?

1. Treinar com dados cada vez mais complexos pode melhorar o aprendizado
2. Reduz o tempo de treinamento
3. Elimina a necessidade de filtragem de dados
4. Aumenta o tamanho do modelo

Pergunta 30

Qual é a duração típica para treinar um LLM grande (100B+ parâmetros)?

1. Horas
2. Dias
3. Semanas a meses
4. Anos

---

Quiz concluído!

Nota de aprovação: 24/30 (80%)

← Capítulo 3: Treinamento Distribuído

Módulo 4: Principais Famílias de LLM →