Quiz: Módulo 1 - Introdução aos LLMs

Teste seu entendimento sobre os fundamentos de Large Language Models. Este quiz contém 30 questões cobrindo todos os três capítulos.

---

Capítulo 1: O que são Large Language Models?

Questão 1

O que distingue principalmente um "Large" Language Model dos modelos de linguagem anteriores?

1. A linguagem de programação usada para implementá-lo
2. A quantidade de parâmetros (bilhões) e a escala dos dados de treinamento
3. O tipo de tarefas que pode executar
4. A empresa que o criou

Questão 2

O que são "capacidades emergentes" no contexto dos LLMs?

1. Capacidades programadas pelos desenvolvedores
2. Capacidades que existem em todas as redes neurais
3. Habilidades que aparecem apenas quando os modelos atingem certa escala
4. Capacidades que surgem após o fine-tuning

Questão 3

Como a estimativa de quantidade de parâmetros do GPT-4 se compara ao GPT-2?

1. Cerca de 10 vezes maior
2. Cerca de 100 vezes maior
3. Cerca de 1000 vezes maior
4. Mais ou menos do mesmo tamanho

Questão 4

O que é "in-context learning"?

1. Treinar o modelo com novos dados
2. Aprender a partir de exemplos fornecidos no prompt sem atualização dos pesos
3. Aprender a partir das respostas anteriores do modelo
4. Aprender a partir do feedback do usuário

Questão 5

Qual é o objetivo principal durante a geração de texto por um LLM?

1. Minimizar o número de tokens gerados
2. Maximizar a coerência semântica
3. Prever o próximo token dado o contexto
4. Reproduzir exatamente os dados de treinamento

Questão 6

Qual das opções NÃO é tipicamente uma característica de LLMs?

1. Bilhões de parâmetros
2. Treinamento em terabytes de texto
3. Aprendizagem em tempo real a partir de interações com usuários
4. Janelas de contexto longas

Questão 7

O que sugere a "scaling hypothesis"?

1. Modelos menores são sempre mais eficientes
2. Modelos maiores com mais dados levam a melhorias previsíveis de capacidade
3. Os modelos devem ser reduzidos para deploy
4. O aumento de escala sempre leva a retornos decrescentes

Questão 8

O que é tokenização no contexto de LLMs?

1. Criptografar os pesos do modelo
2. Converter texto em representações numéricas que o modelo pode processar
3. Criar tokens de autenticação para acesso à API
4. Dividir o modelo em partes menores

Questão 9

Na geração autoregressiva, como os tokens são produzidos?

1. Todos os tokens são gerados simultaneamente
2. Um token por vez, cada um condicionado aos tokens anteriores
3. Tokens aleatórios são gerados e depois ordenados
4. Tokens são copiados dos dados de treinamento

Questão 10

O que é um embedding em modelos neurais de linguagem?

1. O arquivo de configuração do modelo
2. O texto de entrada antes do processamento
3. Uma representação vetorial densa de um token
4. A saída final do modelo

---

Capítulo 2: História - De RNNs a Transformers

Questão 11

Qual era a principal limitação dos modelos de linguagem estatísticos n-gram?

1. Eram muito caros computacionalmente
2. Escassez de dados para contextos longos e ausência de compreensão semântica
3. Exigiam muitos dados de treinamento
4. Só funcionavam com textos em inglês

Questão 12

Que problema as redes LSTM resolveram que as RNNs vanilla apresentavam?

1. Baixa velocidade de inferência
2. Desvanecimento do gradiente em sequências longas
3. Tamanho limitado de vocabulário
4. Incapacidade de processar texto

Questão 13

Qual era o título do artigo que introduziu a arquitetura Transformer?

1. "Deep Learning"
2. "BERT: Pre-training of Deep Bidirectional Transformers"
3. "Attention Is All You Need"
4. "Language Models are Few-Shot Learners"

Questão 14

Em que ano o artigo do Transformer foi publicado?

1. 2015
2. 2016
3. 2017
4. 2018

Questão 15

Qual grande limitação das RNNs os Transformers resolveram?

1. Uso de memória
2. Processamento sequencial que impedia a paralelização
3. Vocabulário limitado
4. Necessidade de dados rotulados

Questão 16

O que foi inovador no mecanismo de atenção introduzido por Bahdanau et al.?

1. Eliminou a necessidade de redes neurais
2. Permitiu ao modelo aprender quais partes da entrada são relevantes para cada saída
3. Tornou os modelos menores
4. Permitiu aprendizagem em tempo real

Questão 17

Qual modelo introduziu o paradigma de pré-treinamento + fine-tuning nos transformers?

1. GPT-1
2. BERT
3. GPT-3
4. T5

Questão 18

Como o BERT difere do GPT em termos de arquitetura?

1. BERT é maior
2. BERT usa apenas encoder (bidirecional) enquanto GPT usa apenas decoder (unidirecional)
3. BERT não usa atenção
4. Não há diferença

Questão 19

Aproximadamente quantos parâmetros o GPT-3 possuía?

1. 1,5 bilhão
2. 17,5 bilhões
3. 175 bilhões
4. 1,75 trilhão

Questão 20

Qual foi uma demonstração chave das capacidades do GPT-3?

1. Correção gramatical perfeita
2. Few-shot e zero-shot learning em tarefas diversas
3. Tradução em tempo real
4. Geração de imagens

---

Capítulo 3: O Panorama Atual dos LLMs

Questão 21

Qual empresa desenvolveu o Claude?

1. OpenAI
2. Google
3. Anthropic
4. Meta

Questão 22

Qual é a abordagem distinta da Anthropic para alinhamento de IA?

1. Reinforcement Learning from Human Feedback
2. Constitutional AI
3. Red teaming
4. Chain-of-thought prompting

Questão 23

Qual empresa lançou a série de modelos open-weight Llama?

1. Google
2. Anthropic
3. OpenAI
4. Meta

Questão 24

Qual é a principal vantagem de modelos open-weight como o Llama?

1. Sempre são mais capazes
2. São mais fáceis de usar
3. Controle total, deploy local e fine-tuning personalizado
4. Possuem melhor documentação

Questão 25

Qual plataforma serve como repositório central para modelos open-source?

1. GitHub
2. Hugging Face Hub
3. Kaggle
4. Model Zoo

Questão 26

O que diferencia o modelo Mixtral da Mistral?

1. É o maior modelo já criado
2. Utiliza arquitetura Mixture of Experts (MoE)
3. É multimodal
4. É treinado apenas com código

Questão 27

Qual o comprimento da janela de contexto suportada pelo Claude 3?

1. 4.000 tokens
2. 32.000 tokens
3. 100.000 tokens
4. 200.000 tokens

Questão 28

Qual das opções NÃO é uma consideração importante ao escolher entre modelos abertos e fechados?

1. Requisitos de privacidade de dados
2. Necessidade de fine-tuning personalizado
3. A cor do logotipo da empresa
4. Requisitos de latência

Questão 29

Qual tendência foi observada nos preços de APIs de LLMs ao longo do tempo?

1. Os preços permaneceram constantes
2. Os preços aumentaram significativamente
3. Os preços diminuíram substancialmente
4. Os modelos de precificação permaneceram os mesmos

Questão 30

Qual família de modelos é projetada especificamente para geração de código pela Meta?

1. Llama
2. Code Llama
3. StarCoder
4. Copilot

---

Quiz Concluído!

Parabéns por concluir o Quiz do Módulo 1! Revise as questões que achou desafiadoras e retorne às seções relevantes do capítulo.

Nota de aprovação: 24/30 (80%)

---

← Capítulo 3: Panorama dos LLMs

Módulo 2: Arquitetura Transformer →