Quiz: Módulo 8 - RLHF & Alinhamento

Pergunta 1

O que significa RLHF?

1. Reinforcement Learning from Human Feedback
2. Recursive Learning from Human Features
3. Refined Language from Human Feedback
4. Reinforced Learning for Human Functions

Pergunta 2

Qual é o primeiro passo no pipeline de RLHF?

1. Pré-treinar o modelo base
2. Treinar o modelo de recompensa
3. Treinamento PPO
4. Coletar preferências humanas

Pergunta 3

O que um modelo de recompensa aprende?

1. Prever qual resposta os humanos prefeririam
2. Gerar textos melhores
3. Classificar tópicos
4. Traduzir idiomas

Pergunta 4

O que é PPO em RLHF?

1. Proximal Policy Optimization - o algoritmo de RL utilizado
2. Pre-trained Policy Optimization
3. Parallel Processing Objective
4. Preference Prediction Optimization

Pergunta 5

Por que usar a restrição de divergência KL em RLHF?

1. Evitar que o modelo se desvie demais do comportamento original
2. Acelerar o treinamento
3. Reduzir o uso de memória
4. Melhorar a precisão

Pergunta 6

O que é Constitutional AI?

1. Treinar IA usando um conjunto de princípios em vez de rotulação caso a caso
2. Regulamentações governamentais para IA
3. Aplicações jurídicas de IA
4. Pesquisa em direito constitucional por IA

Pergunta 7

O que é RLAIF?

1. RL from AI Feedback - usar IA para gerar dados de preferência
2. Reinforced Learning with AI Functions
3. Recursive Learning AI Framework
4. Real-time Learning AI Interface

Pergunta 8

O que é jailbreaking no contexto de LLMs?

1. Tentar burlar medidas de segurança através de prompts engenhosos
2. Escapar de um jogo de prisão virtual
3. Desbloquear os pesos do modelo
4. Remover limites de taxa

Pergunta 9

O que é o "imposto de alinhamento"?

1. Possível redução de utilidade devido a medidas de segurança
2. Custo de pesquisa em alinhamento
3. Imposto governamental sobre IA
4. Custo computacional de treinamento

Pergunta 10

O que é red teaming?

1. Testes sistemáticos para encontrar vulnerabilidades
2. Um tipo de arquitetura de modelo
3. Método de treinamento
4. Classificação de erros por cores

Perguntas 11-30

(Abrangendo: SFT vs RLHF, coleta de dados de preferência, reward hacking, DPO, alinhamento de valores, interpretabilidade, robustez, alinhamento multi-stakeholder, governança de IA, técnicas emergentes de alinhamento)

Pergunta 11

O que é SFT no pipeline de RLHF?

1. Supervised Fine-Tuning em dados de demonstração
2. Sequential Feature Training
3. Safe Feedback Training
4. Synthetic Feedback Testing

Pergunta 12

O que é reward hacking?

1. O modelo encontra formas de maximizar a recompensa sem atingir os objetivos pretendidos
2. Atacar o modelo de recompensa
3. Aumentar recompensas de treinamento
4. Técnicas de hacking geradas por IA

Pergunta 13

O que é DPO (Direct Preference Optimization)?

1. Alternativa ao RLHF que otimiza diretamente com base em dados de preferência
2. Direct Policy Optimization
3. Data Processing Optimization
4. Distribution Parameter Optimization

Pergunta 14

Por que a interpretabilidade é importante para o alinhamento?

1. Para entender por que os modelos tomam certas decisões
2. Para tornar o código legível
3. Para acelerar a inferência
4. Para reduzir o tamanho do modelo

Pergunta 15

Quais são os critérios HHH?

1. Helpful, Harmless, Honest
2. High, Heavy, Hard
3. Hybrid, Hierarchical, Holistic
4. Human, Hybrid, Helpful

Pergunta 16

O que é o modelo de referência em RLHF?

1. Modelo SFT original usado como baseline para a penalidade KL
2. O modelo com melhor desempenho
3. Referência humana
4. Modelo de documentação

Pergunta 17

O que torna a coleta de dados de preferência desafiadora?

1. Subjetividade, custo e possíveis vieses
2. Dificuldade técnica
3. Formato dos dados
4. Requisitos de armazenamento

Pergunta 18

O que é robustez no contexto de alinhamento?

1. Manter a segurança sob diferentes entradas e mudanças de distribuição
2. Durabilidade do modelo
3. Estabilidade do código
4. Confiabilidade do hardware

Pergunta 19

O que é value learning?

1. Inferir preferências e valores humanos a partir do comportamento
2. Aprender valores numéricos
3. Aprender valores de mercado
4. Conversão de moedas

Pergunta 20

O que é scaling oversight?

1. Manter a supervisão humana à medida que as capacidades da IA crescem
2. Monitorar o tamanho do modelo
3. Ampliar equipes humanas
4. Visualizar métricas de escala

Pergunta 21

O que tornou o ChatGPT diferente do GPT-3?

1. Treinamento de alinhamento via RLHF
2. Tamanho maior
3. Arquitetura diferente
4. Mais dados de treinamento

Pergunta 22

Qual é o objetivo do filtro de saída?

1. Verificar o conteúdo gerado para identificar saídas nocivas
2. Comprimir saídas
3. Formatar respostas
4. Acelerar a geração

Pergunta 23

Por que treinar com exemplos adversariais?

1. Para tornar o modelo robusto contra tentativas de ataque
2. Aumentar o tamanho do modelo
3. Acelerar o treinamento
4. Reduzir custos computacionais

Pergunta 24

O que é especificação em alinhamento?

1. Definir precisamente o que queremos que a IA faça
2. Requisitos de hardware
3. Documentação da API
4. Arquitetura do modelo

Pergunta 25

O que é assurance em alinhamento?

1. Verificar se o modelo possui as propriedades desejadas
2. Seguro para IA
3. Garantia de desempenho
4. Suporte ao cliente

Pergunta 26

O que é um loop de crítica e revisão em Constitutional AI?

1. O modelo critica e revisa suas próprias saídas
2. Processo de revisão humana
3. Revisão de código
4. Iteração de treinamento

Pergunta 27

Que problema o RLHF resolve que o SFT não resolve?

1. Aprender preferências relativas entre saídas
2. Gerar texto
3. Tokenização
4. Eficiência de memória

Pergunta 28

O que é governança de IA em alinhamento?

1. Decidir quem define objetivos de alinhamento e padrões de segurança
2. IA se autogerenciando
3. IA governamental
4. Administração de IA

Pergunta 29

O que é a penalidade do modelo de referência em PPO?

1. β × D_KL(π_θ || π_ref) para evitar desvio
2. Perda de treinamento
3. Custo de memória
4. Custo computacional

Pergunta 30

O que distingue um modelo bem alinhado?

1. Alta utilidade E alta segurança
2. Apenas máxima segurança
3. Apenas máxima utilidade
4. Maior tamanho

---

Nota de corte: 24/30 (80%)

← Capítulo 3Módulo 9 →