Quiz: Técnicas Avançadas
30 questões sobre instruction tuning, DPO e ORPO.
Questão 1
O que é instruction tuning?
A) Ajuste da arquitetura do modelo
B) Treinamento em pares de instrução-resposta
C) Otimização de hiperparâmetros
D) Redução do tamanho do modelo
Mostrar Resposta
Resposta correta: B
Instruction tuning treina modelos em pares de instrução-resposta para seguir instruções do usuário.
Questão 2
O que significa DPO?
A) Direct Parameter Optimization
B) Direct Preference Optimization
C) Dual Policy Optimization
D) Data Processing Optimization
Mostrar Resposta
Resposta correta: B
DPO é Direct Preference Optimization, uma alternativa mais simples ao RLHF.
Questão 3
Que tipo de dado o DPO requer?
A) Respostas únicas
B) Pares de preferência (escolhida/rejeitada)
C) Rótulos binários
D) Texto sem rótulo
Mostrar Resposta
Resposta correta: B
DPO requer pares de preferência com respostas escolhidas (preferidas) e rejeitadas.
Questão 4
Qual é a principal inovação do ORPO?
A) Treinamento mais rápido
B) Combina SFT e otimização por preferência em uma única etapa
C) Não precisa de dados
D) Funciona apenas com modelos pequenos
Mostrar Resposta
Resposta correta: B
ORPO combina fine-tuning supervisionado e otimização por preferência em uma única etapa de treinamento.
Questão 5
O que o parâmetro beta controla no DPO?
A) Taxa de aprendizado
B) Tamanho do batch
C) Intensidade da penalidade de divergência KL
D) Tamanho do modelo
Mostrar Resposta
Resposta correta: C
Beta controla a penalidade de divergência KL, equilibrando a otimização por preferência com a proximidade ao modelo de referência.
(As questões 6-30 abordam tópicos adicionais)