Quiz: Introdução ao Fine-Tuning
Teste seu conhecimento sobre conceitos de fine-tuning, tomada de decisão e o panorama do fine-tuning.
30 perguntas - Clique em cada pergunta para revelar a resposta correta.
Pergunta 1
O que é fine-tuning no contexto de LLMs?
A) Treinar um modelo do zero com novos dados
B) Continuar o treinamento de um modelo pré-treinado em dados específicos
C) Reduzir o tamanho do modelo
D) Converter o modelo para outro formato
Mostrar Resposta
Resposta Correta: B
Fine-tuning continua o treinamento de um modelo pré-treinado em dados específicos para adaptá-lo a tarefas ou domínios particulares, aproveitando o conhecimento já aprendido durante o pré-treinamento.
Pergunta 2
O que é aprendizado por transferência (transfer learning)?
A) Mover um modelo entre diferentes GPUs
B) Traduzir texto entre idiomas
C) Usar conhecimento do pré-treinamento para melhorar o desempenho em novas tarefas
D) Transferir dados entre conjuntos de dados
Mostrar Resposta
Resposta Correta: C
Aprendizado por transferência é o conceito de usar o conhecimento adquirido durante o pré-treinamento em grandes conjuntos de dados para melhorar o desempenho em tarefas específicas por meio do fine-tuning.
Pergunta 3
Qual cenário é MAIS adequado para RAG em vez de fine-tuning?
A) Ensinar um modelo a escrever em um estilo específico
B) Fazer o modelo gerar JSON de forma consistente
C) Fornecer acesso a informações de produtos frequentemente atualizadas
D) Dar ao modelo uma personalidade específica
Mostrar Resposta
Resposta Correta: C
RAG é ideal quando o conhecimento precisa ser atualizado frequentemente, pois basta atualizar o banco de dados de recuperação sem re-treinar o modelo. Fine-tuning é melhor para estilo, formato e personalidade.
Pergunta 4
O que significa PEFT?
A) Fine-Tuning Eficiente em Parâmetros (Parameter-Efficient Fine-Tuning)
B) Treinamento de Características Eficientes Pré-treinadas
C) Fine-Tuning de Execução Paralela
D) Treinamento Completo com Precisão Aprimorada
Mostrar Resposta
Resposta Correta: A
PEFT significa Fine-Tuning Eficiente em Parâmetros, uma família de métodos que treinam apenas um pequeno subconjunto dos parâmetros do modelo, mantendo a maioria congelada.
Pergunta 5
O que é esquecimento catastrófico (catastrophic forgetting)?
A) Quando os dados de treinamento são perdidos
B) Quando um modelo fica grande demais para rodar
C) Quando um modelo perde conhecimento previamente aprendido após treinar em novos dados
D) Quando a taxa de aprendizado é muito alta
Mostrar Resposta
Resposta Correta: C
O esquecimento catastrófico ocorre quando o desempenho do modelo em tarefas previamente aprendidas piora após ser treinado em novos dados.
Pergunta 6
Aproximadamente qual porcentagem dos parâmetros o LoRA normalmente treina?
A) 50%
B) 25%
C) Menos de 1%
D) 10%
Mostrar Resposta
Resposta Correta: C
LoRA normalmente treina menos de 1% dos parâmetros originais do modelo (geralmente 0,1-0,5%), mantendo desempenho comparável ao fine-tuning completo.
Pergunta 7
Qual é a principal vantagem do QLoRA sobre o LoRA?
A) Resultados de melhor qualidade
B) Requisitos de memória significativamente menores por meio da quantização
C) Velocidade de treinamento mais rápida
D) Funciona com mais arquiteturas de modelo
Mostrar Resposta
Resposta Correta: B
QLoRA combina quantização de 4 bits com LoRA, reduzindo drasticamente os requisitos de memória (por exemplo, de 14GB para 6GB em um modelo de 7B).
Pergunta 8
Quanta VRAM é aproximadamente necessária para aplicar QLoRA em um modelo de 7B parâmetros?
A) 2GB
B) 6GB
C) 16GB
D) 28GB
Mostrar Resposta
Resposta Correta: B
QLoRA requer aproximadamente 6GB de VRAM para um modelo de 7B parâmetros, tornando viável o uso em GPUs de consumo e instâncias gratuitas do Colab.
Pergunta 9
Qual biblioteca fornece o BitsAndBytesConfig para quantização?
A) transformers
B) peft
C) bitsandbytes
D) accelerate
Mostrar Resposta
Resposta Correta: C
A biblioteca bitsandbytes fornece a funcionalidade de quantização, embora seja configurada através da classe BitsAndBytesConfig do transformers.
Pergunta 10
O que é DPO?
A) Otimização Direta de Parâmetros
B) Orquestração de Pré-treinamento Profundo
C) Otimização Direta de Preferências (Direct Preference Optimization)
D) Operação de Processamento Distribuído
Mostrar Resposta
Resposta Correta: C
DPO (Otimização Direta de Preferências) é um método de alinhamento que otimiza diretamente o modelo usando pares de preferência, sem precisar de um modelo de recompensa separado.
Pergunta 11
Quando você deve preferir engenharia de prompt em vez de fine-tuning?
A) Quando você precisa de máxima qualidade
B) Quando precisa de iteração rápida e customização simples
C) Quando tem recursos computacionais ilimitados
D) Quando a tarefa é muito complexa
Mostrar Resposta
Resposta Correta: B
Engenharia de prompt é ideal para iteração rápida, customização simples e quando há orçamento limitado. Não requer infraestrutura de treinamento.
Pergunta 12
Qual é a faixa típica de taxa de aprendizado para fine-tuning com LoRA?
A) 1e-2 a 1e-3
B) 1e-4 a 1e-5
C) 1e-6 a 1e-7
D) 1.0
Mostrar Resposta
Resposta Correta: B
O fine-tuning com LoRA normalmente utiliza taxas de aprendizado entre 1e-4 e 1e-5, que são mais altas do que no fine-tuning completo, pois apenas um pequeno número de parâmetros é atualizado.
Pergunta 13
Qual das opções a seguir NÃO é um bom caso de uso para fine-tuning?
A) Ensinar um estilo de escrita específico
B) Fornecer preços de ações em tempo real
C) Aprender terminologia de domínio
D) Formatação consistente de saída
Mostrar Resposta
Resposta Correta: B
Informações em tempo real ou frequentemente atualizadas são melhor tratadas por RAG ou APIs externas. Fine-tuning não pode fornecer dados em tempo real.
Pergunta 14
Para que é usado o formato Alpaca?
A) Geração de imagens
B) Estruturar dados de treinamento para seguir instruções
C) Quantização de modelo
D) Tokenização
Mostrar Resposta
Resposta Correta: B
O formato Alpaca estrutura os dados de treinamento com campos de instrução, entrada e saída para treinar modelos que seguem instruções.
Pergunta 15
Qual a diferença entre o formato ShareGPT e o formato Alpaca?
A) ShareGPT é para imagens
B) ShareGPT suporta conversas de múltiplas rodadas
C) Alpaca é apenas para código
D) Eles são iguais
Mostrar Resposta
Resposta Correta: B
O formato ShareGPT suporta conversas de múltiplas rodadas com mensagens baseadas em papéis, enquanto o Alpaca é projetado para pares de instrução e resposta de uma única rodada.
Pergunta 16
O que envolve o "pré-treinamento" para um LLM?
A) Fine-tuning em dados do usuário
B) Treinamento em grandes volumes de texto para aprender padrões de linguagem
C) Quantizar o modelo
D) Fazer deploy em produção
Mostrar Resposta
Resposta Correta: B
O pré-treinamento envolve treinar em trilhões de tokens de fontes diversas para aprender compreensão geral de linguagem, fatos e capacidades.
Pergunta 17
O que é um "adapter" no contexto de PEFT?
A) Um componente de hardware
B) Um pequeno módulo treinável adicionado a um modelo congelado
C) Um tipo de otimizador
D) Um formato de dados
Mostrar Resposta
Resposta Correta: B
Um adapter é um pequeno módulo de rede neural adicionado a um modelo pré-treinado que contém parâmetros treináveis enquanto o modelo base permanece congelado.
Pergunta 18
Qual abordagem normalmente tem o menor custo por consulta em escala?
A) Engenharia de prompt com prompts longos
B) RAG com grande base de conhecimento
C) Fine-tuning (prompts mais curtos, comportamento embutido)
D) Todas custam o mesmo
Mostrar Resposta
Resposta Correta: C
O fine-tuning resulta em prompts mais curtos e comportamentos embutidos, reduzindo o custo por token em escala, apesar do custo inicial de treinamento ser maior.
Pergunta 19
O que é RLHF?
A) Aprendizado Rápido para Alta Frequência
B) Aprendizado por Reforço com Feedback Humano (Reinforcement Learning from Human Feedback)
C) Alta Fidelidade de Linguagem Regular
D) Aprendizado por Recuperação para Funções Híbridas
Mostrar Resposta
Resposta Correta: B
RLHF (Aprendizado por Reforço com Feedback Humano) utiliza preferências humanas para treinar um modelo de recompensa e, em seguida, usa RL para otimizar o modelo de linguagem.
Pergunta 20
Como o DPO difere do RLHF?
A) DPO não requer nenhum dado
B) DPO não precisa de um modelo de recompensa separado
C) DPO é apenas para modelos de imagem
D) RLHF é mais simples
Mostrar Resposta
Resposta Correta: B
DPO otimiza diretamente o modelo usando pares de preferência sem treinar um modelo de recompensa separado, simplificando o pipeline do RLHF.
Pergunta 21
Quanta memória de GPU normalmente é necessária para fine-tuning completo de um modelo de 7B?
A) 6GB
B) 14GB
C) 28GB+
D) 4GB
Mostrar Resposta
Resposta Correta: C
O fine-tuning completo de um modelo de 7B normalmente requer 28GB ou mais de VRAM devido ao armazenamento dos pesos do modelo, gradientes e estados do otimizador.
Pergunta 22
Qual é o propósito do parâmetro de rank (r) do LoRA?
A) Definir a taxa de aprendizado
B) Determinar a capacidade da adaptação de baixa rank
C) Especificar o tamanho do batch
D) Controlar o dropout
Mostrar Resposta
Resposta Correta: B
O rank (r) determina a dimensionalidade das matrizes de baixa rank e, portanto, a capacidade do adapter. Ranks mais altos permitem adaptações mais complexas.
Pergunta 23
Qual biblioteca fornece o SFTTrainer para fine-tuning supervisionado?
A) transformers
B) peft
C) trl
D) datasets
Mostrar Resposta
Resposta Correta: C
A biblioteca TRL (Transformer Reinforcement Learning) fornece o SFTTrainer para fine-tuning supervisionado, além de treinadores para DPO e RLHF.
Pergunta 24
O que é uma abordagem híbrida na customização de LLMs?
A) Usar tanto CPU quanto GPU
B) Combinar fine-tuning com RAG
C) Treinar em múltiplos idiomas
D) Usar múltiplos otimizadores
Mostrar Resposta
Resposta Correta: B
Uma abordagem híbrida combina métodos como fine-tuning para estilo/comportamento com RAG para conhecimento dinâmico, obtendo os benefícios de ambos.
Pergunta 25
Qual é o principal benefício de usar Unsloth para fine-tuning?
A) Melhor qualidade de modelo
B) Treinamento 2x mais rápido com menos memória
C) Suporte a modelos maiores
D) Melhor tokenização
Mostrar Resposta
Resposta Correta: B
Unsloth proporciona velocidade de treinamento 2x maior e menor uso de memória por meio de otimizações, sendo ótimo para iteração rápida.
Pergunta 26
Quando você usaria fine-tuning completo em vez de métodos PEFT?
A) Quando há recursos computacionais limitados
B) Quando máxima customização e qualidade são críticas
C) Quando deseja treinamento mais rápido
D) Quando a memória é restrita
Mostrar Resposta
Resposta Correta: B
O fine-tuning completo é escolhido quando se precisa do máximo potencial de customização e há recursos computacionais suficientes para aplicações críticas.
Pergunta 27
O que é instruction tuning?
A) Treinamento em código
B) Treinamento em pares de instrução e resposta para seguir instruções
C) Otimização da velocidade do modelo
D) Redução do tamanho do modelo
Mostrar Resposta
Resposta Correta: B
Instruction tuning treina modelos em pares de instrução e resposta para ensiná-los a seguir instruções do usuário, formando a base para modelos de chat.
Pergunta 28
Qual formato de quantização o QLoRA utiliza principalmente?
A) INT8
B) Float16
C) NF4 (NormalFloat de 4 bits)
D) BFloat16
Mostrar Resposta
Resposta Correta: C
QLoRA utiliza quantização NF4 (NormalFloat de 4 bits), projetada para ter o mesmo número de valores em cada intervalo de quantização para pesos normalmente distribuídos.
Pergunta 29
Qual é o melhor primeiro passo ao iniciar um novo projeto de fine-tuning?
A) Começar imediatamente o fine-tuning completo
B) Testar engenharia de prompt primeiro para estabelecer um baseline
C) Fazer deploy do modelo base em produção
D) Coletar milhões de exemplos de treinamento
Mostrar Resposta
Resposta Correta: B
Começar com engenharia de prompt estabelece um baseline e ajuda a determinar se o fine-tuning é realmente necessário. Muitas tarefas podem ser resolvidas com bons prompts.
Pergunta 30
Qual é o número típico de exemplos de alta qualidade necessários para um fine-tuning eficaz?
A) 10 exemplos
B) 100-500 exemplos
C) Sempre mais de 1 milhão de exemplos
D) Apenas 1 exemplo
Mostrar Resposta
Resposta Correta: B
100-500 exemplos de alta qualidade e diversos geralmente são suficientes para muitas tarefas de fine-tuning. Qualidade importa mais do que quantidade.
Resultados
| Pontuação | Nível |
|---|---|
| 27-30 | Excelente - Forte base para fine-tuning! |
| 21-26 | Bom - Revise os pontos fracos |
| 15-20 | Médio - Releia os capítulos |
| Abaixo de 15 | Precisa de revisão completa |