Glossário de Termos de Fine-Tuning de LLM
Um glossário abrangente com mais de 150 termos usados em fine-tuning de LLM, organizados em ordem alfabética.
A
Adapter
Um pequeno módulo de rede neural adicionado a um modelo pré-treinado que contém parâmetros treináveis. Durante o fine-tuning, apenas os parâmetros do adapter são atualizados enquanto o modelo base permanece congelado.
Alpaca Format
Um formato de dataset popular para instruction tuning, composto por campos de instrução, entrada e saída. Nomeado em referência ao modelo Alpaca de Stanford.
Attention Mechanism
O mecanismo central em transformers que permite ao modelo ponderar a importância de diferentes partes da entrada ao processar cada posição.
AutoModelForCausalLM
Classe da Hugging Face que carrega automaticamente a arquitetura de modelo apropriada para causal language modeling (geração de texto).
B
Backpropagation
O algoritmo utilizado para calcular os gradientes durante o treinamento, propagando os erros para trás através da rede.
Base Model
O modelo de fundação pré-treinado antes de qualquer fine-tuning ser aplicado. Exemplos incluem Llama, Mistral e Falcon.
Batch Size
O número de exemplos de treinamento processados juntos em uma passagem forward/backward. Lotes maiores requerem mais memória, mas podem ser mais estáveis.
BFloat16 (bf16)
Um formato de ponto flutuante de 16 bits que mantém o mesmo alcance que float32, mas com precisão reduzida. Frequentemente preferido para treinamento em relação ao float16.
bitsandbytes
Uma biblioteca que permite quantização eficiente em 4 e 8 bits para carregar e treinar grandes modelos de linguagem.
C
Catastrophic Forgetting
O fenômeno em que um modelo perde conhecimento previamente aprendido ao ser treinado com novos dados. Uma preocupação importante no fine-tuning.
Causal Language Modeling (CLM)
Um objetivo de treinamento onde o modelo prevê o próximo token com base apenas nos tokens anteriores. Usado em modelos estilo GPT.
Chat Template
Uma especificação de formato para converter conversas em tokens esperados pelo modelo, incluindo tokens especiais para diferentes papéis.
Checkpoint
Um snapshot salvo dos pesos do modelo durante o treinamento, permitindo recuperação e continuação do treinamento.
Constitutional AI (CAI)
Uma técnica de segurança em IA que treina modelos para seguir um conjunto de princípios ou "constituição" para comportamento ético.
D
Dataset Sharding
Divisão de um grande dataset em partes menores para treinamento distribuído ou para reduzir o uso de memória.
DeepSpeed
Uma biblioteca de otimização de deep learning da Microsoft que permite o treinamento eficiente de grandes modelos por meio de várias técnicas.
Direct Preference Optimization (DPO)
Uma alternativa mais simples ao RLHF que otimiza diretamente o modelo usando dados de preferência sem um modelo de recompensa separado.
Double Quantization
Uma técnica no QLoRA que quantiza os próprios constantes de quantização, reduzindo ainda mais o uso de memória.
Dropout
Uma técnica de regularização que zera aleatoriamente algumas ativações durante o treinamento para evitar overfitting.
E
Embedding Layer
A camada que converte IDs de tokens em representações vetoriais densas que o modelo pode processar.
Epoch
Uma passagem completa por todo o dataset de treinamento.
Evaluation Loss
A perda calculada em um conjunto de validação separado para monitorar overfitting durante o treinamento.
F
Fine-Tuning
O processo de treinar ainda mais um modelo pré-treinado em um dataset específico para adaptá-lo a uma tarefa ou domínio particular.
Flash Attention
Uma implementação eficiente de attention que reduz o uso de memória e melhora a velocidade ao evitar a materialização da matriz completa de attention.
Float16 (fp16)
Um formato de ponto flutuante de 16 bits que usa metade da memória do float32. Pode causar instabilidade numérica em alguns casos.
Float32 (fp32)
Precisão padrão de ponto flutuante de 32 bits, oferecendo alta precisão, mas exigindo mais memória.
Frozen Parameters
Parâmetros do modelo que não são atualizados durante o treinamento. Em PEFT, a maioria dos parâmetros é congelada.
Full Fine-Tuning
Abordagem tradicional de fine-tuning onde todos os parâmetros do modelo são atualizados durante o treinamento.
G
GGUF
Um formato de arquivo para armazenar modelos quantizados, comumente usado com o llama.cpp para inferência eficiente em CPU.
Gradient Accumulation
Técnica para simular tamanhos de batch maiores acumulando gradientes em múltiplas passagens forward antes de atualizar os pesos.
Gradient Checkpointing
Uma técnica para economizar memória que recomputa ativações durante a passagem backward em vez de armazená-las.
Gradient Clipping
Limitação da magnitude dos gradientes durante o treinamento para evitar gradientes explosivos.
H
Hallucination
Quando um modelo gera informações plausíveis, mas incorretas ou inventadas.
Hugging Face Hub
Uma plataforma para compartilhar e descobrir modelos pré-treinados, datasets e demonstrações.
Hyperparameter
Um valor de configuração definido antes do início do treinamento (ex.: taxa de aprendizado, batch size), em oposição a parâmetros aprendidos.
I
IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations)
Um método PEFT que aprende a escalar ativações ao invés de adicionar novos pesos, usando ainda menos parâmetros que o LoRA.
Inference
Uso de um modelo treinado para gerar previsões em novas entradas.
Instruction Tuning
Fine-tuning de um modelo para seguir instruções, treinando com pares de instrução e resposta.
INT4/INT8
Formatos de quantização de inteiros de 4 e 8 bits usados para reduzir o tamanho do modelo e o uso de memória.
K
Knowledge Distillation
Treinamento de um modelo "aluno" menor para imitar o comportamento de um modelo "professor" maior.
KV Cache
Cache de Key-Value que armazena chaves e valores de attention computados para acelerar a geração autoregressiva.
L
Label Smoothing
Uma técnica de regularização que suaviza a distribuição de probabilidade alvo para evitar excesso de confiança.
Learning Rate
O tamanho do passo para atualizações de gradiente durante a otimização. Hiperparâmetro crítico para o sucesso do treinamento.
Learning Rate Schedule
Uma estratégia para ajustar a taxa de aprendizado durante o treinamento (ex.: warmup, decaimento, cosine annealing).
Linear Probe
Fine-tuning apenas de uma cabeça de classificação linear sobre features congeladas.
LoRA (Low-Rank Adaptation)
Um método PEFT que adiciona matrizes de decomposição de baixa rank treináveis a pesos congelados, reduzindo drasticamente os parâmetros treináveis.
LoRA Alpha
Um hiperparâmetro de escala no LoRA que controla a magnitude da adaptação.
LoRA Rank
O rank das matrizes de baixa rank no LoRA. Ranks mais altos aumentam a capacidade, mas também os parâmetros.
Loss Function
Uma função que mede a diferença entre as previsões do modelo e o valor real, guiando a otimização.
M
Masked Language Modeling (MLM)
Um objetivo de treinamento onde tokens aleatórios são mascarados e o modelo deve prevê-los. Usado em modelos estilo BERT.
MergeKit
Uma ferramenta para mesclar múltiplos modelos ou adapters fine-tunados em um único modelo.
Mixed Precision Training
Treinamento utilizando float16 e float32 para reduzir memória mantendo estabilidade numérica.
Model Merging
Combinação de múltiplos modelos ou adapters em um só, frequentemente fazendo média dos pesos ou usando métodos mais sofisticados como TIES ou DARE.
Multi-GPU Training
Distribuição do treinamento entre múltiplas GPUs usando paralelismo de dados ou de modelo.
N
NF4 (4-bit NormalFloat)
Um formato de quantização projetado para ter o mesmo número de valores em cada bin de quantização para pesos com distribuição normal.
Nucleus Sampling (Top-p)
Uma estratégia de decodificação que amostra do menor conjunto de tokens cuja probabilidade cumulativa excede p.
O
ONNX
Formato Open Neural Network Exchange para interoperabilidade e deploy de modelos.
Optimizer
Algoritmo para atualizar os pesos do modelo durante o treinamento (ex.: Adam, AdamW, SGD).
ORPO (Odds Ratio Preference Optimization)
Um método de otimização de preferência que combina fine-tuning supervisionado e alinhamento de preferência em uma única etapa.
Overfitting
Quando um modelo memoriza os dados de treinamento em vez de aprender padrões gerais, levando a má generalização.
P
PagedAttention
Um mecanismo de attention usado no vLLM que gerencia a memória de forma mais eficiente através de paginação.
Parameter Count
O número total de pesos treináveis em um modelo, frequentemente medido em bilhões para LLMs.
PEFT (Parameter-Efficient Fine-Tuning)
Uma família de métodos que faz fine-tuning apenas de um pequeno subconjunto de parâmetros enquanto mantém a maior parte do modelo congelada.
Perplexity
Uma métrica que mede quão bem um modelo prevê texto. Perplexidade menor indica melhor desempenho.
Preference Data
Dados de treinamento compostos por pares ou rankings de respostas, usados em RLHF, DPO e métodos relacionados.
Prefix Tuning
Um método PEFT que antepõe "tokens virtuais" treináveis à entrada sem modificar os pesos do modelo.
Pre-training
Treinamento inicial de um modelo em dados em larga escala antes do fine-tuning específico de tarefa.
Prompt Tuning
Semelhante ao prefix tuning, aprende prompts "soft" que são antepostos às entradas.
Q
QLoRA (Quantized LoRA)
Combina quantização em 4 bits com LoRA para permitir fine-tuning de grandes modelos em hardware de consumidor.
Quantization
Redução da precisão dos pesos do modelo (ex.: de float16 para int4) para reduzir memória e acelerar a inferência.
R
Rank (in LoRA)
A dimensionalidade das matrizes de baixa rank. Controla o equilíbrio entre capacidade e eficiência.
Regularization
Técnicas para evitar overfitting, como dropout, weight decay ou early stopping.
Reinforcement Learning from Human Feedback (RLHF)
Uma abordagem de treinamento que utiliza preferências humanas para treinar um modelo de recompensa, depois usa RL para otimizar o modelo de linguagem.
Reward Model
Um modelo treinado para prever preferências humanas, usado no RLHF para fornecer sinal de treinamento.
S
Sampling Temperature
Um parâmetro que controla a aleatoriedade na geração. Valores mais altos produzem saídas mais diversas, porém menos coerentes.
Self-Attention
Mecanismo de attention onde queries, keys e values vêm da mesma sequência.
Sequence Length
O número de tokens em uma sequência de entrada ou saída. Limitado pela arquitetura do modelo e pela memória.
ShareGPT Format
Um formato de dataset derivado de conversas compartilhadas do ChatGPT, usando estrutura de mensagens baseada em papéis.
SFTTrainer
Classe TRL da Hugging Face para Supervised Fine-Tuning de modelos de linguagem.
SLERP (Spherical Linear Interpolation)
Um método para interpolar suavemente entre pesos de modelos durante a fusão.
Soft Prompt
Vetores de embedding aprendidos antepostos às entradas em vez de prompts de texto discretos.
Speculative Decoding
Uma técnica que usa um modelo menor de rascunho para propor tokens, verificados pelo modelo maior para geração mais rápida.
Supervised Fine-Tuning (SFT)
Fine-tuning padrão usando pares rotulados de entrada-saída com perda de entropia cruzada.
System Prompt
Instruções fornecidas para definir o comportamento e o contexto do modelo em uma conversa.
T
Target Modules
No LoRA, as matrizes de peso específicas (ex.: q_proj, v_proj) onde as adaptações de baixa rank são aplicadas.
Temperature
Veja Sampling Temperature.
TIES (TrIm, Elect Sign & Merge)
Um método de fusão de modelos que lida melhor com conflitos de parâmetros do que a média simples.
Tokenizer
Componente que converte texto em IDs de tokens e vice-versa para entrada/saída do modelo.
Top-k Sampling
Uma estratégia de decodificação que considera apenas os k próximos tokens mais prováveis.
Trainable Parameters
Parâmetros que são atualizados durante o treinamento, em oposição aos parâmetros congelados.
Transfer Learning
Uso de conhecimento aprendido em uma tarefa para melhorar o desempenho em outra tarefa relacionada.
Transformer
A arquitetura de rede neural subjacente aos LLMs modernos, baseada em mecanismos de self-attention.
TRL (Transformer Reinforcement Learning)
Biblioteca da Hugging Face que fornece treinadores para SFT, RLHF, DPO e outros métodos de treinamento.
V
Validation Set
Uma parte separada dos dados usada para avaliar o desempenho do modelo durante o treinamento.
vLLM
Um mecanismo de inferência de alta vazão para LLMs usando PagedAttention.
VRAM (Video RAM)
Memória da GPU usada para armazenar pesos do modelo, ativações e gradientes durante o treinamento.
W
Warmup
Aumento gradual da taxa de aprendizado no início do treinamento para melhorar a estabilidade.
Weight Decay
Uma técnica de regularização que penaliza pesos grandes para evitar overfitting.
Weights & Biases (W&B)
Uma plataforma popular para rastreamento de experimentos, registro de modelos e visualização.
Z
Zero Redundancy Optimizer (ZeRO)
Otimização de memória do DeepSpeed que particiona estados do otimizador, gradientes e parâmetros entre dispositivos.
Zero-Shot
Uso de um modelo para uma tarefa sem nenhum treinamento ou exemplos específicos da tarefa.
Quick Reference Card
| Conceito | Informação-chave |
|---|---|
| LoRA Rank | Valores típicos: 8, 16, 32, 64 |
| LoRA Alpha | Geralmente definido como 2x o rank |
| Learning Rate | 1e-5 a 1e-4 para fine-tuning |
| Batch Size | 4-32 dependendo da VRAM |
| Epochs | 1-5 para a maioria dos fine-tuning |
| QLoRA Memory | ~4-6GB para modelos de 7B |
| Full FT Memory | ~28GB+ para modelos de 7B |