Capítulo 3: Argumentos de Treinamento e Otimização

Ajustando a Configuração do Seu Treinamento

Argumentos de treinamento ideais são cruciais para um fine-tuning bem-sucedido.

---

TrainingArguments Completo

from transformers import TrainingArguments

training_args = TrainingArguments(
    # Output
    output_dir="./results",
    overwrite_output_dir=True,
    
    # Training duration
    num_train_epochs=3,
    max_steps=-1,  # -1 means use epochs
    
    # Batch size
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    gradient_accumulation_steps=4,
    
    # Learning rate
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    weight_decay=0.01,
    
    # Precision
    bf16=True,
    
    # Memory optimization
    gradient_checkpointing=True,
    optim="paged_adamw_8bit",
    
    # Logging
    logging_steps=10,
    logging_first_step=True,
    
    # Saving
    save_strategy="epoch",
    save_total_limit=2,
    
    # Evaluation
    evaluation_strategy="epoch",
    load_best_model_at_end=True,
    
    # Other
    seed=42,
    dataloader_num_workers=4,
)

---

Agendamentos de Taxa de Aprendizagem

Schedule	Comportamento	Melhor Para
linear	Decaimento linear	Tarefas simples
cosine	Decaimento cossenoidal	Maioria dos fine-tuning
constant	Sem decaimento	Treinamentos muito curtos
polynomial	Decaimento polinomial	Treinamentos mais longos

---

Diretrizes de Hiperparâmetros

Parâmetro	LoRA	QLoRA
Taxa de aprendizagem	1e-4 a 5e-4	1e-4 a 2e-4
Épocas	1-5	1-3
Tamanho de batch (efetivo)	8-32	8-16
Warmup	3-10%	3-5%

---

Solução de Problemas

Problema	Solução
Loss não diminui	Aumente a taxa de aprendizagem
Loss NaN	Diminua a LR, ative grad clipping
Erro OOM	Reduza o batch size, ative checkpointing
Overfitting	Early stopping, mais dados, regularização

---

Continuar para o Quiz →