Chapitre 3 : Arguments d'entraînement et optimisation

Affiner votre configuration d'entraînement

Des arguments d'entraînement optimaux sont cruciaux pour un ajustement fin réussi.

---

Compléter TrainingArguments

from transformers import TrainingArguments

training_args = TrainingArguments(
    # Output
    output_dir="./results",
    overwrite_output_dir=True,
    
    # Training duration
    num_train_epochs=3,
    max_steps=-1,  # -1 means use epochs
    
    # Batch size
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    gradient_accumulation_steps=4,
    
    # Learning rate
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    weight_decay=0.01,
    
    # Precision
    bf16=True,
    
    # Memory optimization
    gradient_checkpointing=True,
    optim="paged_adamw_8bit",
    
    # Logging
    logging_steps=10,
    logging_first_step=True,
    
    # Saving
    save_strategy="epoch",
    save_total_limit=2,
    
    # Evaluation
    evaluation_strategy="epoch",
    load_best_model_at_end=True,
    
    # Other
    seed=42,
    dataloader_num_workers=4,
)

---

Schedules de taux d'apprentissage

Schedule	Comportement	Idéal pour
linear	Décroissance linéaire	Tâches simples
cosine	Décroissance cosinus	La plupart des ajustements fins
constant	Pas de décroissance	Entraînement très court
polynomial	Décroissance polynomiale	Entraînement plus long

---

Lignes directrices pour les hyperparamètres

Paramètre	LoRA	QLoRA
Taux d'apprentissage	1e-4 à 5e-4	1e-4 à 2e-4
Époques	1-5	1-3
Taille de lot (effective)	8-32	8-16
Échauffement	3-10%	3-5%

---

Dépannage

Problème	Solution
Perte ne diminue pas	Augmenter le taux d'apprentissage
Perte NaN	Réduire le LR, activer le découpage des gradients
Erreur OOM	Réduire la taille de lot, activer le point de contrôle
Surapprentissage	Arrêt précoce, plus de données, régularisation

---

Continuer vers le quiz →