Chapitre 3 : ORPO et autres méthodes
Optimisation des préférences à la pointe de la technologie
ORPO combine SFT et optimisation des préférences en une seule étape.
ORPO (Optimisation des Préférences par le Rapport de Chances)
Innovation clé
Aucune étape SFT séparée nécessaire—combine les deux objectifs :
from trl import ORPOTrainer, ORPOConfig
orpo_config = ORPOConfig(
beta=0.1,
learning_rate=8e-6,
num_train_epochs=1,
bf16=True,
)
trainer = ORPOTrainer(
model=model,
args=orpo_config,
train_dataset=dataset,
tokenizer=tokenizer,
)
Comparaison des méthodes
| Méthode | Étape SFT | Étape de préférence | Complexité |
|---|---|---|---|
| RLHF | Séparée | PPO + Modèle de récompense | Élevée |
| DPO | Séparée | Optimisation directe | Moyenne |
| ORPO | Combinée | Combinée | Faible |
Autres méthodes
KTO (Optimisation Kahneman-Tversky)
Utilise des retours binaires (bon/mauvais) au lieu de préférences.
IPO (Optimisation de la Politique d'Identité)
Améliore DPO avec une meilleure base théorique.
SimPO (Optimisation Simple des Préférences)
Élimine le besoin d'un modèle de référence.
Choisir une méthode
| Scénario | Recommandé |
|---|---|
| Avoir des paires de préférences | DPO ou ORPO |
| Uniquement des retours binaires | KTO |
| Pipeline simple | ORPO |
| Contrôle maximal | DPO |