Chapitre 2 : Introduction à PEFT

Qu'est-ce que PEFT ?

Ajustement Fin Efficace en Paramètres : Mettez à jour seulement un petit sous-ensemble de paramètres.

LoRA (Adaptation de Basse Rangée)

Ajoutez des matrices de basse rangée aux poids existants :

$$W' = W + BA$$

Où $B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$, et $r \ll \min(d, k)$

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                      # Rang
    lora_alpha=32,             # Mise à l'échelle
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)

model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920 || 0.06%

QLoRA

LoRA + Modèle de base quantifié :

from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
)
model = get_peft_model(model, lora_config)

Comparaison

Méthode	Paramètres Entraînables	Mémoire	Qualité
Complet	100%	Élevée	Meilleure
LoRA	0.1-1%	Faible	Presque complète
QLoRA	0.1-1%	Très faible	Bonne

---

← Chapitre 1Chapitre 3 →