Capítulo 2: Introdução ao PEFT

O que é PEFT?

Parameter-Efficient Fine-Tuning: Atualize apenas um pequeno subconjunto de parâmetros.

LoRA (Low-Rank Adaptation)

Adiciona matrizes de baixa ordem aos pesos existentes:

$$W' = W + BA$$

Onde $B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$, e $r \ll \min(d, k)$

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                      # Rank
    lora_alpha=32,             # Scaling
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)

model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920 || 0.06%

QLoRA

LoRA + modelo base quantizado:

from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
)
model = get_peft_model(model, lora_config)

Comparação

Método	Parâmetros Treináveis	Memória	Qualidade
Full	100%	Alta	Melhor
LoRA	0,1-1%	Baixa	Quase total
QLoRA	0,1-1%	Muito baixa	Boa

---

← Capítulo 1Capítulo 3 →