Capítulo 2: Técnicas de Mesclagem de Modelos

Combinando Modelos para Resultados Melhores

A mesclagem de modelos combina múltiplos modelos fine-tuned em um só.

---

Métodos de Mesclagem

Método	Descrição	Melhor Para
Linear	Média dos pesos	Combinação simples
SLERP	Interpolação esférica	Mistura suave
TIES	Resolução de conflitos	Múltiplos especialistas
DARE	Remoção e reescalonamento	Modelos diversos

---

Mesclagem com LoRA

# Merge LoRA into base model
from peft import PeftModel

model = PeftModel.from_pretrained(base_model, "adapter_path")
merged_model = model.merge_and_unload()
merged_model.save_pretrained("merged_model")

---

Exemplo com MergeKit

# config.yaml
slices:
  - sources:
      - model: base_model
        layer_range: [0, 32]
      - model: finetuned_model
        layer_range: [0, 32]
merge_method: slerp
base_model: base_model
parameters:
  t: 0.5  # Interpolation factor
dtype: bfloat16

mergekit-yaml config.yaml ./merged_output

---

Quando Mesclar

✅ Mescle quando:

• Combinando modelos específicos para tarefas
• Fazendo deploy de uma arquitetura mais simples
• Não há necessidade de alternar adaptadores

❌ Mantenha separado quando:

• Precisa alternar tarefas dinamicamente
• O armazenamento é limitado
• Deseja atualizar tarefas de forma independente

---

Continue para o Capítulo 3 →