Capítulo 1: Instruction Tuning
Ensinando Modelos a Seguir Instruções
Instruction tuning treina modelos para seguir instruções do usuário de forma eficaz.
O que é Instruction Tuning?
Treinamento em pares de instrução e resposta para criar assistentes úteis:
{
"instruction": "Write a poem about the ocean",
"response": "Waves crash upon the shore..."
}
Requisitos do Dataset
| Qualidade | Requisito |
|---|---|
| Diversificado | Cobrir muitos tipos de instrução |
| Preciso | Respostas corretas |
| Útil | Respostas genuinamente úteis |
| Seguro | Sem conteúdo nocivo |
Datasets Populares de Instrução
| Dataset | Tamanho | Qualidade |
|---|---|---|
| Dolly 15k | 15K | Alta |
| OpenAssistant | 161K | Alta |
| Alpaca | 52K | Média |
| OpenHermes | 1M+ | Alta |
Exemplo de Treinamento
from trl import SFTTrainer
from datasets import load_dataset
dataset = load_dataset("databricks/dolly-15k")
def format_instruction(example):
return {
"text": f"""### Instruction:
{example['instruction']}
### Response:
{example['response']}"""
}
dataset = dataset.map(format_instruction)
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
dataset_text_field="text",
...
)