Pular para o conteúdo principal

Módulo 2: Fine-Tuning Completo

Entendendo o Fine-Tuning Tradicional​

Este módulo aborda a abordagem tradicional de fine-tuning, onde todos os parâmetros do modelo são atualizados durante o treinamento. Embora seja mais intensivo em recursos, compreender o fine-tuning completo é essencial para entender por que os métodos PEFT foram desenvolvidos.

O Que Você Vai Aprender​

Neste módulo, você irá:

  1. Entender o fine-tuning tradicional e como ele funciona
  2. Calcular os requisitos computacionais para diferentes tamanhos de modelo
  3. Aprender sobre esquecimento catastrófico e estratégias de mitigação
  4. Saber quando o fine-tuning completo ainda é a escolha certa

Estrutura do Módulo​

CapítuloTópicoDuração
Capítulo 1Abordagem Tradicional de Fine-Tuning25 min
Capítulo 2Requisitos Computacionais30 min
Capítulo 3Esquecimento Catastrófico25 min
QuizQuiz do Módulo 230 min

Prévia dos Conceitos-Chave​

Fine-Tuning Completo​

Atualização de todos os parâmetros do modelo durante o treinamento, proporcionando o máximo potencial de personalização.

Memória da GPU​

A VRAM necessária para armazenar os pesos do modelo, gradientes, estados do otimizador e ativações.

Esquecimento Catastrófico​

Perda de conhecimento previamente aprendido ao treinar com novos dados.

Acumulação de Gradientes​

Simulação de tamanhos de batch maiores acumulando gradientes ao longo de múltiplas passagens forward.

Por Que Isso É Importante​

O fine-tuning completo representa o limite máximo do que é possível alcançar através do treinamento. Compreender seus requisitos e limitações ajuda você a:

  • Entender por que os métodos PEFT foram desenvolvidos
  • Tomar decisões informadas sobre quando o fine-tuning completo vale o custo
  • Planejar corretamente os recursos computacionais para seus projetos
  • Evitar armadilhas comuns como o esquecimento catastrófico

Pré-requisitos​

Antes de iniciar este módulo, você deve:

  • Ter concluído o Módulo 1
  • Entender conceitos básicos de redes neurais
  • Estar familiarizado com conceitos de GPU/VRAM
  • Ter conhecimentos básicos de Python e PyTorch

Vamos Começar!​

Comece pelo Capítulo 1: Abordagem Tradicional de Fine-Tuning.

Tempo estimado para completar este módulo: 2 horas