Módulo 3: Treinamento de LLMs
Visão Geral do Módulo
O treinamento de Grandes Modelos de Linguagem exige recursos computacionais massivos, dados cuidadosamente selecionados e técnicas sofisticadas de treinamento distribuído. Este módulo explora todo o pipeline de treinamento, desde os dados até o modelo treinado.
Objetivos de Aprendizagem
- ✅ Compreender os objetivos de pré-treinamento (previsão do próximo token, masked LM)
- ✅ Explicar os pipelines de coleta e pré-processamento de dados
- ✅ Descrever técnicas de treinamento distribuído (paralelismo de dados, de modelo, de tensores)
- ✅ Entender os requisitos computacionais para o treinamento de LLMs
Conteúdo do Módulo
Capítulo 1: Objetivos de Pré-treinamento
Previsão do próximo token, modelagem de linguagem mascarada, abordagens causais vs bidirecionais.
Capítulo 2: Coleta e Pré-processamento de Dados
Raspagem web, limpeza de dados, deduplicação, filtragem de qualidade, tokenização.
Capítulo 3: Técnicas de Treinamento Distribuído
Paralelismo de dados, paralelismo de modelo, paralelismo de tensores, paralelismo de pipeline, ZeRO.