Pular para o conteúdo principal

Módulo 5: Tokenização & Embeddings

Entendendo como o texto é convertido em números e representado em espaço vetorial.

Objetivos de Aprendizagem​

  • ✅ Compreender tokenização BPE, WordPiece e SentencePiece
  • ✅ Explicar limitações da janela de contexto e soluções
  • ✅ Descrever espaços de embedding e suas aplicações

Capítulos​

  1. Algoritmos de Tokenização: BPE, WordPiece, SentencePiece
  2. Janelas de Contexto: Limites, modelos de longo contexto, divisão em blocos (chunking)
  3. Espaços de Embedding: Representações vetoriais, similaridade, visualização