Capítulo 1: Algoritmos de tokenización

BPE (Byte Pair Encoding)

Fusiona iterativamente los pares de caracteres más frecuentes:

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer

tokenizer = Tokenizer(BPE())
trainer = BpeTrainer(vocab_size=50000, special_tokens=["[PAD]", "[UNK]"])
tokenizer.train(files=["corpus.txt"], trainer=trainer)

WordPiece (Usado por BERT)

Similar a BPE pero utiliza probabilidad en lugar de frecuencia:

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokens = tokenizer.tokenize("unbelievable")
# ['un', '##believe', '##able']

SentencePiece (Usado por LLaMA, T5)

Independiente del idioma, trata el texto como bytes sin procesar:

import sentencepiece as spm
spm.SentencePieceTrainer.train(
    input='corpus.txt',
    model_prefix='tokenizer',
    vocab_size=32000
)

Comparación

Algoritmo	Usado por	Característica clave
BPE	GPT-2, GPT-3	Fusión basada en frecuencia
WordPiece	BERT	Basado en probabilidad
SentencePiece	LLaMA, T5	A nivel de bytes, independiente del idioma

---

← Descripción general del móduloCapítulo 2 →