Glossário de Termos de LLM
Mais de 200 termos técnicos usados ao longo deste curso.
A
AGI (Inteligência Artificial Geral): IA hipotética com habilidades cognitivas gerais em nível humano em todos os domínios.
Atenção: Mecanismo que permite aos modelos focar nas partes relevantes da entrada ao produzir a saída.
Autoregressivo: Método de geração que prediz um token por vez, cada um condicionado aos tokens anteriores.
AWQ (Quantização de Pesos Sensível à Ativação): Método de quantização que preserva pesos importantes com base nos padrões de ativação.
Alinhamento: Treinamento de sistemas de IA para se comportarem de acordo com intenções e valores humanos.
Adapter: Pequenos módulos treináveis inseridos entre camadas congeladas para fine-tuning eficiente em parâmetros.
B
BPE (Byte Pair Encoding): Algoritmo de tokenização que mescla iterativamente pares de caracteres frequentes.
BERT: Representações Bidirecionais de Codificador de Transformers; modelo apenas de codificador usando masked language modeling.
Tamanho do Lote (Batch Size): Número de amostras processadas juntas durante o treinamento.
Busca em Feixe (Beam Search): Estratégia de decodificação que mantém múltiplas sequências candidatas.
bitsandbytes: Biblioteca para quantização em tempo real durante a inferência.
C
Atenção Causal: Atenção onde posições só podem acessar posições anteriores (não futuras).
Chain-of-Thought (CoT): Técnica de prompting que incentiva o raciocínio passo a passo.
Chinchilla: Modelo/artigo da DeepMind mostrando que o treinamento ótimo em computação usa mais dados com modelos menores.
Constitutional AI: Abordagem da Anthropic treinando IA com princípios em vez de rótulos caso a caso.
Janela de Contexto (Context Window): Número máximo de tokens que um modelo pode processar de uma vez.
Atenção Cruzada (Cross-Attention): Atenção onde queries vêm de uma sequência e keys/values de outra.
CLIP: Pré-treinamento Contrastivo de Linguagem e Imagem; modelo que alinha imagens e texto.
D
Paralelismo de Dados (Data Parallelism): Estratégia de treinamento onde cada GPU processa dados diferentes com o mesmo modelo.
Decoder-Only: Arquitetura (como GPT) usando apenas blocos de decodificador com atenção causal.
DeepSpeed: Biblioteca da Microsoft para treinamento distribuído com otimização ZeRO.
Destilação (Distillation): Treinamento de um modelo menor para imitar o comportamento de um modelo maior.
DPO (Otimização Direta de Preferências): Alternativa ao RLHF que otimiza diretamente em dados de preferência.
E
Embedding: Representação vetorial densa de um token ou sequência.
Capacidade Emergente (Emergent Capability): Habilidade que aparece apenas em determinado porte de modelo, ausente em modelos menores.
Encoder-Decoder: Arquitetura com encoder separado (bidirecional) e decoder (causal).
Encoder-Only: Arquitetura (como BERT) usando apenas blocos de encoder com atenção bidirecional.
F
Rede Feed-Forward (FFN): Camadas MLP nos blocos Transformer processando cada posição independentemente.
Aprendizado com Poucos Exemplos (Few-Shot Learning): Aprendizagem a partir de poucos exemplos fornecidos no prompt.
Fine-Tuning: Treinamento adicional de um modelo pré-treinado em dados/tarefas específicas.
Flash Attention: Implementação de atenção eficiente em memória, otimizando o acesso à memória da GPU.
FSDP (Fully Sharded Data Parallel): Implementação do ZeRO no PyTorch.
Chamada de Função (Function Calling): Capacidade do LLM de solicitar execução de ferramenta/API externa.
G
GPTQ: Método de quantização pós-treinamento otimizado para modelos estilo GPT.
Acumulação de Gradiente (Gradient Accumulation): Simulação de lotes maiores acumulando gradientes em múltiplos passos.
Gradient Checkpointing: Troca de computação por memória ao recomputar ativações durante o backward pass.
Decodificação Gulosa (Greedy Decoding): Seleção do token de maior probabilidade em cada passo.
H
Alucinação (Hallucination): Modelo gerando informações falsas ou sem suporte.
Estado Oculto (Hidden State): Representação interna em cada camada do modelo.
HumanEval: Benchmark para avaliar a capacidade de geração de código.
I
Aprendizado em Contexto (In-Context Learning, ICL): Aprendizagem a partir de exemplos no prompt sem atualização de pesos.
Inferência (Inference): Execução de um modelo treinado para gerar previsões.
Instruction Tuning: Fine-tuning em dados de seguimento de instruções.
INT4/INT8: Formatos de quantização de inteiros de 4 e 8 bits.
J
Jailbreaking: Tentativa de burlar medidas de segurança do modelo por meio de prompts engenhosos.
K
KV Cache: Armazenamento de pares key-value computados para evitar recomputação durante a geração.
KL Divergence: Medida de diferença entre distribuições de probabilidade; usada em RLHF.
L
Normalização de Camada (Layer Normalization): Normalização das ativações entre features dentro de cada amostra.
LLM (Large Language Model): Rede neural com bilhões de parâmetros treinada em grandes volumes de texto.
LoRA (Low-Rank Adaptation): Método PEFT adicionando matrizes de baixo rank aos pesos existentes.
Função de Perda (Loss Function): Medida do erro de predição do modelo; minimizada durante o treinamento.
M
Masked Language Modeling (MLM): Pré-treinamento prevendo tokens mascarados (usado pelo BERT).
Precisão Mista (Mixed Precision): Uso de precisão menor (FP16/BF16) para a maioria dos cálculos.
MoE (Mixture of Experts): Arquitetura com múltiplas redes especialistas e um roteador.
Atenção Multi-Head (Multi-Head Attention): Execução de múltiplas operações de atenção em paralelo.
Multimodal: Modelos que processam múltiplas modalidades (texto, imagens, áudio).
N
Predição do Próximo Token (Next Token Prediction): Objetivo de pré-treinamento prevendo o próximo token dado o contexto.
Nucleus Sampling (Top-p): Amostragem de tokens dentro da massa de probabilidade superior.
O
ONNX: Open Neural Network Exchange; formato de modelo agnóstico ao framework.
P
Parâmetro (Parameter): Peso treinável em uma rede neural.
PEFT (Parameter-Efficient Fine-Tuning): Métodos que treinam apenas um pequeno subconjunto de parâmetros.
Perplexidade (Perplexity): Medida da incerteza do modelo; exponencial da perda média de entropia cruzada.
Paralelismo de Pipeline (Pipeline Parallelism): Distribuição de diferentes camadas em diferentes GPUs.
Codificação Posicional (Positional Encoding): Informação adicionada aos embeddings sobre a posição dos tokens.
PPO (Proximal Policy Optimization): Algoritmo de RL comumente usado em RLHF.
Pré-treinamento (Pre-training): Treinamento inicial em grandes volumes de dados não rotulados.
Prompt: Texto de entrada fornecido a um modelo de linguagem.
Q
QLoRA: LoRA aplicada a modelo base quantizado.
Quantização (Quantization): Redução da precisão numérica dos pesos para economizar memória.
Query, Key, Value (Q, K, V): Três projeções usadas no cálculo de atenção.
R
RAG (Retrieval-Augmented Generation): LLM aumentado com contexto relevante recuperado.
ReAct: Padrão de raciocínio + ação para agentes LLM.
Red Teaming: Teste adversarial para encontrar vulnerabilidades do modelo.
Reward Model: Modelo treinado para prever preferências humanas (usado em RLHF).
RLHF (Reinforcement Learning from Human Feedback): Treinamento com dados de preferência humana.
RoPE (Rotary Position Embedding): Codificação posicional via rotação dos embeddings.
S
Scaling Laws: Relações previsíveis entre tamanho do modelo, dados e desempenho.
Self-Attention: Atenção onde uma sequência acessa a si mesma.
SentencePiece: Tokenização agnóstica à linguagem tratando texto como bytes brutos.
SFT (Supervised Fine-Tuning): Fine-tuning em dados de demonstração.
Softmax: Função que converte logits em probabilidades que somam 1.
Speculative Decoding: Uso de modelo pequeno para rascunho e modelo grande para verificação.
SSM (State Space Model): Arquitetura com complexidade linear (ex.: Mamba).
Streaming: Retorno de resultados parciais conforme são gerados.
T
Temperatura (Temperature): Parâmetro que controla a aleatoriedade da saída (maior = mais aleatório).
Paralelismo de Tensor (Tensor Parallelism): Divisão de matrizes de pesos entre GPUs.
TGI (Text Generation Inference): Solução de produção da Hugging Face para serving de geração de texto.
Token: Unidade básica de texto processada por modelos de linguagem.
Tokenização (Tokenization): Conversão de texto em tokens (e vice-versa).
Top-k Sampling: Amostragem entre os k tokens de maior probabilidade.
Transformer: Arquitetura baseada em self-attention, permitindo processamento paralelo.
U
Aprendizado Não Supervisionado (Unsupervised Learning): Aprendizado a partir de dados sem rótulos explícitos.
V
vLLM: Framework de serving de alta vazão com PagedAttention.
Vision Transformer (ViT): Arquitetura Transformer para imagens usando patches.
Vocabulário (Vocabulary): Conjunto de todos os tokens que um modelo pode processar.
W
Peso (Weight): Parâmetro treinável em uma rede neural.
WordPiece: Algoritmo de tokenização usado pelo BERT.
Z
Zero-Shot: Execução de tarefas sem nenhum exemplo no prompt.
ZeRO (Zero Redundancy Optimizer): Otimização do DeepSpeed que particiona estados do otimizador/gradientes/parâmetros.