Pular para o conteúdo principal

Capítulo 2: Predizendo a Próxima Palavra

O Mecanismo Central dos LLMs​

Tudo o que um LLM faz—responder perguntas, escrever histórias, programar—se resume a uma operação simples: prever qual palavra deve vir a seguir.

A Ideia Básica​

A ideia central

Um LLM gera texto repetidamente perguntando: "Dado tudo até agora, qual palavra tem mais chance de vir a seguir?"

Um Exemplo Simples​

Prompt: "A capital da França é"

O modelo calcula probabilidades:

  • "Paris" → 95% de chance
  • "Lyon" → 2% de chance
  • "Berlim" → 0,1% de chance
  • "pizza" → 0,0001% de chance

Ele escolhe "Paris" (ou faz uma amostragem aleatória ponderada pela probabilidade).

Como a Previsão Gera Conversa​

Vamos acompanhar como uma pergunta se transforma em resposta:

Sua Entrada​

"De que cor é o céu?"

O Processo do Modelo​

  1. Vê: "De que cor é o céu?"
  2. Prevê a próxima palavra: "O" (provável início de uma resposta)
  3. Vê: "De que cor é o céu? O"
  4. Prevê: "céu" (faz sentido no contexto)
  5. Vê: "De que cor é o céu? O céu"
  6. Prevê: "é" (correto gramaticalmente)
  7. Prevê: "azul" (o padrão de resposta que aprendeu)
  8. Continua até: Detectar o fim da resposta

Saída: "O céu é azul."

Por Que Parece Inteligente​

Esse mecanismo simples produz um comportamento que parece inteligente porque:

1. Padrões Codificam Conhecimento​

Quando treinado com textos como:

  • "O céu é azul durante o dia"
  • "O céu parece azul por causa da dispersão da luz"
  • "Céu azul é sinal de bom tempo"

O modelo aprende que "azul" segue fortemente "céu é" em contextos de pergunta e resposta.

2. O Contexto Molda a Previsão​

A mesma palavra tem previsões diferentes dependendo do contexto:

ContextoPróxima Palavra Provável
"O banco do rio...""era" (contexto de natureza)
"O banco onde deposito...""dinheiro" (contexto financeiro)
"Sente-se no banco...""da praça" (contexto de assento)

3. Escala Possibilita Raciocínio​

Com parâmetros e treinamento suficientes, o modelo pode seguir padrões lógicos:

"Se A causa B, e B causa C, então A causa ___" → "C"

Probabilidade e Aleatoriedade​

Temperatura: Controlando a Criatividade​

LLMs possuem um ajuste de "temperatura" que afeta como escolhem a próxima palavra:

TemperaturaComportamentoCaso de Uso
Baixa (0,1)Sempre escolhe a palavra mais provávelRespostas factuais, código
Média (0,7)Alguma variedade, ainda coerenteConversa geral
Alta (1,0+)Mais aleatório, criativo, arriscadoEscrita criativa, brainstorming

Exemplo em Diferentes Temperaturas​

Prompt: "O tempo hoje está"

  • Temperatura baixa: "ensolarado" (escolhido 10/10 vezes)
  • Temperatura média: "ensolarado" (7/10), "bonito" (2/10), "agradável" (1/10)
  • Temperatura alta: "espetacular" (3/10), "lembrando a primavera" (2/10), "inesperadamente ameno" (2/10)...

A Natureza Estatística dos LLMs​

LLMs São Máquinas de Probabilidade​

Isso Explica Muitos Comportamentos​

Por que LLMs podem ser "criativos": Eles podem escolher palavras menos prováveis, mas válidas.

Por que as respostas variam: A amostragem aleatória faz com que execuções diferentes gerem respostas diferentes.

Por que podem errar: Alta probabilidade ≠ correto. Padrões "confiantes" nem sempre são verdadeiros.

Comportamentos Emergentes​

Quando você combina:

  • Bilhões de parâmetros
  • Trilhões de exemplos de treinamento
  • Previsão da próxima palavra

Você obtém capacidades que não foram programadas explicitamente:

Exemplos de Habilidades Emergentes​

HabilidadeComo Emerge
TraduçãoPadrões aprendidos em textos multilíngues
Geração de códigoPadrões aprendidos em repositórios de código
MatemáticaPadrões aprendidos em problemas e soluções matemáticas
RaciocínioPadrões aprendidos em argumentos lógicos
ResumoAprendeu a condensar com base em exemplos de resumo

Por Que Isso Funciona Tão Bem​

A Hipótese da Compressão​

Para prever texto com qualidade, o modelo precisa entender implicitamente:

  • Gramática e sintaxe
  • Fatos sobre o mundo
  • Lógica e raciocínio
  • Diferentes estilos de escrita
  • Fluxo de contexto e conversa

A previsão força o modelo a aprender tudo isso.

A Hipótese do Escalonamento​

À medida que os modelos ficam maiores:

  • Aprendem mais padrões
  • Combinam padrões de forma mais eficaz
  • Novas capacidades "emergem" em certos tamanhos
  • O desempenho continua melhorando (até agora)

Limitações da Previsão​

1. Reconhecimento de Padrão, Não Raciocínio​

O modelo encontra padrões, não verdades. Se informações falsas aparecem nos padrões, podem ser reproduzidas.

2. Sem Autoconsciência​

O modelo não "sabe" que está gerando texto. Ele apenas prevê.

3. Risco de Alucinação​

Quando não há um padrão forte, o modelo gera textos plausíveis, mas potencialmente falsos.

4. Sensibilidade ao Prompt​

Pequenas mudanças na entrada podem causar grandes mudanças na saída.

O Loop Autorregressivo​

Termo-chave

Autorregressivo significa que a saída do modelo é usada como entrada para a próxima previsão.

Input: "Hello"
Predict: "there"
New input: "Hello there"
Predict: "!"
New input: "Hello there!"
Predict: "How"
New input: "Hello there! How"
...and so on

É por isso que:

  • Saídas longas são geradas pedaço por pedaço
  • Erros iniciais podem se acumular
  • O modelo pode "ver" sua própria saída anterior

Principais Aprendizados​

✅ Tudo o que um LLM faz é prever a próxima palavra

✅ Probabilidades são calculadas para todas as palavras possíveis

✅ A temperatura controla a aleatoriedade versus previsibilidade

✅ Escala e treinamento permitem habilidades emergentes

✅ Previsão ≠ compreensão, o que leva a alucinações

✅ Cada palavra gerada vira entrada para a próxima previsão

Reflita Sobre Isso​

  1. Se um LLM prevê "Paris" com 95% de chance para "capital da França é ___", de onde vem esse 95%?
  2. Por que uma temperatura alta pode ser boa para escrita criativa, mas ruim para perguntas factuais?
  3. Como o loop autorregressivo explica por que erros iniciais em uma resposta podem levar a mais erros?

Próximos Passos​

Agora vamos entender como os LLMs "lembram" da conversa no Capítulo 3: Contexto e Memória.