Capítulo 1: Entendendo Modelos de Linguagem
Do Autocompletar à Conversa
Você usa modelos de linguagem todos os dias—provavelmente sem perceber. Quando seu celular sugere a próxima palavra enquanto você digita, isso é um modelo de linguagem simples em ação. Grandes Modelos de Linguagem (LLMs) seguem o mesmo conceito, mas são dramaticamente mais poderosos.
O Que É um Modelo de Linguagem?
Um modelo de linguagem é um programa de computador que prevê qual texto vem a seguir. Dê um começo, e ele prevê uma continuação.
A Analogia do Autocompletar
Pense no autocompletar do seu celular:
- Você digita "Bom d..."
- Seu celular sugere "ia"
- Você digita "Como v..."
- Seu celular sugere "ai"
Esse é um modelo de linguagem na sua forma mais simples. Ele aprendeu, a partir de milhões de mensagens de texto, que "Bom d..." geralmente é seguido por "ia".
LLMs seguem a mesma ideia—mas em vez de prever palavras isoladas, conseguem prever parágrafos inteiros, redações ou até livros.
Como a Previsão Vira Conversa
Aqui está o ponto-chave: gerar texto é apenas prever o que vem a seguir, um pedaço de cada vez.
Quando você pergunta ao ChatGPT "Qual é a capital da França?", veja o que acontece:
- O modelo vê sua pergunta
- Ele prevê a próxima palavra mais provável: "A"
- Depois a próxima: "capital"
- Depois: "da"
- Depois: "França"
- Depois: "é"
- Depois: "Paris"
- E assim por diante...
Cada palavra é uma previsão baseada em tudo o que veio antes. A mágica é que, após treinar com bilhões de exemplos, essas previsões se tornam surpreendentemente coerentes e úteis.
Por Que o "Grande" Importa
A palavra "grande" em Grande Modelo de Linguagem refere-se a duas coisas:
1. Tamanho do Modelo (Parâmetros)
| Modelo | Parâmetros | Analogia |
|---|---|---|
| Autocompletar simples | Milhares | Um minidicionário |
| GPT-2 (2019) | 1,5 bilhão | Uma pequena biblioteca |
| GPT-3 (2020) | 175 bilhões | Uma biblioteca universitária enorme |
| GPT-4 (2023) | ~1 trilhão+ | Todas as bibliotecas do mundo juntas |
Parâmetros são como as células de memória do modelo. Mais parâmetros significam que o modelo pode armazenar mais padrões e relações.
2. Tamanho dos Dados de Treinamento
LLMs modernos são treinados com:
- Bilhões de páginas da web
- Milhões de livros
- Artigos científicos
- Repositórios de código
- Wikipedia (todas as línguas)
- Notícias
- E muito mais...
A Escala Muda Tudo
Algo notável acontece quando esses modelos ficam grandes o suficiente: habilidades emergentes aparecem.
O Que São Habilidades Emergentes?
São capacidades que não foram programadas explicitamente, mas "emergem" com a escala:
- Raciocínio: Resolver problemas lógicos passo a passo
- Geração de código: Escrever programas funcionais
- Tradução: Converter entre idiomas
- Sumarização: Resumir documentos longos
- Escrita criativa: Gerar histórias, poemas e mais
Modelos pequenos não conseguem fazer essas coisas. Modelos grandes de repente conseguem—é como uma transição de fase na física.
De Calculadora a Assistente
À medida que os modelos ficaram maiores:
- 2018: Conseguiam completar frases
- 2019: Conseguiam escrever parágrafos coerentes
- 2020: Conseguiam responder perguntas e manter conversas
- 2022: Conseguiam raciocinar, programar e criar de formas sofisticadas
- 2023: Conseguiam processar imagens, áudio e mais
O Que os LLMs Realmente "Sabem"
Aqui está uma distinção importante:
LLMs Não Armazenam Fatos Como um Banco de Dados
Eles não têm uma tabela dizendo "Capital da França = Paris." Em vez disso, aprenderam que quando um texto começa com "A capital da França é...", quase sempre é seguido por "Paris."
Eles Aprenderam Padrões, Não Decoraram Fatos
Por isso os LLMs conseguem:
- Gerar conteúdo criativo que nunca viram antes
- Combinar ideias de formas novas
- Às vezes errar sobre "fatos"
Pense assim: Uma pessoa bem lida não decora cada frase que já leu. Em vez disso, desenvolve um entendimento de como a linguagem funciona e de como os conceitos se relacionam.
Exemplos do Mundo Real
Exemplo 1: Redação de E-mails
Você começa a digitar: "Espero que este e-mail te encontre..." O LLM prevê: "...bem. Estou entrando em contato sobre nossa próxima reunião..."
Exemplo 2: Autocompletar Código
Você escreve: def calculate_average(numbers):
O LLM prevê toda a função com base no nome e em padrões comuns.
Exemplo 3: Escrita Criativa
Você faz o prompt: "Escreva um haicai sobre programação" O LLM gera um poema que segue a estrutura do haicai porque aprendeu esses padrões.
Principais Aprendizados
✅ Modelos de linguagem prevêem qual texto vem a seguir
✅ "Grande" significa bilhões de parâmetros e dados de treinamento vastos
✅ A escala permite habilidades emergentes como raciocínio e criação
✅ LLMs aprendem padrões, não fatos—isso tem implicações importantes
✅ Cada resposta é uma série de previsões, um token de cada vez
Reflita
Antes de seguir, pense:
- Quando você usa o autocompletar no seu celular, que padrões ele aprendeu a partir da sua digitação?
- Por que prever "a próxima palavra" pode levar a parágrafos coerentes?
- O que pode dar errado quando um modelo está apenas prevendo padrões?
Próximos Passos
Agora que você entende o que são modelos de linguagem, vamos explorar como eles evoluíram em Capítulo 2: Do GPT ao GPT-4.