Capítulo 2: Do GPT ao GPT-4
Um Breve Histórico dos LLMs Modernos
A jornada dos primeiros modelos de linguagem até os atuais assistentes de IA poderosos aconteceu de forma impressionantemente rápida—apenas cerca de cinco anos transformaram o que a IA pode fazer com linguagem.
O Que Significa GPT?
GPT = Gerador Pré-treinado Transformer
- Gerador: Gera novos textos
- Pré-treinado: É treinado com muitos dados antes de ser utilizado
- Transformer: A arquitetura (tipo de rede neural) que utiliza
A arquitetura Transformer, introduzida em 2017, foi o grande avanço que tornou os LLMs modernos possíveis. Vamos explorar isso mais a fundo no Módulo 2.
A Linha do Tempo do GPT
2018: GPT-1 - O Início
| Métrica | Valor |
|---|---|
| Parâmetros | 117 milhões |
| Dados de Treinamento | ~5 GB de texto |
| Capacidades | Completar textos básicos |
O que conseguia fazer: Completar sentenças, mas frequentemente perdia a coerência em textos mais longos.
Significado: Provou que pré-treinar com grandes volumes de texto, e depois fazer fine-tuning para tarefas específicas, era poderoso.
2019: GPT-2 - "Perigoso Demais para Ser Lançado"
| Métrica | Valor |
|---|---|
| Parâmetros | 1,5 bilhão |
| Dados de Treinamento | ~40 GB de texto |
| Capacidades | Parágrafos coerentes |
O que conseguia fazer: Escrever parágrafos e artigos curtos que muitas vezes pareciam escritos por humanos.
A Polêmica: A OpenAI inicialmente não lançou o modelo completo, preocupada com o uso indevido para fake news. Isso gerou debates sobre segurança em IA que continuam até hoje.
Demo famosa: Dado o prompt sobre unicórnios nos Andes, o GPT-2 gerou uma convincente notícia falsa sobre cientistas descobrindo unicórnios.
2020: GPT-3 - O Divisor de Águas
| Métrica | Valor |
|---|---|
| Parâmetros | 175 bilhões |
| Dados de Treinamento | ~570 GB de texto |
| Capacidades | Few-shot learning |
O que conseguia fazer:
- Responder perguntas
- Escrever código
- Traduzir idiomas
- Resumir documentos
- Tudo isso sem treinamento específico para cada tarefa!
O Avanço: "Few-shot learning"—bastava mostrar alguns exemplos no prompt, e o GPT-3 entendia o que fazer.
Exemplo de Few-Shot Learning:
Translate English to French:
English: Hello → French: Bonjour
English: Thank you → French: Merci
English: Good morning → French:
O GPT-3 geraria corretamente "Bonjour" sem nenhum treinamento específico para tradução.
2022: ChatGPT - O Momento em que a IA se Popularizou
| Métrica | Valor |
|---|---|
| Modelo Base | GPT-3.5 |
| Inovação Principal | Fine-tuning conversacional |
| Marco de Usuários | 100 milhões de usuários em 2 meses |
O que mudou: O ChatGPT não era apenas um modelo mais inteligente—ele foi treinado para conversar usando uma técnica chamada RLHF (Reinforcement Learning from Human Feedback).
O Momento ChatGPT:
- Aplicativo de consumo com crescimento mais rápido da história
- Alcançou 100 milhões de usuários em 2 meses (TikTok levou 9 meses, Instagram levou 2,5 anos)
- Tornou a IA acessível para todos
Por que foi diferente:
- Fluxo de conversa natural
- Podia recusar pedidos prejudiciais
- Admitia quando não sabia algo
- Parecia conversar com um assistente útil
2023: GPT-4 - Multimodal e Ainda Mais Capaz
| Métrica | Valor |
|---|---|
| Parâmetros | Não divulgado (~1 trilhão+) |
| Capacidades | Texto + visão |
| Desempenho | Aprova em vários exames profissionais |
Novas Capacidades:
- Visão: Consegue entender imagens, não apenas texto
- Contexto maior: Processa ~128.000 tokens (cerca de 300 páginas)
- Raciocínio aprimorado: Pontua nos percentis mais altos em muitos exames profissionais
Desempenho em Exames:
| Exame | GPT-3.5 | GPT-4 |
|---|---|---|
| Exame da Ordem (Bar Exam) | 10% inferiores | 10% superiores |
| SAT Matemática | 70º percentil | 89º percentil |
| GRE Verbal | 63º percentil | 99º percentil |
O Que Melhorou em Cada Versão?
1. Coerência e Extensão
2. Capacidade de Raciocínio
- GPT-2: Conseguia identificar padrões, mas não raciocinar
- GPT-3: Raciocínio lógico básico
- GPT-4: Raciocínio complexo e de múltiplas etapas
3. Seguir Instruções
- GPT-2: Precisava de prompts parecidos com os dados de treinamento
- GPT-3: Conseguia seguir instruções simples
- ChatGPT: Projetado para conversas naturais
- GPT-4: Segue instruções complexas e sutis
4. Segurança e Alinhamento
- Primeiros GPT: Geravam qualquer conteúdo
- ChatGPT: Treinado para recusar pedidos prejudiciais
- GPT-4: Compreensão mais sofisticada de segurança
O Cenário Competitivo
O sucesso do ChatGPT desencadeou uma corrida pela IA:
2023: O Ano da Competição entre LLMs
| Mês | Evento |
|---|---|
| Fevereiro | Google anuncia o Bard (agora Gemini) |
| Março | Anthropic lança o Claude |
| Março | Lançamento do GPT-4 |
| Julho | Meta lança o Llama 2 open source |
| Dezembro | Google lança o Gemini |
Por que a competição importa:
- Inovação mais rápida
- Preços mais baixos
- Mais opções para os usuários
- Alternativas open source
Resumo dos Principais Marcos
| Ano | Marco | Significado |
|---|---|---|
| 2017 | Arquitetura Transformer | A base de todos os LLMs modernos |
| 2018 | GPT-1 | Provou que pré-treinamento funciona |
| 2019 | GPT-2 | Mostrou capacidades preocupantes |
| 2020 | GPT-3 | Demonstrou few-shot learning |
| 2022 | ChatGPT | Tornou a IA acessível a todos |
| 2023 | GPT-4 | Alcançou nível humano em várias tarefas |
| 2023 | Explosão open source | Democratizou o acesso à tecnologia de LLM |
Por Que o GPT Ficou Famoso
Vários fatores se combinaram:
- Acessibilidade: O ChatGPT era gratuito e fácil de usar
- Capacidade: Realmente conseguia fazer coisas úteis
- Conversacional: A interação era natural
- Timing: O trabalho remoto tornou ferramentas digitais mais importantes
- Viralidade: Resultados impressionantes foram amplamente compartilhados nas redes sociais
Principais Aprendizados
✅ O GPT evoluiu de 117M para 1T+ parâmetros em 5 anos
✅ Cada versão trouxe melhorias qualitativas, não apenas quantitativas
✅ A inovação do ChatGPT foi na usabilidade, não só na capacidade
✅ O GPT-4 adicionou visão e melhorou drasticamente o raciocínio
✅ A competição está impulsionando a inovação acelerada em todo o setor
Reflita
- Por que você acha que o ChatGPT se espalhou mais rápido do que qualquer tecnologia anterior?
- O que o GPT-5 pode ser capaz de fazer que o GPT-4 não consegue?
- Como modelos open source podem mudar o cenário da IA?
Próximos Passos
Agora vamos ver quem mais está construindo LLMs em Capítulo 3: Principais Provedores de LLM.