Capítulo 2: Tokens e Preços
Entendendo a Economia dos LLMs
Usar APIs de LLM tem custo, e entender como funciona a precificação ajuda você a planejar e otimizar. O segredo para entender os custos? Tokens.
O que são Tokens?
Um token é a unidade básica que os LLMs processam—aproximadamente uma palavra ou parte de uma palavra.
Exemplos de Tokens
| Texto | Tokens | Quantidade |
|---|---|---|
| "Hello" | [Hello] | 1 |
| "Hello!" | [Hello] [!] | 2 |
| "ChatGPT" | [Chat] [G] [PT] | 3 |
| "unbelievable" | [un] [believ] [able] | 3 |
| "こんにちは" | [こんに] [ち] [は] | 3 |
Regras Práticas
- 1 token ≈ 4 caracteres em inglês
- 1 token ≈ ¾ de uma palavra
- 100 tokens ≈ 75 palavras
- 1 página ≈ 500-750 tokens
Como Funciona a Precificação
Pagamento Por Token
A maioria das APIs de LLM cobra por 1.000 ou 1.000.000 de tokens:
| Modelo | Preço de Entrada (por 1M) | Preço de Saída (por 1M) |
|---|---|---|
| GPT-3.5-turbo | $0,50 | $1,50 |
| GPT-4 Turbo | $10 | $30 |
| GPT-4o | $5 | $15 |
| Claude 3 Haiku | $0,25 | $1,25 |
| Claude 3 Sonnet | $3 | $15 |
| Claude 3 Opus | $15 | $75 |
Preços do final de 2024; consulte os sites dos provedores para preços atualizados.
Tokens de Entrada vs. Saída
| Tipo | O que é | Normalmente Custa |
|---|---|---|
| Tokens de entrada | Seu prompt + contexto | Menos |
| Tokens de saída | Resposta da IA | Mais |
Por que a diferença? Gerar saída exige mais computação do que ler a entrada.
Estimativa de Custos
Cálculo de Exemplo
Cenário: Bot de atendimento ao cliente usando GPT-4 Turbo
| Item | Tokens |
|---|---|
| Prompt do sistema | 200 |
| Histórico da conversa (média) | 500 |
| Pergunta do usuário | 50 |
| Total de Entrada | 750 |
| Resposta da IA (média) | 200 |
| Total de Saída | 200 |
Custo por interação:
- Entrada: 750 tokens × $10/1M = $0,0075
- Saída: 200 tokens × $30/1M = $0,006
- Total: ~US$0,01 por conversa
Em 10.000 conversas/mês: ~US$100
Planos gratuitos e limites
Produtos para Consumidor
| Produto | Plano gratuito |
|---|---|
| ChatGPT | GPT-3.5 ilimitado |
| Claude | Mensagens diárias limitadas |
| Gemini | Consultas limitadas |
Planos gratuitos de API
| Provedor | Créditos Gratuitos |
|---|---|
| OpenAI | $5-18 para novas contas |
| Anthropic | $5 para novas contas |
| Google AI | Plano gratuito generoso |
Estratégias de Otimização de Custos
1. Escolha o Modelo Certo
| Complexidade da Tarefa | Modelo Recomendado | Por quê |
|---|---|---|
| Tarefas simples | GPT-3.5, Haiku | Barato e rápido |
| Raciocínio complexo | GPT-4, Sonnet | Melhor qualidade |
| Tarefas críticas | GPT-4, Opus | Maior capacidade |
2. Otimize os Prompts
Ruim (desperdício):
"Gostaria que você me ajudasse escrevendo uma resposta de e-mail profissional para meu colega John sobre remarcar nossa reunião que deveria acontecer na terça-feira, mas preciso passar para quarta-feira se possível, e por favor, faça soar profissional e amigável ao mesmo tempo."
Bom (eficiente):
"Escreva um e-mail profissional e amigável para John remarcando a reunião de terça para quarta."
3. Use Cache
Se a mesma pergunta for feita com frequência, armazene a resposta em cache em vez de chamar a API novamente.
4. Limite o Tamanho da Saída
Defina max_tokens para evitar respostas desnecessariamente longas.
5. Agrupamento (Batching)
Combine várias solicitações pequenas em menos solicitações maiores quando possível.
Entendendo os Rate Limits
O que são Rate Limits?
Limites de quantas solicitações ou tokens você pode usar em um período de tempo.
Limites Comuns
| Tipo de Limite | Plano gratuito | Plano pago |
|---|---|---|
| Solicitações/minuto | 3-20 | 60-500+ |
| Tokens/minuto | 10K-40K | 60K-300K+ |
| Tokens/dia | 150K-200K | Geralmente ilimitado |
Erros de Rate Limit
Quando você atinge os limites:
- Você recebe um erro "429 Too Many Requests"
- Aguarde e tente novamente
- Ou faça upgrade de plano
Comparando a Economia dos Provedores
OpenAI
- Prós: Preços previsíveis, boa documentação
- Contras: Pode ficar caro em grande escala
Anthropic
- Prós: Preços competitivos, Haiku é muito barato
- Contras: Menos opções de modelos
Google
- Prós: Plano gratuito muito generoso
- Contras: Preços podem ser complexos
Open Source (Llama)
- Prós: Gratuito para rodar (sem custos de API)
- Contras: Requer hardware/hospedagem próprios
Exemplos Reais de Custos
Bot de Escrita para Blog Pessoal
- 10 artigos/semana × 1.000 palavras cada
- Usando GPT-3.5 turbo
- Custo: ~US$0,50-1/mês
Suporte ao Cliente (Média Empresa)
- 1.000 conversas/dia
- Usando Claude Haiku
- Custo: ~US$50-100/mês
Análise de Documentos Empresariais
- 10.000 documentos/dia
- Usando GPT-4 para precisão
- Custo: ~US$3.000-5.000/mês
Custos Ocultos
Não esqueça de:
| Custo | Descrição |
|---|---|
| Tempo de desenvolvimento | Construção e manutenção da integração |
| Monitoramento | Acompanhamento de uso e erros |
| Garantia de qualidade | Revisão das saídas |
| Infraestrutura | Servidores, bancos de dados, etc. |
Principais Aprendizados
✅ Tokens são as unidades de cobrança—aproximadamente ¾ de uma palavra cada
✅ Tokens de entrada são mais baratos que tokens de saída
✅ A escolha do modelo afeta drasticamente o custo
✅ Otimize prompts para reduzir o uso de tokens
✅ Planos gratuitos são ótimas para aprendizado e projetos pequenos
✅ Modelos open source trocam custos de API por custos de hospedagem
Reflita
- Por que você acha que tokens de saída custam mais que tokens de entrada?
- Como você decidiria entre um modelo barato e um caro para um novo projeto?
- O que pode acontecer se você não monitorar o uso da sua API?
Próximos Passos
Agora vamos explorar o que os LLMs não conseguem fazer em Capítulo 3: Limitações e Alucinações.