Capítulo 2: LLMs Locais vs Nuvem
Executando IA na Sua Própria Máquina
Você não precisa usar APIs em nuvem para acessar LLMs. Com modelos open-source e o hardware adequado, é possível rodar IA localmente—totalmente privado e offline.
O Que É Execução Local de LLM?
LLM local significa rodar o modelo de IA no seu próprio computador ou servidor, em vez de enviar requisições para um serviço em nuvem.
A Diferença Principal
| LLM em Nuvem | LLM Local |
|---|---|
| Seus dados vão para OpenAI/Anthropic | Seus dados ficam na sua máquina |
| Pague por uso | Pague pelo hardware uma vez |
| Sempre o modelo mais recente | Atualize manualmente |
| Requer internet | Funciona offline |
Ferramentas para Rodar LLMs Locais
Ollama
A opção mais amigável para LLMs locais.
Recursos:
- Instalação com um comando
- Gerenciamento simples de modelos
- Funciona em Mac, Windows, Linux
- API compatível com OpenAI
Primeiros Passos (exemplo):
# Instale o Ollama, depois:
ollama run llama3
LM Studio
Aplicativo desktop com interface gráfica.
Recursos:
- Não precisa de linha de comando
- Navegação e download de modelos
- Interface de chat integrada
- Funciona em Mac e Windows
llama.cpp
Técnico, mas leve.
Recursos:
- Muito eficiente
- Funciona em hardware mínimo
- Base de muitas outras ferramentas
- Controle total das configurações
Outros
- Text Generation WebUI - Interface rica em recursos
- GPT4All - Aplicativo desktop simples
- Jan - Moderno, focado em privacidade
Requisitos de Hardware
O Que Você Precisa
Rodar LLMs localmente exige um hardware razoável:
| Tamanho do Modelo | RAM Mínima | GPU Recomendada |
|---|---|---|
| 7B parâmetros | 8GB | Opcional (mais lento no CPU) |
| 13B parâmetros | 16GB | 8GB VRAM |
| 30B parâmetros | 32GB | 16GB VRAM |
| 70B parâmetros | 64GB+ | 24GB+ VRAM |
Entendendo Tamanhos de Modelos
| Modelo | Tamanho Aproximado | Nível de Qualidade |
|---|---|---|
| 7B | ~4-7 GB | Bom para muitas tarefas |
| 13B | ~7-13 GB | Qualidade superior |
| 30B | ~15-30 GB | Próximo ao GPT-3.5 |
| 70B | ~35-70 GB | Quase qualidade de fronteira |
Quantização: Tornando Modelos Menores
Quantização reduz a precisão do modelo para deixá-lo menor e mais rápido, com algum impacto na qualidade.
Níveis de Quantização
| Nível | Redução de Tamanho | Impacto na Qualidade |
|---|---|---|
| FP16 | Base | Qualidade total |
| Q8 | ~50% menor | Perda mínima |
| Q4 | ~75% menor | Perceptível, mas utilizável |
| Q2 | ~87% menor | Perda significativa |
Um modelo de 7B pode variar de ~14GB (FP16) até ~3GB (Q4), tornando possível rodar em notebooks.
Benefícios de Privacidade
Seus Dados Permanecem Privados
Ao usar LLMs em nuvem:
- Prompts são enviados pela internet
- Armazenados nos servidores do provedor
- Podem ser usados para treinamento (verifique os Termos de Uso)
- Sujeito às políticas do provedor
Ao usar LLMs locais:
- Nada sai da sua máquina
- Sem registro por terceiros
- Controle total de conformidade
- Funciona em ambientes isolados (air-gapped)
Casos de Uso Críticos para Privacidade
| Setor | Por Que Local É Importante |
|---|---|
| Saúde | Conformidade HIPAA, dados de pacientes |
| Jurídico | Sigilo advogado-cliente |
| Financeiro | Estratégias de trading proprietárias |
| Governo | Informações confidenciais |
| Empresarial | Segredos comerciais |
Considerações de Desempenho
Latência
| Implantação | Tempo de Resposta Típico |
|---|---|
| API em Nuvem (GPT-4) | 2-10 segundos |
| Local (M3 Max, 7B) | 1-3 segundos |
| Local (RTX 4090, 7B) | Menos de 1 segundo |
| Local (apenas CPU, 7B) | 10-30 segundos |
Vazão
APIs em nuvem geralmente suportam mais requisições paralelas, enquanto a execução local é limitada pelo seu hardware.
Vantagens da Nuvem
Por Que a Nuvem Ainda Faz Sentido
- Sem investimento inicial - Não precisa de hardware caro
- Sempre atualizado - Modelos mais recentes automaticamente
- Escalabilidade - Suporta picos de tráfego
- Multimodalidade - Capacidades de imagem, áudio, vídeo
- Disponibilidade global - Acesso de qualquer lugar
- Manutenção especializada - Provedores cuidam da operação
Comparação de Custos
Análise de Ponto de Equilíbrio
| Cenário | Custo Nuvem (Mensal) | Custo Local (Hardware) |
|---|---|---|
| Uso leve (1K consultas) | ~$5-20 | GPU de $1.000+ |
| Uso médio (100K consultas) | ~$500-2.000 | Mesmo hardware |
| Uso intenso (1M consultas) | ~$5.000-20.000 | Mesmo hardware |
Regra geral: Usuários intensivos economizam com local; uso leve é mais barato na nuvem.
Abordagens Híbridas
O Melhor dos Dois Mundos
Padrões Híbridos Comuns
| Padrão | Como Funciona |
|---|---|
| Roteamento por sensibilidade | Dados sensíveis → local; demais → nuvem |
| Roteamento por complexidade | Perguntas difíceis → modelo melhor |
| Fallback | Local primeiro, nuvem como backup |
| Rascunho local, refinamento na nuvem | Local gera, nuvem aprimora |
Começando com LLMs Locais
Passo 1: Verifique Seu Hardware
- Pelo menos 8GB de RAM para modelos pequenos
- GPU recomendada, mas não obrigatória
Passo 2: Escolha uma Ferramenta
- Iniciantes: LM Studio ou Ollama
- Usuários avançados: llama.cpp ou text-generation-webui
Passo 3: Baixe um Modelo
- Comece com Llama 3 8B ou Mistral 7B
- Use quantização Q4 se tiver pouca RAM
Passo 4: Experimente
- Teste diferentes prompts
- Compare com modelos em nuvem
- Descubra o que funciona para seu caso
Principais Pontos
✅ LLMs locais rodam no seu próprio hardware, mantendo os dados privados
✅ Ferramentas como Ollama e LM Studio facilitam o uso local
✅ Requisitos de hardware variam conforme o tamanho do modelo (7B é o mais acessível)
✅ Quantização troca qualidade por modelos menores e mais rápidos
✅ Aplicações críticas de privacidade geralmente exigem execução local
✅ Abordagens híbridas combinam privacidade local com capacidade da nuvem
Reflita
- Que dados pessoais ou de trabalho você nunca enviaria para um LLM em nuvem?
- Como dispositivos de borda (celulares, notebooks) mudariam se pudessem rodar LLMs capazes localmente?
- Quando você escolheria nuvem mesmo que local fosse tecnicamente possível?
Próximos Passos
Agora vamos ver para onde os LLMs estão caminhando em Capítulo 3: Desenvolvimentos Futuros.