Capítulo 3: Modelos Open Source
Por que Open Source?
- Privacidade: Execute localmente, seus dados nunca saem do seu sistema
- Custo: Sem taxas por token de API
- Customização: Fine-tuning para casos de uso específicos
- Controle: Sem dependências externas
Modelos Open Source Populares
| Modelo | Criador | Tamanhos | Pontos Fortes |
|---|---|---|---|
| Llama 3 | Meta | 8B, 70B | Uso geral, bem documentado |
| Mistral | Mistral AI | 7B | Eficiente, desempenho robusto |
| Mixtral | Mistral AI | 8x7B | Mixture of experts, versátil |
| Phi-2/3 | Microsoft | 2.7B-3.8B | Pequeno, mas capaz |
Diferenças de Prompting
Modelos open source podem exigir:
- Formatos de prompt específicos (ex.:
[INST]...[/INST]para Llama) - Expectativas ajustadas para modelos menores
- Instruções mais explícitas
Exemplo de Formato Llama
[INST] You are a helpful assistant.
Write a haiku about programming. [/INST]
Opções de Deploy
- Ollama: Deploy local fácil
- vLLM: Servidor pronto para produção
- Hugging Face: Nuvem ou local com transformers
- llama.cpp: Inferência eficiente em CPU
Principais Pontos
Summary
- Open source = privacidade, economia, controle
- Modelos diferentes exigem formatos de prompt diferentes
- Modelos menores precisam de instruções mais claras
- Escolha o método de deploy conforme a escala