Recursos
Coleção curada de artigos, repositórios e comunidades para aprendizado contínuo.
Artigos Fundamentais
Arquitetura
- Attention Is All You Need (2017) - arxiv.org/abs/1706.03762
- O artigo original do Transformer
- BERT (2018) - arxiv.org/abs/1810.04805
- Pré-treinamento bidirecional
- GPT-2 (2019) - openai.com/research/better-language-models
- Demonstração de escalabilidade
Escalabilidade & Treinamento
- Scaling Laws for Neural Language Models (2020) - arxiv.org/abs/2001.08361
- Leis de escalabilidade de Kaplan
- Training Compute-Optimal LLMs (2022) - arxiv.org/abs/2203.15556
- Artigo do Chinchilla
- LLaMA (2023) - arxiv.org/abs/2302.13971
- Modelos fundacionais abertos
Alinhamento
- Training Language Models with Human Feedback (2022) - arxiv.org/abs/2203.02155
- InstructGPT / RLHF
- Constitutional AI (2022) - arxiv.org/abs/2212.08073
- Abordagem da Anthropic
- DPO (2023) - arxiv.org/abs/2305.18290
- Direct Preference Optimization
Eficiência
- LoRA (2021) - arxiv.org/abs/2106.09685
- Adaptação de Baixa Ordem (Low-Rank Adaptation)
- Flash Attention (2022) - arxiv.org/abs/2205.14135
- Atenção eficiente em memória
- QLoRA (2023) - arxiv.org/abs/2305.14314
- Fine-tuning eficiente
Repositórios de Código
Bibliotecas
| Biblioteca | Finalidade | Link |
|---|---|---|
| Transformers | Hub de modelos & inferência | github.com/huggingface/transformers |
| PEFT | Fine-tuning eficiente em parâmetros | github.com/huggingface/peft |
| TRL | Treinamento com RL | github.com/huggingface/trl |
| vLLM | Servir em alta vazão | github.com/vllm-project/vllm |
| LangChain | Aplicações com LLM | github.com/langchain-ai/langchain |
| LiteLLM | API multi-provedores | github.com/BerriAI/litellm |
Treinamento
| Repositório | Finalidade |
|---|---|
| DeepSpeed | Treinamento distribuído |
| Accelerate | Treinamento distribuído simplificado |
| Axolotl | Framework de fine-tuning |
| llama.cpp | Inferência em CPU |
Hubs de Modelos
- Hugging Face Hub: huggingface.co/models
- OpenAI API: platform.openai.com
- Anthropic API: console.anthropic.com
- Google AI Studio: ai.google.dev
Materiais de Aprendizado
Cursos
- Stanford CS224N: Processamento de Linguagem Natural com Deep Learning
- Stanford CS324: Large Language Models
- fast.ai: Deep Learning prático
Blogs
- Hugging Face Blog: huggingface.co/blog
- OpenAI Blog: openai.com/blog
- Anthropic Research: anthropic.com/research
- The Gradient: thegradient.pub
Newsletters
- The Batch (deeplearning.ai)
- AI Weekly
- Import AI
Comunidades
- r/MachineLearning: Comunidade de ML no Reddit
- r/LocalLLaMA: LLMs open-source
- Hugging Face Discord: Discussão sobre modelos
- EleutherAI Discord: Pesquisa aberta
- LangChain Discord: Aplicações com LLM
Benchmarks
| Benchmark | Tipo | Link |
|---|---|---|
| MMLU | Conhecimento | paperswithcode.com/dataset/mmlu |
| HumanEval | Código | github.com/openai/human-eval |
| GSM8K | Matemática | github.com/openai/grade-school-math |
| HellaSwag | Senso comum | rowanzellers.com/hellaswag |
| TruthfulQA | Veracidade | github.com/sylinrl/TruthfulQA |
Ferramentas
Desenvolvimento
- Jupyter/Colab: Experimentação
- Weights & Biases: Rastreamento de experimentos
- MLflow: Ciclo de vida de ML
Deploy
- Modal: GPU serverless
- Replicate: Hospedagem de modelos
- RunPod: Nuvem de GPU
- Together AI: API de inferência
Continue Aprendendo
A área evolui rápido! Siga:
- Categorias CS.CL e CS.LG do ArXiv
- Pesquisadores de ML no Twitter/X
- Anais de conferências (NeurIPS, ICML, ACL, EMNLP)