Recursos
Colección seleccionada de artículos, repositorios y comunidades para aprendizaje continuo.
Artículos Fundamentales
Arquitectura
- Attention Is All You Need (2017) - arxiv.org/abs/1706.03762
- El artículo original del Transformer
- BERT (2018) - arxiv.org/abs/1810.04805
- Pre-entrenamiento bidireccional
- GPT-2 (2019) - openai.com/research/better-language-models
- Demostración de escalabilidad
Escalado y Entrenamiento
- Scaling Laws for Neural Language Models (2020) - arxiv.org/abs/2001.08361
- Leyes de escalado de Kaplan
- Training Compute-Optimal LLMs (2022) - arxiv.org/abs/2203.15556
- Artículo de Chinchilla
- LLaMA (2023) - arxiv.org/abs/2302.13971
- Modelos fundacionales abiertos
Alineamiento
- Training Language Models with Human Feedback (2022) - arxiv.org/abs/2203.02155
- InstructGPT / RLHF
- Constitutional AI (2022) - arxiv.org/abs/2212.08073
- Enfoque de Anthropic
- DPO (2023) - arxiv.org/abs/2305.18290
- Optimización Directa de Preferencias
Eficiencia
- LoRA (2021) - arxiv.org/abs/2106.09685
- Adaptación de bajo rango
- Flash Attention (2022) - arxiv.org/abs/2205.14135
- Atención eficiente en memoria
- QLoRA (2023) - arxiv.org/abs/2305.14314
- Fine-tuning eficiente
Repositorios de Código
Librerías
| Librería | Propósito | Enlace |
|---|---|---|
| Transformers | Hub de modelos e inferencia | github.com/huggingface/transformers |
| PEFT | Fine-tuning eficiente en parámetros | github.com/huggingface/peft |
| TRL | Entrenamiento con RL | github.com/huggingface/trl |
| vLLM | Servicio de alto rendimiento | github.com/vllm-project/vllm |
| LangChain | Aplicaciones con LLM | github.com/langchain-ai/langchain |
| LiteLLM | API multiproveedor | github.com/BerriAI/litellm |
Entrenamiento
| Repositorio | Propósito |
|---|---|
| DeepSpeed | Entrenamiento distribuido |
| Accelerate | Entrenamiento distribuido sencillo |
| Axolotl | Framework de fine-tuning |
| llama.cpp | Inferencia en CPU |
Hubs de Modelos
- Hugging Face Hub: huggingface.co/models
- OpenAI API: platform.openai.com
- Anthropic API: console.anthropic.com
- Google AI Studio: ai.google.dev
Recursos de Aprendizaje
Cursos
- Stanford CS224N: Procesamiento de Lenguaje Natural con Deep Learning
- Stanford CS324: Modelos de Lenguaje de Gran Escala
- fast.ai: Deep Learning práctico
Blogs
- Hugging Face Blog: huggingface.co/blog
- OpenAI Blog: openai.com/blog
- Anthropic Research: anthropic.com/research
- The Gradient: thegradient.pub
Boletines
- The Batch (deeplearning.ai)
- AI Weekly
- Import AI
Comunidades
- r/MachineLearning: Comunidad de ML en Reddit
- r/LocalLLaMA: LLMs de código abierto
- Hugging Face Discord: Discusión de modelos
- EleutherAI Discord: Investigación abierta
- LangChain Discord: Aplicaciones con LLM
Benchmarks
| Benchmark | Tipo | Enlace |
|---|---|---|
| MMLU | Conocimiento | paperswithcode.com/dataset/mmlu |
| HumanEval | Código | github.com/openai/human-eval |
| GSM8K | Matemáticas | github.com/openai/grade-school-math |
| HellaSwag | Sentido común | rowanzellers.com/hellaswag |
| TruthfulQA | Veracidad | github.com/sylinrl/TruthfulQA |
Herramientas
Desarrollo
- Jupyter/Colab: Experimentación
- Weights & Biases: Seguimiento de experimentos
- MLflow: Ciclo de vida de ML
Despliegue
- Modal: GPU sin servidor
- Replicate: Hosting de modelos
- RunPod: Nube de GPU
- Together AI: API de inferencia
Siga Aprendiendo
¡El campo avanza rápido! Siga:
- Categorías CS.CL y CS.LG en ArXiv
- Investigadores de ML en Twitter/X
- Actas de conferencias (NeurIPS, ICML, ACL, EMNLP)