Capítulo 2: Tokens y precios
Comprendiendo la economía de los LLM
Utilizar APIs de LLM tiene un costo, y entender cómo funciona la tarificación le ayuda a presupuestar y optimizar. ¿La clave para entender los costos? Los tokens.
¿Qué son los tokens?
Un token es la unidad básica que procesan los LLM—aproximadamente una palabra o parte de una palabra.
Ejemplos de tokens
| Texto | Tokens | Cantidad |
|---|---|---|
| "Hello" | [Hello] | 1 |
| "Hello!" | [Hello] [!] | 2 |
| "ChatGPT" | [Chat] [G] [PT] | 3 |
| "unbelievable" | [un] [believ] [able] | 3 |
| "こんにちは" | [こんに] [ち] [は] | 3 |
Reglas generales
- 1 token ≈ 4 caracteres en inglés
- 1 token ≈ ¾ de una palabra
- 100 tokens ≈ 75 palabras
- 1 página ≈ 500-750 tokens
Cómo funciona la tarificación
Pago por token
La mayoría de las APIs de LLM cobran por cada 1,000 o 1,000,000 de tokens:
| Modelo | Precio de entrada (por 1M) | Precio de salida (por 1M) |
|---|---|---|
| GPT-3.5-turbo | $0.50 | $1.50 |
| GPT-4 Turbo | $10 | $30 |
| GPT-4o | $5 | $15 |
| Claude 3 Haiku | $0.25 | $1.25 |
| Claude 3 Sonnet | $3 | $15 |
| Claude 3 Opus | $15 | $75 |
Precios a finales de 2024; consulte los sitios web de los proveedores para obtener precios actualizados.
Tokens de entrada vs. salida
| Tipo | Qué es | Normalmente cuesta |
|---|---|---|
| Tokens de entrada | Su prompt + contexto | Menos |
| Tokens de salida | Respuesta de la IA | Más |
¿Por qué la diferencia? Generar salida requiere más computación que leer la entrada.
Estimación de costos
Ejemplo de cálculo
Escenario: Bot de soporte al cliente usando GPT-4 Turbo
| Elemento | Tokens |
|---|---|
| Prompt del sistema | 200 |
| Historial de conversación (promedio) | 500 |
| Pregunta del usuario | 50 |
| Total de entrada | 750 |
| Respuesta de la IA (promedio) | 200 |
| Total de salida | 200 |
Costo por interacción:
- Entrada: 750 tokens × $10/1M = $0.0075
- Salida: 200 tokens × $30/1M = $0.006
- Total: ~$0.01 por conversación
Con 10,000 conversaciones/mes: ~$100
Niveles gratuitos y límites
Productos para consumidores
| Producto | Nivel gratuito |
|---|---|
| ChatGPT | GPT-3.5 ilimitado |
| Claude | Mensajes diarios limitados |
| Gemini | Consultas limitadas |
Niveles gratuitos de API
| Proveedor | Créditos gratuitos |
|---|---|
| OpenAI | $5-18 para cuentas nuevas |
| Anthropic | $5 para cuentas nuevas |
| Google AI | Nivel gratuito generoso |
Estrategias de optimización de costos
1. Elija el modelo adecuado
| Complejidad de la tarea | Modelo recomendado | Por qué |
|---|---|---|
| Tareas simples | GPT-3.5, Haiku | Barato y rápido |
| Razonamiento complejo | GPT-4, Sonnet | Mejor calidad |
| Tareas críticas | GPT-4, Opus | Máxima capacidad |
2. Optimice los prompts
Malo (desperdicio):
"Me gustaría que por favor me ayude redactando una respuesta profesional por correo electrónico a mi colega John sobre reprogramar nuestra reunión que iba a ser el martes pero necesito moverla al miércoles si es posible, y por favor hágalo sonar profesional y amigable al mismo tiempo."
Bueno (eficiente):
"Redacte un correo profesional y amigable a John para reprogramar la reunión del martes al miércoles."
3. Use caché
Si la misma pregunta se realiza con frecuencia, almacene la respuesta en caché en lugar de llamar nuevamente a la API.
4. Limite la longitud de la salida
Establezca max_tokens para evitar respuestas innecesariamente largas.
5. Agrupamiento (batching)
Combine varias solicitudes pequeñas en menos solicitudes más grandes cuando sea posible.
Comprendiendo los límites de tasa
¿Qué son los límites de tasa?
Límites sobre cuántas solicitudes o tokens puede usar en un período de tiempo.
Límites comunes
| Tipo de límite | Nivel gratuito | Nivel de pago |
|---|---|---|
| Solicitudes/minuto | 3-20 | 60-500+ |
| Tokens/minuto | 10K-40K | 60K-300K+ |
| Tokens/día | 150K-200K | A menudo ilimitado |
Errores de límite de tasa
Cuando alcanza los límites:
- Recibe un error "429 Too Many Requests"
- Espere y reintente
- O actualice su nivel
Comparando la economía de los proveedores
OpenAI
- Ventajas: Precios predecibles, buena documentación
- Desventajas: Puede volverse costoso a gran escala
Anthropic
- Ventajas: Precios competitivos, Haiku es muy barato
- Desventajas: Menos opciones de modelos
Google
- Ventajas: Nivel gratuito muy generoso
- Desventajas: La tarificación puede ser compleja
Open Source (Llama)
- Ventajas: Gratis para ejecutar (sin costos de API)
- Desventajas: Requiere su propio hardware/hosting
Ejemplos reales de costos
Bot escritor de blog personal
- 10 artículos/semana × 1,000 palabras cada uno
- Usando GPT-3.5 turbo
- Costo: ~$0.50-1/mes
Soporte al cliente (empresa mediana)
- 1,000 conversaciones/día
- Usando Claude Haiku
- Costo: ~$50-100/mes
Análisis de documentos empresariales
- 10,000 documentos/día
- Usando GPT-4 por precisión
- Costo: ~$3,000-5,000/mes
Costos ocultos
No olvide:
| Costo | Descripción |
|---|---|
| Tiempo de desarrollo | Construcción y mantenimiento de la integración |
| Monitoreo | Seguimiento de uso y errores |
| Aseguramiento de calidad | Revisión de salidas |
| Infraestructura | Servidores, bases de datos, etc. |
Puntos clave
✅ Los tokens son las unidades de facturación—aproximadamente ¾ de palabra cada uno
✅ Los tokens de entrada son más baratos que los de salida
✅ La elección del modelo afecta drásticamente el costo
✅ Optimice los prompts para reducir el uso de tokens
✅ Los niveles gratuitos son útiles para aprender y proyectos pequeños
✅ Los modelos open source intercambian costos de API por costos de hosting
Piénselo
- ¿Por qué cree que los tokens de salida cuestan más que los de entrada?
- ¿Cómo decidiría entre un modelo barato y uno caro para un proyecto nuevo?
- ¿Qué podría pasar si no monitorea el uso de su API?
Próximos pasos
Ahora exploremos lo que los LLM no pueden hacer en Capítulo 3: Limitaciones y alucinaciones.