Deja de pagar de más por GPT-4: cómo seleccionar modelos de IA para el ROI

La factura del modelo crece más rápido que el valor

Elegiste el modelo más potente disponible porque funcionaba. Luego creció el volumen, los prompts se hicieron más largos y la factura empezó a aparecer en las revisiones. La pregunta ha cambiado: ya no es si el modelo funciona, sino si cada llamada necesita ese modelo.

La mayoría de los equipos responde a eso a ojo. Un poco de medición responde mejor, y la primera medición no es un precio.

Fija el listón de precisión antes de comparar precios

La guía de selección de modelos de OpenAI trata el coste y la latencia como secundarios, porque un modelo que no alcanza tu objetivo de precisión deja esas preocupaciones sin sentido. Fija primero la precisión y luego ajusta el coste dentro de esa restricción (guía de selección de modelos de OpenAI).

El estudio Overqualification aplica la misma regla desde el otro lado. Fija primero la tasa de error aceptable y luego compara precios solo entre los modelos que la cumplen. Su tarea de detección de alérgenos muestra por qué. Los modelos de gama barata respondieron NO en una mediana del 14,5 % de las líneas que contenían gluten, lácteos o marisco con seguridad, la mayoría con una confianza declarada de 95 o superior, mientras que la gama frontera lo hizo 0 veces de 1.972 (el estudio Overqualification).

Cuando el trabajo es rutinario, la aritmética se invierte. En 9 modelos de lenguaje pequeños y 29 variantes probados contra una implementación de GPT-4 orientada al cliente, los investigadores reportaron una calidad competitiva, un rendimiento más constante y una reducción de coste de 5x a 29x (Scaling Down to Scale Up).

Coste por respuesta que puedes usar

El coste por token es el número del proveedor. El tuyo es el coste por respuesta que puedes usar. Divide el precio de una llamada entre la probabilidad de que la respuesta sea correcta y luego suma el coste de una respuesta incorrecta cuando la tarea conlleva riesgo.

Un modelo de teoría de la decisión para la selección de LLM usa las mismas entradas: coste por token, probabilidad de éxito en la tarea y la ganancia y la pérdida asociadas a usar el modelo. Concluye que una mayor precisión de un modelo más caro puede justificar el mayor gasto mediante mayores ingresos, aunque no necesariamente una mejor rentabilidad de la inversión (The Economic Implications of Large Language Model Selection).

Una lista de comprobación para el lunes

1. Escribe el objetivo de precisión como un número, con la tasa de error que esta tarea puede tolerar.
2. Muestrea tráfico real y guarda las respuestas actuales como línea base. Los prompts de prueba favorecen a los modelos baratos.
3. Ejecuta la gama barata con esos mismos prompts. En 24 comparaciones, un modelo más barato igualó o superó al modelo elegido en 18 de ellas (75 %), y los modelos más baratos costaron alrededor de un 89 % menos en las 24 (enrutamiento de modelos medido).
4. Comprueba el par, no la gama. Claude Sonnet 5 frente a Gemini 2.5 Flash igualó en 9 de 10 comparaciones, mientras que los cambios por debajo de Claude Haiku 4.5 igualaron en 1 de 4 (enrutamiento de modelos medido).
5. Ajusta el modelo antes de hacer concesiones. En el ejemplo de clasificador de OpenAI, gpt-4o con cinco ejemplos few-shot alcanzó una precisión del 91,5 % a 11,92 $ por 1.000 registros, y un gpt-4o-mini ajustado alcanzó el mismo 91,5 % a 0,21 $, menos del 2 % del coste, a partir de 1.000 ejemplos etiquetados (guía de selección de modelos de OpenAI).
6. Enruta, no lo sustituyas todo. FrugalGPT describe tres formas de recortar el coste de inferencia: adaptación de prompts, aproximación de LLM y cascada de LLM. Su cascada igualó al mejor modelo único con hasta un 98 % menos de coste (FrugalGPT). Una política consciente del presupuesto llamada TREACLE reporta ahorros de hasta el 85 % manteniendo la precisión (TREACLE).
7. Calcula tu punto de equilibrio. La fórmula publicada es N_r = C_R&D ÷ (ENCS − C_m), donde el número de sugerencias que necesitas depende del coste de investigación, el coste por mensaje y el coste de mantenimiento (el caso práctico sobre los equilibrios económicos de los LLM).

Una marca pequeña que envía 500.000 mensajes de agente al año, con unos ahorros de alrededor de 24.000 $ al año, alcanza el punto de equilibrio más rápido recortando el coste inicial de investigación. Una gran empresa que ahorra 950.000 $ al año con 20 millones de mensajes alcanza el punto de equilibrio con casi cualquier presupuesto de investigación, y ahí domina el coste de inferencia (el caso práctico sobre los equilibrios económicos de los LLM).

Cuánto cuesta esto y dónde falla

Enrutar no es gratis. Mantienes un conjunto de evaluación, un enrutador y una ruta de respaldo, y cada actualización de modelo reinicia parte de ese trabajo. Lee también con atención las cifras de ahorro. La estimación publicada es del 40 % al 70 % del gasto en una carga de trabajo que en su mayoría son peticiones simples, y es una estimación, no una medición. En la única cuenta activa con datos, el 34 % de las peticiones fueron a un modelo más barato y la factura bajó alrededor de un 11 %, porque las llamadas enrutadas eran más pequeñas que la media (enrutamiento de modelos medido).

El modo de fallo cuesta más que el ahorro. Cuando un modelo barato se equivoca con seguridad en algo que importa, pagas una vez y lo recuerdas durante años. Por eso construimos y operamos sistemas inteligentes en torno al listón de precisión y al coste del fallo de cada flujo de trabajo, no en torno a un catálogo de modelos (nuestro marco para la IA en CRM). Los planteamientos Humano+IA aguantan mejor cuando la gama barata se ocupa del tráfico rutinario y las personas asumen las excepciones. Llevamos más de 20 años en CRM y datos en Barcelona, y ese equilibrio cambia cada vez que un proveedor publica una nueva versión.

Si tu gasto en modelos sube mientras los retornos se mantienen planos, y necesitas una decisión de enrutamiento que resista una revisión, podemos ayudarte a construir la evaluación que la resuelva (cuéntanos qué estás ejecutando).