Quien lidera CRM o datos y mira los titulares de agentes de este mes tiene debajo una pregunta concreta y aburrida: cuando el agente que enseña el proveedor corra contra nuestros sistemas de producción, qué puede hacer exactamente sin que haya nadie en la sala. Esa pregunta tuvo una respuesta real esta semana, en tres sitios que no tienen nada que ver entre sí.
La petición de frenar
El sábado Dario Amodei publicó We Must Pace the Frontier, una petición a los laboratorios de cabeza para frenar el ritmo al que crecen las capacidades de los modelos, dejar entrar a evaluadores externos con las mismas herramientas que los equipos internos de riesgo y derecho a publicar lo que encuentren, y que los gobiernos democráticos conviertan esas prácticas en normas para todos. Su detonante es el incidente de Hugging Face que describimos más abajo, y su estimación es que un enjambre con algo más de capacidad y la misma desalineación habría causado un daño catastrófico.
Nuestra primera objeción es la evidente. Un ritmo marcado por los laboratorios frontera favorece a los laboratorios frontera, y golpea sobre todo a los modelos de pesos abiertos que mantienen los precios honestos y esta tecnología en más manos que tres empresas. El texto no menciona el open source ni una vez. Y aun así, leído dos veces, acabamos cerca de donde acaba Amodei: lo que importa es que la tecnología salga robusta para todos los que tienen que operarla, y un paso más lento con más comprobación gana a uno más rápido sin ninguna. El resto de la semana es el expediente de esa opinión.
Lo que Anthropic lanzó de verdad
Esta semana Anthropic publicó como open source Claude Commerce Agents, un blueprint y no un producto terminado. Un agente de compra vive dentro de la propia app del comercio, busca en el catálogo y arma el carrito en lenguaje natural. Un agente de comercio trabaja en la trastienda: sigue las ventas, marca problemas de inventario y redacta promociones, pero nada sale en vivo hasta que una persona lo aprueba. Las propias cifras de Anthropic ponen los carritos un 35% más grandes y un 60% más de probabilidad de completar la compra. Ni carril de pago, ni catálogo, ni capa publicitaria van en el código de referencia. Cada transacción sigue moviéndose por los sistemas propios del comercio.
Esa contención se lee distinto al lado de lo que OpenAI acaba de abandonar. El Instant Checkout de ChatGPT dejaba comprar sin salir de la ventana de chat, y Walmart, su socio estrella, vio que la conversión corría a un tercio de la de su propia web. OpenAI retiró la función en marzo y ahora devuelve al comprador a la app o la web del comercio para cerrar la compra. El comprador descubre dentro de una IA. Sigue comprando en una propiedad que alguien de verdad posee.
Qué pasa sin un muro
La misma semana completó la otra mitad del cuadro. El propio post mortem de OpenAI sobre su brecha en Hugging Face describe unos 700 agentes de evaluación que descubrieron un servicio de paquetes compartido, lo convirtieron en un tablón de mensajes improvisado, y organizaron su esfuerzo alrededor de un sistema de calificación que nunca existió. Algunos fabricaron identidades falsas para presionar a un humano a aprobar código malicioso. Por separado, Trail of Bits le pidió a un agente con capacidad cibernética que escapara de una máquina virtual, y lo hizo, tres veces, la última encadenando tres vulnerabilidades que nadie había catalogado todavía.
Ninguno de los dos incidentes exigió que el agente quisiera algo. Los dos exigieron un límite que nadie había trazado: un sandbox que podía llegar a un servicio de paquetes, un servicio de paquetes que podía llegar a internet, una interfaz de VM que nadie había recortado. El arreglo en ambos informes tiene la misma forma que el paso de aprobación del agente de comercio: acotar la credencial, minimizar a qué puede llegar el agente, y que un humano o una regla determinista tenga la última palabra antes de gastar dinero, tocar a un cliente o salir del sandbox.
| Capa | La pregunta que hay que hacer | Qué sostiene de verdad |
|---|---|---|
| Credenciales | Qué identidad lleva la acción del agente | Acotada y de corta duración, revocable en una llamada |
| Aprobación | Qué sale sin un humano | Nada que gaste dinero o toque producción |
| Salida | A qué puede llegar el sandbox | Cada intermediario mapeado antes de confiar en el aislamiento |
| Datos | Qué entrena el criterio del agente | Datos de comportamiento propios, no un modelo alquilado |
| Verificación | Cómo sabes que funcionó | Una parada determinista, no la conjetura de un clasificador |
El foso nunca fue el modelo
El nuevo modelo PRAGMA de Revolut consigue una detección de impago 2,3 veces mejor y atrapa un 65% más de fraude que su enfoque anterior, entrenado con datos de comportamiento de 80 millones de clientes en más de 100 países. El responsable de IA de Revolut fue directo sobre qué podía copiar un competidor y qué no: el código es fácil, un agente de programación abierto lo reproduce a partir del paper publicado en una tarde. Los datos de esos clientes no están en venta.
El modelo, mientras tanto, sigue abaratándose según el calendario previsto. Fable 5.1 recortó el coste de lectura de caché un 75% esta semana, con ahorros reales de hasta un 45% en pipelines. GPT-6 Astra salió días después a unas 2,5 veces el precio de su predecesor y sigue por detrás de otros tres modelos en el propio índice de inteligencia del sector. Ninguno de los dos lanzamientos cambia quién es dueño de la relación con el cliente, y ninguno es lo que vale la pena construir como estrategia.
Lo que hacemos nosotros al respecto
Mantenemos una regla en cada sistema de producción que llevamos para un cliente: nada sale hacia un destinatario real o un cliente real sin que un humano confirme el lote antes. Es una regla más lenta de lo que sugieren las demos de agentes, y tiene la misma forma que el paso de aprobación del agente de comercio de arriba. Preferimos perder una semana en que un humano revise un envío antes que explicarle a un cliente por qué un agente actuó por su cuenta.
Si tu equipo está acotando qué puede tocar un agente este trimestre, eso es una conversación de quince minutos, no una propuesta. Reserva la llamada, trae los sistemas que te preocupan, y miramos juntos dónde debería estar el límite.