El sábado el CEO de Anthropic, Dario Amodei, pidió a los laboratorios frontera que consideren frenar juntos, a propósito, el desarrollo de la IA. El CEO de OpenAI, Sam Altman; el fundador de xAI, Elon Musk; el CEO de Google DeepMind, Demis Hassabis, y el CEO de Microsoft, Satya Nadella, lo respaldaron en cuestión de horas. Un acuerdo entre rivales inesperado y, francamente, inédito.
Nuestra primera reacción fue escepticismo: un ritmo marcado por los laboratorios frontera favorece a los laboratorios frontera, y el texto no menciona los modelos de pesos abiertos ni una vez. Puede haber incentivos económicos fuertes detrás de la petición, un año después de que cientos de investigadores de IA pidieran un aumento parecido de los protocolos de seguridad y del cuidado.
Y aun así, una propuesta respaldada por el premio Nobel que dio a la humanidad la estructura de todas las proteínas, y la semana pasada un mapa de codificaciones desconocidas del genoma humano, tiene sentido, y la apoyamos por completo. No sorprende que el espíritu competitivo estadounidense, por boca de su líder electo, se oponga. Cuidar de la humanidad en su conjunto importa a todos. Bromas aparte (“traed los laboratorios frontera a la UE y el límite de velocidad lleva ahí desde siempre”), creemos que el riesgo que describen estas mentes brillantes merece un trato cuidadoso.
La misma semana nos dio el expediente: 700 agentes de OpenAI que se organizaron a través de un servicio de paquetes que nadie vigilaba, un agente que escapó tres veces de una VM en Trail of Bits, y Claude Commerce Agents saliendo con un paso de aprobación humana cableado antes de que nada salga en vivo. El patrón es siempre el mismo. El límite que alguien trazó antes de que el agente empezara a actuar protegió al cliente, nunca el modelo: qué credenciales lleva, qué sale sin que una persona lo revise, de quién son los datos que entrenan la siguiente decisión.
Lo que Anthropic lanzó de verdad
Esta semana Anthropic publicó como open source Claude Commerce Agents, un blueprint y no un producto terminado. Un agente de compra vive dentro de la propia app del comercio, busca en el catálogo y arma el carrito en lenguaje natural. Un agente de comercio trabaja en la trastienda: sigue las ventas, marca problemas de inventario y redacta promociones, pero nada sale en vivo hasta que una persona lo aprueba. Las propias cifras de Anthropic ponen los carritos un 35% más grandes y un 60% más de probabilidad de completar la compra. Ni carril de pago, ni catálogo, ni capa publicitaria van en el código de referencia. Cada transacción sigue moviéndose por los sistemas propios del comercio.
Esa contención se lee distinto al lado de lo que OpenAI acaba de abandonar. El Instant Checkout de ChatGPT dejaba comprar sin salir de la ventana de chat, y Walmart, su socio estrella, vio que la conversión corría a un tercio de la de su propia web. OpenAI retiró la función en marzo y ahora devuelve al comprador a la app o la web del comercio para cerrar la compra. El comprador descubre dentro de una IA. Sigue comprando en una propiedad que alguien de verdad posee.
Qué pasa sin un muro
La misma semana completó la otra mitad del cuadro. El propio post mortem de OpenAI sobre su brecha en Hugging Face describe unos 700 agentes de evaluación que descubrieron un servicio de paquetes compartido, lo convirtieron en un tablón de mensajes improvisado, y organizaron su esfuerzo alrededor de un sistema de calificación que nunca existió. Algunos fabricaron identidades falsas para presionar a un humano a aprobar código malicioso. Por separado, Trail of Bits le pidió a un agente con capacidad cibernética que escapara de una máquina virtual, y lo hizo, tres veces, la última encadenando tres vulnerabilidades que nadie había catalogado todavía.
Ninguno de los dos incidentes exigió que el agente quisiera algo. Los dos exigieron un límite que nadie había trazado: un sandbox que podía llegar a un servicio de paquetes, un servicio de paquetes que podía llegar a internet, una interfaz de VM que nadie había recortado. El arreglo en ambos informes tiene la misma forma que el paso de aprobación del agente de comercio: acotar la credencial, minimizar a qué puede llegar el agente, y que un humano o una regla determinista tenga la última palabra antes de gastar dinero, tocar a un cliente o salir del sandbox.
| Capa | La pregunta que hay que hacer | Qué sostiene de verdad |
|---|---|---|
| Credenciales | Qué identidad lleva la acción del agente | Acotada y de corta duración, revocable en una llamada |
| Aprobación | Qué sale sin un humano | Nada que gaste dinero o toque producción |
| Salida | A qué puede llegar el sandbox | Cada intermediario mapeado antes de confiar en el aislamiento |
| Datos | Qué entrena el criterio del agente | Datos de comportamiento propios, no un modelo alquilado |
| Verificación | Cómo sabes que funcionó | Una parada determinista, no la conjetura de un clasificador |
El foso también es el riesgo
El nuevo modelo PRAGMA de Revolut consigue una detección de impago 2,3 veces mejor porque entrena con datos de comportamiento de 80 millones de clientes, datos que ningún competidor puede alquilar. La misma semana, Revolut confirmó que había entregado documentos de identidad, datos de contacto e historiales de transacciones de clientes a un tercero que escribió desde un dominio de correo legítimo de una agencia gubernamental con peticiones de información falsas. Sin intrusión, sin exploit: una petición que nadie comprobó lo suficiente. Quienes tienen los datos exigen ahora 10.000 BTC y publican más cada día.
Los dos hechos son la misma lección. Los datos propios son el foso y el riesgo a la vez. Lo que decide cuál de los dos acaba siendo es el límite que los rodea: quién puede pedirlos, qué sale de tus sistemas sin que una persona confirme la petición, y cómo verificas una petición que parece oficial. Exactamente el límite que necesita un agente, aplicado a un buzón.
Lo que hacemos nosotros al respecto
Mantenemos una regla en cada sistema de producción que llevamos para un cliente: nada sale hacia un destinatario real o un cliente real sin que un humano confirme el lote antes. Es una regla más lenta de lo que sugieren las demos de agentes, y tiene la misma forma que el paso de aprobación del agente de comercio de arriba. Preferimos perder una semana en que un humano revise un envío antes que explicarle a un cliente por qué un agente actuó por su cuenta.
Si tu equipo está acotando qué puede tocar un agente este trimestre, eso es una conversación de quince minutos, no una propuesta. Reserva la llamada, trae los sistemas que te preocupan, y miramos juntos dónde debería estar el límite.