¿Por qué la IA autónoma exige un nuevo modelo de autoridad organizativa?

Three people are seen looking at a computer screen that diplays code.
AI is not just being used to support decisions anymore. It is starting to make them.Image: Getty Images/Jay Yuno
Este contenido ha sido traducido automáticamente con IA.
  • Los sistemas de IA están pasando de generar resultados informativos a ejecutar flujos de trabajo de principio a fin con autoridad organizativa delegada.

  • A diferencia de los humanos, los agentes autónomos carecen de restricciones operativas implícitas, por lo que las organizaciones deben proporcionarles gobernanza y límites desde el exterior.

  • El marco Agent Capability and Authorization Profile aborda esta brecha al codificar explícitamente los permisos de un agente.

Mona y Luna son dos “gerentes” del sector servicios. Mona trabaja en Estocolmo, al frente de una pequeña cafetería que abrió recientemente. Luna dirige una tienda minorista en San Francisco, que facturó más de 1000 dólares en sus primeros cuatro días.

Lo que ocurre es que Mona y Luna no son personas. Son agentes de IA, diseñados por la startup de Silicon Valley Andon Labs como parte de una serie de experimentos para comprobar si la IA puede dirigir negocios reales sin supervisión humana.

A primera vista, parece otra historia sobre automatización. Pero no lo es. Su señal apunta a algo mucho más profundo.

La IA ya no solo se utiliza para respaldar decisiones. Empieza a tomarlas y, en algunos casos, a ejecutarlas. Las organizaciones ya no solo despliegan software. Están empezando a introducir sistemas que operan flujos de trabajo de principio a fin, con un grado de autoridad delegada.

El paso de la recomendación a la acción autónoma

En colaboración con laboratorios de IA líderes, entre ellos Anthropic y OpenAI, Andon Labs está construyendo lo que denomina «organizaciones autónomas seguras». El objetivo no es dirigir negocios rentables, sino observar qué ocurre cuando se permite que los sistemas de IA operen con responsabilidades reales, herramientas reales y consecuencias reales.

Basados en modelos como Claude Sonnet, Mona y Luna son los gerentes efectivos plenos de estas tiendas. Se encargan de los precios, el inventario, la coordinación con proveedores e incluso la contratación de personal, desde la redacción de descripciones de puestos hasta la realización de entrevistas y la selección de candidatos.

No recomiendan acciones. Las toman.

Y, en muchos sentidos, el experimento funcionó. Los sistemas pudieron coordinar tareas, interactuar con personas y dirigir las operaciones diarias. Pero los fallos son lo más interesante. Mona encargó grandes cantidades de suministros que no coincidían con el menú que había diseñado. Luna tuvo dificultades para alinear los precios con la demanda, tomando decisiones internamente coherentes pero económicamente erróneas.

No son solo fallos técnicos. Apuntan a algo más fundamental. Los sistemas pueden actuar, pero carecen de las restricciones implícitas y los límites de autorización que los humanos suelen aplicar sin pensarlo.

Y aquí es donde el cambio se vuelve más difícil de ignorar. El debate no gira realmente en torno a si las tiendas dirigidas por IA pueden convertirse en negocios exitosos. Lo importante es que sistemas como estos ya se están colocando en posiciones en las que se espera que actúen en nombre de una organización.

Por qué los agentes de IA carecen de restricciones humanas implícitas

Señales similares están surgiendo en otros ámbitos. Conceptos de servicios de alimentación autónomos, incluidos camiones de comida totalmente robotizados capaces de preparar y servir comidas, están pasando de la fase piloto al despliegue. Lo que hace muy poco parecía experimental empieza a aparecer en entornos operativos reales.

Los agentes de IA no son un fenómeno nuevo. Estos sistemas basados en LLM combinan autonomía con delegación, ejecutan tareas y toman decisiones sin supervisión humana, solo con observación. Desde hace tiempo se despliegan en la atención al cliente para resolver consultas complejas y en el análisis de datos para procesar grandes volúmenes de información y extraer conclusiones útiles. Lo nuevo es la escala y las consecuencias de su despliegue. Organizaciones y economías compiten ahora por adaptar los marcos existentes de gobernanza de la IA, el software y los riesgos para tener en cuenta un entorno operativo para el que no fueron diseñados.

Incorporar un agente de IA se parece sorprendentemente a contratar a una persona. Evalúas lo que puede hacer, defines lo que tiene permitido hacer, estableces sus metas y objetivos, le concedes acceso a los sistemas que necesita y decides hasta qué punto supervisarlo. Pero un empleado humano aporta juicio, prudencia y compromiso personal. Un agente de IA no aporta nada de eso por defecto, lo que significa que la organización debe proporcionárselo externamente mediante gobernanza, estructura y supervisión.

Hay que establecer directrices claras para los agentes de IA, ya que carecen de la responsabilidad legal, la responsabilidad moral y los incentivos reputacionales de los empleados ordinarios. Las consecuencias no son intrínsecas, por lo que la gobernanza debe compensar esas carencias. Entre los conceptos básicos que deben definir quienes los despliegan se encuentran el grado de autonomía con el que un agente determina cómo se persigue un objetivo, la autoridad para ejecutar y comunicarse entre sistemas, y los puntos de control y los límites que lo restringen. Las salvaguardas internas integradas en el sistema y los controles externos que implanta la organización son imprescindibles para garantizar que la posición jurídica, la seguridad de los datos y la integridad operativa nunca se pongan en riesgo.

Un puente entre la capacidad técnica y el mandato organizativo

Aquí es donde entra en juego el Agent Capability and Authorization Profile (ACAP). En esencia, es una forma de documentar lo que un agente está realmente autorizado a hacer en una situación concreta, en un entorno de producción. ACAP se presentó en AI Agents in Action: A Playbook for Trusted Adoption, Authorization and Scaling, el tercero de una serie de informes elaborados por la AI Global Alliance, que reúne a líderes de la industria, los gobiernos, el mundo académico y la sociedad civil para orientar el avance responsable, ético y equitativo de la IA generativa.

ACAP define, en un único registro, el alcance del poder delegado de un agente —detallando las acciones permitidas, los contextos específicos y las condiciones requeridas— junto con la supervisión asignada. En última instancia, tiende un puente entre la capacidad técnica y la autorización organizativa exigible.

Se aplica a nivel de despliegue y se basa en el contexto, no solo en la propia tecnología. Un mismo agente puede operar con ACAP distintos según el flujo de trabajo, el nivel de riesgo o el grado de autonomía que la organización esté dispuesta a conceder. Y cuando varios agentes trabajan juntos, todo el conjunto se trata como un único sistema desde el punto de vista de la autorización, aunque esté compuesto por piezas diferentes.

Image: Foro Económico Mundial

Esto contrasta con configuraciones como las de Mona y Luna, donde el objetivo es observar lo que los agentes pueden hacer sin supervisión humana y con objetivos poco definidos. En la práctica, ACAP está diseñado para entornos de producción, donde el comportamiento de los agentes debe autorizarse, supervisarse y restringirse explícitamente a escala.

ACAP tampoco es algo que se define una vez y se olvida. Evoluciona a medida que el agente pasa del diseño al despliegue y al uso en el mundo real. Al principio, los límites pueden ser más estrictos, con más puntos de control y supervisión humana. Con el tiempo, a medida que el sistema demuestra su fiabilidad, ese alcance puede ampliarse o, con la misma facilidad, reducirse si no se comporta como se espera.

En ese sentido, ACAP funciona como un puente. Conecta el lado técnico de lo que el sistema puede hacer con la realidad operativa de lo que realmente tiene permitido hacer dentro de una organización. Y convierte en algo explícito, trazable y, sobre todo, ajustable con el tiempo lo que a menudo es implícito y está disperso.

Preparar marcos institucionales para la agencia delegada

Lo que Mona y Luna revelan en última instancia no es solo la aparición de sistemas de IA más capaces, sino un cambio organizativo más profundo: el paso de sistemas que generan resultados a sistemas que ejercen una agencia delegada.

Eso cambia por completo la cuestión de la gobernanza.

La cuestión ya no es si un sistema de IA puede ayudar a una empresa. Es si las organizaciones están preparadas para definir, restringir y supervisar de forma continua lo que estos sistemas están autorizados a hacer en su nombre.

Mona y Luna nunca fueron realmente experimentos sobre la capacidad de dirigir cafeterías o tiendas minoristas. Fueron pruebas tempranas de la delegación organizativa. Los fallos que pusieron de manifiesto no fueron solo técnicos. Fueron fallos de gobernanza: límites poco claros, objetivos poco definidos, supervisión insuficiente y ausencia de un modelo operativo para la autorización.

Esta es precisamente la brecha que hay que abordar. Con herramientas.

En lugar de tratar a los agentes de IA como herramientas de software, ACAP los trata como actores organizativos que operan con una autoridad, unas restricciones y unas estructuras de responsabilidad explícitamente definidas. Convierte la agencia delegada, de algo implícito, en algo gobernado, auditable y ajustable de forma continua con el tiempo.

Y esa distinción importa porque la próxima generación de sistemas de IA no se limitará a recomendar acciones. Cada vez más negociarán, coordinarán, realizarán transacciones y operarán en flujos de trabajo con una autonomía creciente.

El verdadero reto que se avecina, por tanto, no es si la IA puede dirigir partes de un negocio. En muchos casos, ya puede.

El reto es si las organizaciones, los reguladores y las sociedades están preparados para gobernar sistemas que actúan cada vez más en su nombre.

Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso. Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.