A medida que más organizaciones adoptan agentes de inteligencia artificial (IA), deben definir adecuadamente sus funciones y establecer salvaguardias y mecanismos de supervisión.
Una investigación reciente presenta cuatro pilares fundamentales para un enfoque estructurado de evaluación y adopción de agentes de IA.
Este enfoque ayudará a las organizaciones a seguir guiando a los agentes de IA de forma responsable, incluso a medida que aumenten sus capacidades.
Los agentes de inteligencia artificial (IA) han pasado rápidamente de ser prototipos experimentales a colaboradores integrados en empresas, servicios públicos y la vida cotidiana. Estos sistemas basados en IA pueden diseñarse para interpretar información, tomar decisiones y ejecutar acciones de forma independiente con el fin de alcanzar objetivos específicos. En los próximos años seguirán apareciendo sistemas más capaces, con implicaciones para las personas, las empresas y la sociedad.
A medida que las organizaciones adoptan agentes de IA para complementar a sus equipos o actuar en el mundo físico, deben incorporarlos con el mismo rigor que a un nuevo empleado. Esto incluye desarrollar funciones bien definidas, salvaguardias y prácticas estructuradas de supervisión.
Un informe, Agentes de IA en acción: bases para la evaluación y la gobernanza, elaborado por el grupo de trabajo sobre sistemas y tecnologías seguros del Foro Económico Mundial en colaboración con Capgemini, expone las bases emergentes para la adopción responsable de agentes de IA. Presenta cuatro pilares que proporcionan un enfoque estructurado para evaluar y adoptar agentes de IA:
1. Clasificación
Un enfoque estructurado para clasificar agentes ayuda a los responsables de la toma de decisiones a explicar qué hace un agente, cómo se comporta y en qué condiciones debe operar. Una ficha del agente, o un «currículum» del agente de IA, puede aportar información fundamental sobre sus capacidades antes de su «incorporación» e integración en una organización.
El perfil de un agente debe definirse mediante siete dimensiones fundamentales:
Función: ¿Qué tarea está diseñado para realizar el agente?
Rol: ¿Es muy especializado o generalista?
Previsibilidad: ¿Es determinista o no determinista?
Autonomía: ¿En qué medida puede planificar, decidir y actuar de forma independiente?
Autoridad: ¿Qué permisos o acceso a sistemas se le conceden?
Caso de uso: ¿En qué ámbito o flujo de trabajo se implementa?
Entorno: ¿Qué grado de simplicidad o complejidad tiene el contexto operativo?
En conjunto, estas dimensiones generan una comprensión del agente desde el punto de vista conductual y operativo, fundamental para evaluar riesgos, establecer niveles de supervisión y comunicar expectativas entre proveedores, adoptantes y usuarios finales.
El concepto de autonomía es muy distinto de las formas anteriores de automatización. La diferencia clave es que la autonomía implica flexibilidad para tomar decisiones, es decir, elegir qué hacer, mientras que la automatización pone el énfasis en la fiabilidad de la ejecución, es decir, hacer aquello para lo que está programado el sistema. La autonomía y la autoridad no deben considerarse propiedades inherentes del sistema, sino decisiones de diseño que pueden tomarse en función de las funciones previstas de los agentes, los riesgos y los requisitos de supervisión.
Por ejemplo, un robot aspirador tiene poca autoridad, una autonomía media y opera en un entorno relativamente sencillo, mientras que un asistente digital personal podría abarcar varios sistemas, acceder a datos sensibles en distintas plataformas y realizar acciones en nombre de los usuarios. Por ello, un asistente personal requiere un escrutinio mucho mayor:
2. Evaluación
A medida que las organizaciones empiezan a implementar agentes con distintas funciones, la evaluación estructurada cobra más importancia. La evaluación tradicional de la IA se basa en gran medida en pruebas de referencia, que ponen a prueba la precisión o el razonamiento en escenarios controlados. Sin embargo, los agentes no son modelos estáticos. Son sistemas compuestos por uno o varios modelos, además de herramientas, memoria, ciclos de retroalimentación e interacciones con los usuarios, todo ello en entornos diversos.
Por tanto, evaluar un agente de IA implica examinar aspectos como las tasas de éxito en las tareas, la fiabilidad en el uso de herramientas, el rendimiento, el comportamiento a lo largo del tiempo, la confianza de los usuarios y los patrones de interacción, así como la solidez operativa en flujos de trabajo del mundo real.
Pruebas de referencia emergentes como AgentBench o SWE-bench ofrecen indicios iniciales, pero la verdadera garantía proviene de la evaluación contextual. Esto significa probar los agentes en entornos que reflejen las condiciones reales de implementación. Por ello, los desarrolladores (que conocen el sistema) y los adoptantes (que cuentan con datos y conocimientos especializados sobre el contexto operativo) suelen tener que colaborar estrechamente para garantizar una evaluación contextual precisa y fiable.
3. Evaluación de riesgos
Mientras que la evaluación aporta pruebas, la evaluación de riesgos determina qué significan esas pruebas para la seguridad y la idoneidad. Por lo general, un ciclo de evaluación de riesgos de cinco pasos abarca la definición del contexto, la identificación, el análisis, la evaluación y la gestión de los riesgos asociados.
Este enfoque vincula directamente la clasificación y la evaluación con la gobernanza. Por ejemplo, los agentes con mucha autoridad y autonomía en entornos complejos requieren más salvaguardias. El comportamiento no determinista también debe ir acompañado de una supervisión más estricta. Además, los agentes que interactúan con sistemas externos deben operar bajo supuestos de confianza cero en materia de seguridad, porque sus integraciones amplían la superficie de ataque.
Este enfoque estructurado es fundamental a medida que los agentes operan cada vez más entre distintas organizaciones, recurren a herramientas externas y colaboran con otros agentes mediante protocolos de interoperabilidad.
4. Gobernanza progresiva
La evaluación y la evaluación de riesgos aportan información fundamental sobre las capacidades, el rendimiento, la fiabilidad, la seguridad, la protección y la alineación de un agente. Por su parte, la gobernanza determina si esa información se traduce en una supervisión eficaz y una adopción responsable.
El informe presenta un enfoque progresivo para supervisar agentes, que comienza con una base común para todos los agentes e incluye registro y trazabilidad, una identificación clara de cada acción del agente y supervisión en tiempo real (que depende cada vez más de agentes que supervisan a otros agentes).
Un enfoque progresivo de la gobernanza garantiza que los agentes más capaces reciban una supervisión proporcional y, a la vez, permite la innovación y la flexibilidad a medida que se amplía su uso.
Desarrollo de ecosistemas de IA multiagente
La próxima frontera de los agentes de IA va mucho más allá de integrar agentes individuales en las organizaciones. Consiste en ecosistemas emergentes de agentes que interactúan entre redes, plataformas y organizaciones. Por ello, las organizaciones que comienzan hoy a adoptar e implementar agentes deben considerar cuestiones como las siguientes:
Deriva de la orquestación: Cuando se conectan agentes con otros agentes sin un contexto compartido ni una lógica de coordinación, los flujos de trabajo pueden volverse frágiles o imprevisibles.
Desalineación semántica: Cuando dos agentes interpretan una misma instrucción de forma distinta, pueden llevar a cabo acciones contradictorias o duplicar esfuerzos, con consecuencias para la seguridad, la fiabilidad y la coordinación.
Brechas de seguridad y confianza: Sin marcos de confianza compartidos, los agentes pueden exponer inadvertidamente datos sensibles o interactuar con actores maliciosos que exploten vulnerabilidades del sistema.
Interconexión y efectos en cascada: Los fallos en agentes o sistemas estrechamente vinculados pueden propagarse por las redes y generar una cadena de interrupciones.
Complejidad sistémica: A medida que crecen el número y la diversidad de los agentes que interactúan, aumenta la probabilidad de que surjan comportamientos emergentes y fallos en cascada, lo que dificulta anticiparlos, rastrearlos o diagnosticarlos.
Estas cuestiones emergentes hacen que la supervisión con visión de futuro y la gobernanza progresiva sean fundamentales. Los nuevos enfoques, como el uso de agentes auditores, pueden ayudar a supervisar, validar y regular ecosistemas de agentes a gran escala. Sin embargo, también crean nuevas vulnerabilidades, incluido el riesgo de depender de agentes para supervisar a otros agentes.
Un plan responsable para implementar agentes de IA
Los agentes de IA ya están aportando valor en distintos sectores: desde acelerar la I+D y el servicio al cliente hasta ayudar a las organizaciones a gestionar operaciones complejas. Pero, a medida que aumentan sus capacidades, también debe aumentar la capacidad de las organizaciones para guiarlos de forma responsable.
Las bases sobre clasificación, evaluación, evaluación de riesgos y gobernanza progresiva que presenta el informe ofrecen una hoja de ruta estructurada para las organizaciones que se preparan hoy para un futuro agéntico. Con un diseño cuidadoso, salvaguardias proporcionales y colaboración interfuncional, los agentes de IA pueden ampliar las capacidades humanas, impulsar la productividad y respaldar ecosistemas digitales de gran confianza y gran impacto.
Sin embargo, el éxito a largo plazo de la adopción y el uso de agentes de IA depende de crear sistemas que sigan siendo comprensibles, fiables y sujetos a rendición de cuentas. Estos sistemas deben construirse como herramientas compartidas para generar valor a largo plazo.
