Los consejos de administración delegan cada vez más derechos de decisión en sistemas autónomos, al tiempo que conservan modelos de gobernanza diseñados para el juicio humano.
El desajuste entre la IA agéntica y el juicio humano es el verdadero riesgo, no en el comportamiento del sistema, sino en cómo los consejos definen los límites de la delegación.
Esto significa que, para gobernar sistemas de confianza, los consejos deben abandonar la ilusión del control total, siendo el nuevo mandato la arquitectura de la restricción.
Durante décadas, los consejos han gobernado la tecnología de la misma manera: comprar el sistema, contratar al equipo, establecer políticas y auditar los resultados. Pero el cambio reciente es distinto.
La sala de juntas moderna no está adoptando una clase de software más rápida. Está delegando derechos de decisión en sistemas autónomos, como los agentes de IA, al tiempo que conserva modelos de gobernanza diseñados para el juicio humano.
Este desajuste entre los sistemas autónomos y el juicio humano es el verdadero riesgo, no en el comportamiento del sistema, sino en cómo los consejos definen los límites de la delegación. Los consejos que gobiernen estos agentes, y no solo los compren, acumularán silenciosamente una ventaja que sus competidores ni siquiera sabrán cómo medir.
El reciente libro blanco del Foro Económico Mundial «AI Agents in Action», junto con su Advancing Responsible AI Innovation guía, que refleja una realidad ya visible en los consejos de administración: la gobernanza debe ahora codificarse, no solo debatirse.
A medida que los agentes pasan de ser novedades conversacionales a motores operativos centrales, la latencia entre una directriz estratégica y una ejecución catastrófica se reduce a cero. En la práctica, esto significa que los consejos ahora votan, a menudo a ciegas, sobre dónde termina el juicio humano y dónde empieza la autoridad de la máquina.
Donde la gobernanza falla en la práctica no es donde miran los consejos. Estos suponen que el riesgo es un fallo técnico, como un agente que alucina o se bloquea. Pero el verdadero modo de fallo de un agente autónomo rara vez es una avería. Es una hipercompetencia aplicada a una métrica defectuosa.
Consideremos un agente financiero que optimiza las compras. No falla; ejecuta a la perfección, renegociando a gran escala para obtener ganancias marginales, lo que hace colapsar a un proveedor crítico y altera la cadena de suministro. El sistema funcionó exactamente según lo diseñado. Ese es el fallo, y es totalmente invisible para una matriz de riesgos estándar.
El cumplimiento tradicional suele ser posterior al hecho, pero los sistemas que operan a velocidad de máquina no pueden auditarse retroactivamente. Confiar en auditorías estáticas para un agente autónomo es como analizar la trayectoria de una bala después de haber impactado contra la pared.
El Observatorio de Políticas de IA (OCDE) señala que, si bien las estrategias nacionales de IA proliferan, siguen faltando marcos funcionales para la supervisión agéntica en tiempo real. Estamos construyendo motores sin frenos, confiando en que los cinturones de seguridad heredados nos salven.
Gobernar sistemas de confianza en la era de la IA agéntica
La implicación para la gobernanza es clara. Para gobernar sistemas de confianza, los consejos deben abandonar la ilusión del control total. El nuevo mandato es la arquitectura de la restricción.
Directriz 1 del consejo: diseñar para una fricción legible
La compensación decisiva está entre el máximo rendimiento del sistema y la defendibilidad jurídica. La eficiencia absoluta elimina la legibilidad humana. Si no se puede explicar cómo se tomó una decisión, no se puede defenderla.
Por tanto, la gobernanza exige limitar deliberadamente la velocidad. Los consejos deben diseñar una «fricción legible»: puntos de pausa definidos en los que las acciones de alto riesgo requieran autorización humana. Lo que parece ineficiencia es, en la práctica, control operativo.
El Consorcio del Instituto de Seguridad de la IA de EE. UU., refleja este cambio hacia salvaguardas estandarizadas. Como Kathleen Hicks, exsubsecretaria de Defensa de Estados Unidos, ha subrayado: «Cuando decimos “humano en el bucle”, queremos decir que alguien en la cadena de mando debe asumir en última instancia la responsabilidad.»
Directriz 2 del consejo: auditar la recompensa, no la ruta
Tomar miles de microdecisiones en tiempo real es inviable. Los consejos deben pasar de auditar la ejecución a gobernar la función de recompensa subyacente. Si se incentiva a un agente para maximizar el compromiso, encontrará el camino más extremo para lograrlo. El objetivo define el resultado.
Esto no puede seguir siendo una construcción occidental. Los sistemas entrenados con datos limitados remodelarán los resultados globales. Iniciativas como el proyecto Africa Just AI de Research ICT Africa subrayan la necesidad de incorporar las realidades regionales en los objetivos de los sistemas para evitar que se refuercen las desigualdades estructurales.
Directriz 3 del consejo: internalizar el perímetro de responsabilidad
Los consejos siguen tratando la transferencia de riesgos como una cuestión contractual; en la práctica, la responsabilidad no es transferible. La infraestructura puede externalizarse, pero la responsabilidad sigue anclada a la institución. Cuando un agente autónomo de compras ejecuta una práctica discriminatoria de selección de proveedores, lo hace bajo la autoridad del consejo, se entienda o no explícitamente así.
Las instituciones mundiales ya consideran la IA como un motor estructural del comercio y el crecimiento, y no como un experimento secundario. Aprovechar ese potencial exige internalizar también los riesgos. No se puede contratar una cláusula de indemnidad para un actor sintético que actúa en su nombre. Si el agente actúa, un directivo identificado debe asumir las consecuencias.
Estos cambios ya no son escenarios de un registro de riesgos; aparecen en las actas de los consejos y en los expedientes judiciales, y exigen ahora una respuesta institucional medida en trimestres, no en años.
Generar transparencia y confianza en la IA
Las distintas partes interesadas deberían adoptar las siguientes medidas para contribuir a generar transparencia y confianza en la IA agéntica.
Gobiernos: Regular las interfaces en las que los agentes interactúan con los mercados, las infraestructuras críticas y los sistemas físicos, y no los modelos subyacentes. Alinear estos puntos de control con el Objetivo de Desarrollo Sostenible 16 de las Naciones Unidas sobre Paz, Justicia e Instituciones Sólidas, para garantizar instituciones transparentes y responsables.
Líderes empresariales: Abandonar la suposición de que el cumplimiento normativo puede añadirse después del despliegue. La seguridad es una decisión de diseño que exige sacrificar una parte de la optimización máxima. Incorporar la tolerancia al riesgo directamente en la arquitectura del sistema, en línea con referentes emergentes como la norma ISO/IEC 42001 para sistemas de gestión de la IA. Aceptar el sacrificio de rendimiento para lograr defendibilidad o asumir el coste de un fallo no contenido.
Sociedad civil: Desplazar el escrutinio de los datos de entrenamiento a los objetivos de optimización. Exigir transparencia no solo en lo que los sistemas ingieren, sino también en lo que se les incentiva a lograr. La función de recompensa es el nuevo campo de batalla de los derechos humanos.
Los consejos deberían iniciar tres directrices inmediatas:
Exigir una auditoría de agentes en la sombra: Identificar la automatización informal creada dentro de la organización. El riesgo principal no es la IA del proveedor, sino el despliegue interno no supervisado y oculto.
Someter a prueba de estrés la responsabilidad de D&O: Revisar la cobertura del seguro de responsabilidad civil de consejeros y directivos (D&O) frente a la exposición a negligencias de la IA autónoma. Muchas pólizas no contemplan los riesgos derivados de agentes. En la actualidad, es probable que la mayoría de los consejos estén materialmente infraasegurados.
Ejecutar un simulacro de «citación judicial sintética»: Exigir a la dirección que defienda formalmente una única decisión de alto riesgo tomada por un agente autónomo, como si estuviera bajo escrutinio jurídico. Si el liderazgo no puede rastrear con claridad la decisión hasta objetivos definidos y la intención humana, el sistema no debería estar operando. La gobernanza comienza donde falla la explicabilidad.
La responsabilidad decisiva de la próxima década no será el código que no se escribió, sino las decisiones que se permitieron ejecutar a las máquinas. Se puede externalizar la ejecución a un sistema sintético, pero no el deber fiduciario.
Cuando un agente de IA actúa, amplía el perímetro de decisión del consejo y, con él, su responsabilidad. El sistema ya no procesa el libro mayor; está escribiendo la historia.
