Los riesgos de la IA están aumentando y, cada vez más, se manifiestan una vez que los algoritmos han superado las pruebas de seguridad de laboratorio. Gestionar este riesgo solo es posible mediante la cooperación.
¿Quién es responsable cuando un sistema de inteligencia artificial (IA) supera las pruebas de laboratorio pero causa daños en el mundo real?
La IA es una de las tecnologías más poderosas jamás desplegadas a gran escala antes de que se comprendan por completo sus consecuencias a largo plazo. Presenta un desafío particular, ya que pueden surgir nuevas capacidades y modos de fallo tras su implementación, a medida que los sistemas autónomos interactúan con datos, herramientas, usuarios y sistemas operativos del mundo real a una velocidad y escala tales que resulta difícil evaluar sus consecuencias con antelación.
A medida que se multiplican los incidentes y los cuasi accidentes relacionados con la IA, la notificación y el intercambio de aprendizajes no han seguido el ritmo. líderes, responsables políticos y científicos Han pedido medidas que van desde acelerar el desarrollo de la IA de vanguardia hasta fortalecer las evaluaciones independientes y la cooperación internacional.
Esto plantea una pregunta: ¿qué deberían hacer ahora los gobiernos, los desarrolladores, los integradores y los implementadores, mientras las capacidades de la IA y sus riesgos aún están en evolución?
Gran parte del debate sobre seguridad se ha centrado en las empresas que desarrollan modelos de IA de vanguardia. Sin embargo, las consecuencias de la IA dependen cada vez más de lo que ocurra después de que estos modelos salgan del laboratorio.
Cuando se conectan a herramientas, información sensible o infraestructura crítica, los sistemas de IA multiagente pueden exhibir capacidades y comportamientos emergentes: resultados derivados de las interacciones entre agentes, herramientas y entornos que pueden no ser evidentes en las pruebas de laboratorio. Por lo tanto, la seguridad de la IA debe abarcar toda la cadena de valor, desde el desarrollo hasta la integración y el despliegue, donde, de otro modo, los riesgos críticos podrían pasar desapercibidos y sin abordarse.
Cuando un fracaso se convierte en muchos
Los incidentes documentados públicamente solo ofrecen una visión parcial del riesgo que representa la IA, especialmente en lo que respecta a los fallos que se producen cuando la IA se integra en las operaciones, se conecta a herramientas externas o se le otorga mayor autonomía. Esta falta de visibilidad es importante porque los fallos no pueden permanecer aislados.
Los modelos, componentes y servicios de IA compartidos pueden exponer a múltiples organizaciones, sistemas y sectores a la misma vulnerabilidad. Debido a que trascienden fronteras, un solo fallo puede tener consecuencias internacionales. Los fallos de IA podrían, por ejemplo, exponer información confidencial, provocar transacciones no autorizadas, influir en decisiones sanitarias irreversibles o interrumpir flotas enteras.
En 2024, una importante interrupción del software Demostró cómo un solo fallo puede interrumpir millones de dispositivos y servicios críticos. Si bien no se trató de un fallo de IA, ilustró los riesgos en cascada de los modelos, componentes e infraestructuras compartidas. La magnitud del daño depende de las capacidades del sistema, la autoridad que se le ha otorgado, su alcance y la rapidez con que se pueden detectar y contener los fallos.
La cuestión ya no es solo si un sistema de IA puede fallar, sino hasta qué punto podrían extenderse las consecuencias de dicho fallo.
Sin un mapa claro de la cadena de valor de la IA, responsabilidades definidas e informes de incidentes transparentes en todo el ecosistema global de la IA, no podemos comprender la naturaleza, la frecuencia, la gravedad ni el alcance de los fallos, ni cuál es la mejor manera de prevenirlos y contenerlos.
Cómo el Foro ayuda a los líderes a comprender la IA y a colaborar en la innovación responsable.
El Centro de Excelencia en IA Conecta a líderes de diversos sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Fomenta un diálogo informado sobre las oportunidades, los riesgos y las ventajas e inconvenientes relacionados con la adopción de la IA.
Mediante espacios de confianza e iniciativas de colaboración, el Centro permite a sus socios construir un entendimiento común y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.
La política por sí sola no es una medida de seguridad.
Las políticas, los compromisos de seguridad, los códigos de conducta y las evaluaciones de modelos son importantes. Pero ninguno, por sí solo, puede impedir que un sistema de IA se comporte de forma inesperada o actúe más allá de su autoridad prevista.
Un modelo puede funcionar bien en las pruebas, pero comportarse de manera diferente cuando se conecta a herramientas, datos e infraestructura operativa del mundo real, porque las condiciones de prueba y los entornos de prueba rara vez reflejan la complejidad de los entornos de implementación.
Esta distinción entre la seguridad del modelo y la del sistema se desdibuja a medida que la autonomía de la IA avanza más rápido que los controles efectivos. Las medidas de seguridad deben limitar el alcance del sistema y respaldar la prevención, la contención y la recuperación.
Las organizaciones deben establecer límites de acceso, exigir la aprobación humana y mantener la capacidad de detener los sistemas de IA. Los desarrolladores deben divulgar las capacidades y los modos de fallo, mientras que evaluaciones independientes comprueban si las medidas de seguridad siguen siendo efectivas en condiciones reales y con las actualizaciones del sistema.
La seguridad no basta con prometerla, debe demostrarse, y la rendición de cuentas debe estar integrada en ese proceso. Los desarrolladores, integradores y desplegadores necesitan responsabilidades claramente definidas y registros lo suficientemente detallados como para reconstruir los fallos. Las organizaciones deben ser capaces de investigar, contener, recuperarse y, cuando sea necesario, suspender los sistemas afectados.
La capacidad de contener los fallos y recuperarse de ellos es tan importante como la capacidad de prevenirlos.
Tres prioridades para la acción compartida
Ningún actor puede abordar estos desafíos por sí solo: los desarrolladores comprenden las capacidades y limitaciones de los modelos, los integradores y los implementadores determinan cómo se utilizan los sistemas, los expertos independientes examinan las afirmaciones de seguridad y los gobiernos establecen marcos de rendición de cuentas.
Tres prioridades ofrecen una base práctica para la cooperación y el seguimiento continuo del ciclo de vida después de la implementación:
1. Regular lo que los sistemas de IA pueden hacer realmente.
La IA de vanguardia evoluciona a medida que los modelos se vuelven más capaces, accesibles y autónomos, desafiando la gobernanza basada en etiquetas fijas o en la capacidad de cálculo para el entrenamiento.
Las etiquetas fijas y las métricas de entrenamiento no reflejan los riesgos de la IA implementada. Las evaluaciones deben centrarse en las capacidades del sistema completo, las condiciones en las que se encuentra, su autonomía, el acceso que requiere y las medidas de seguridad necesarias, y deben revisarse cuando estos aspectos cambien.
La gobernanza debe ir a la par de lo que los sistemas de IA pueden hacer, y no solo de lo que fueron diseñados originalmente para hacer.
2. Hacer visibles los incidentes de IA.
Es necesario notificar y compartir de forma más sistemática los incidentes relacionados con la IA.
Actualmente, la inconsistencia en los informes dificulta la comparación de fallos, la identificación de vulnerabilidades recurrentes y la determinación de si un incidente aislado es el primer indicio de un problema más generalizado. Gobiernos, desarrolladores, integradores y responsables de la implementación deberían acordar métodos comunes para informar sobre incidentes como acciones autónomas inesperadas, brechas de seguridad, fallos de contención y cuasi accidentes.
Las definiciones y escalas de gravedad compartidas permitirían a las organizaciones aprender de los errores de otras en distintos sectores y fronteras. La aviación ya lo hizo hace décadas: la notificación confidencial y sin culpabilización de incidentes cercanos es una de las razones por las que volar se volvió tan seguro.
Iniciativas existentes, incluyendo la Monitor de incidentes de IA de la OCDE, la Ley de IA de la UE disposiciones para la notificación de incidentes graves y el Foro Perfil de capacidad y autorización del agente Proporcionan bases útiles para pasar de la notificación reactiva a las autorizaciones proactivas, pero aún se necesita una mayor cohesión global.
La eficacia de los informes también depende de registros de auditoría que detallen las acciones del sistema, las herramientas utilizadas, el momento de su ejecución y la autoridad de quién las gestionó. Sin ellos, es imposible distinguir entre un fallo del modelo, un error de integración, una medida de seguridad deficiente o una mala decisión de implementación.
Esto no requiere una divulgación pública completa. La información comercial y de seguridad sensible debe permanecer protegida, al tiempo que se garantiza que las personas responsables de prevenir y responder a los daños dispongan de la información que necesitan.
3. Exigir pruebas de que las medidas de seguridad funcionan.
Las organizaciones no deben basarse únicamente en las garantías, políticas o parámetros de referencia de los proveedores. La seguridad debe demostrarse para cada sistema y contexto mediante una base de evidencia estructurada, similar a un informe de seguridad en la aviación o la energía nuclear que muestre las fallas previstas, las medidas de protección probadas y las medidas de respuesta.
La responsabilidad es compartida: los desarrolladores documentan las capacidades, limitaciones y cambios del modelo; los integradores prueban el sistema completo en condiciones realistas; y los implementadores supervisan el funcionamiento, los incidentes y los desencadenantes de la suspensión. El análisis debe reflejar el radio de impacto potencial, la reversibilidad, la autonomía y el acceso: un resumidor de documentos puede requerir una autoevaluación, mientras que un agente que mueve dinero o maneja equipos justifica pruebas independientes antes de la implementación y después de cambios significativos. La evidencia debe mantenerse actualizada a medida que evolucionan los modelos, los permisos y las condiciones de funcionamiento.
El objetivo no es eliminar todos los riesgos, sino demostrar que se comprenden los riesgos, que las medidas de seguridad son efectivas en condiciones realistas y que los fallos pueden controlarse.
Desde reaccionar hasta prepararse
La IA de vanguardia podría acelerar los descubrimientos científicos, diseñar sistemas complejos, aumentar la productividad y ayudar a abordar los desafíos globales. Estos beneficios dependen de la confianza de las organizaciones en que pueden implementar sistemas cada vez más capaces de forma responsable, manteniendo el control.
El debate internacional suele centrarse en si el desarrollo de la IA debe acelerarse o ralentizarse. Esta cuestión es importante, pero no debe eclipsar las medidas prácticas disponibles en la actualidad.
Una mejor notificación de incidentes, evidencia de seguridad independiente y evaluaciones basadas en capacidades pueden ayudar a identificar riesgos con mayor antelación y responder con más rapidez. Su implementación requiere la cooperación entre laboratorios de vanguardia, organizaciones de despliegue y gobiernos. El objetivo es garantizar que nuestra capacidad para comprender y gestionar las consecuencias de la IA se mantenga al ritmo de su desarrollo.
La colaboración internacional debería convertir estas prioridades en salvaguardias prácticas, y es hora de actuar.
