Hoy existen muchos riesgos nuevos específicos de la IA.
Cada vez que observamos una nueva tendencia tecnológica, podemos esperar que surja un potencial de daño y oportunidades para que las amenazas monetizen nuestro uso de la tecnología.
Este blog forma parte de una serie de la Agenda del Alianza para la Gobernanza de la IA, que defiende el diseño, el desarrollo y la implementación responsables y globales de sistemas de IA inclusivos.
Con el creciente uso del aprendizaje profundo avanzado, la IA debe desplegarse junto con la responsabilidad de garantizar la integridad, la seguridad y la protección de dichos sistemas.
Nuevos riesgos
Se ha debatido mucho sobre los nuevos riesgos específicos de la IA. Un ejemplo clave es la posibilidad de falta de equidad o la presencia de sesgos en los sistemas que utilizan IA. Esto se debe a sus datos de entrenamiento iniciales o a la forma en que mantenemos el modelo de IA a medida que el sistema evoluciona y aprende de su entorno. Otras preocupaciones giran en torno a la falta de capacidad para examinar y verificar la integridad de los sistemas y para mantener la alineación con nuestros conjuntos de valores, a menudo debido a las dificultades para comprender cómo el sistema de IA llegó a sus resultados, agravadas en situaciones en las que dichos resultados no son fiables.
También existen nuevas formas de comprometer a las organizaciones mediante el ataque al propio sistema de IA. Ya se conocen diversas vulnerabilidades. Es posible influir en el aprendizaje a través de los conjuntos de datos utilizados para el entrenamiento y la evolución de los modelos, lo que produce modelos distintos que pueden ser potencialmente inseguros o simplemente desalineados, y que actúan según la voluntad de los actores de amenazas.
Pero la vulnerabilidad de los sistemas de IA no se limitará a los riesgos de envenenamiento de datos o a cambios inseguros de modelo; también encontraremos el tipo de errores de software en tiempo de ejecución que han socavado constantemente nuestros sistemas informáticos desde su origen. Si el entorno de IA se ve comprometido, dichos errores brindarán oportunidades a los atacantes para tomar el control del equipo local y utilizarlo como plataforma desde la que avanzar por toda la infraestructura empresarial. En última instancia, como ocurre con cualquier otro tipo de sistema digital, el alcance de los posibles daños dependerá de los contextos de uso. En el caso de la IA, este alcance es amplio y creciente, y sin duda incluirá sistemas que forman parte de nuestras infraestructuras críticas y que, potencialmente, pueden poner en riesgo incluso la vida humana. Llegarán a influir en las personas y las sociedades, pudiendo afectar a la capacidad de actuación humana y a los procesos democráticos, así como a la gobernanza de sectores y empresas.
Una amenaza cibernética en crecimiento
Los ejemplos de vulnerabilidad y riesgo de los sistemas de IA están aumentando, y la profesión de la ciberseguridad desarrolla activamente modelos destinados a sustentar técnicas para contrarrestar tales amenazas. Sin embargo, persiste una brecha de capacidad significativa en cuanto a nuestra capacidad para proteger los sistemas de IA y los procesos empresariales que sustentan.
El desarrollo se produce en un contexto geopolítico y tecnológico más amplio. Los conflictos actuales entre naciones están impulsando un periodo de innovación y de desarrollo de capacidades en técnicas ciberofensivas, así como defensivas. Cabe esperar que esto se extienda a otros ámbitos, como la ciberdelincuencia, en un futuro próximo. Esto implicará que afrontaremos ciberamenazas mayores, con más habilidades y un ecosistema creciente de actores de amenazas.
La inversión mundial en tecnologías y modelos de negocio más amplios, como el Internet de las cosas y los servicios en la nube, supondrá una oportunidad significativa para desarrollar la capacidad de IA, en términos de acceso a algoritmos, modelos y conjuntos de datos de entrenamiento, y en oferta de IA como servicio y soluciones que hacen la tecnología más accesible y fácil de usar. Esto significa que quienes deseen atacar nuestros sistemas y economías estarán habilitados por la IA.
Actualmente podríamos considerar como cuestiones separadas garantizar que las decisiones recomendadas por el sistema se ajusten a nuestra ética o a las leyes, por un lado, y proteger los modelos de IA frente a manipulaciones deliberadas y encubiertas por parte de actores de amenazas, por otro. Pero, con el tiempo, cabe esperar que los objetivos de los ataques sean comprometer el sistema de IA específicamente para que empiece a generar resultados al margen de prácticas aceptables y éticas, quizá para extorsionar el pago de rescates o para difundir un modelo o conjunto de datos contaminado. Estos riesgos no están simplemente en el ámbito de nuestra imaginación o de la ciencia ficción; son una extensión directa de los tipos de amenazas que observamos a diario en el ciberespacio, en nuestras empresas y en toda nuestra cadena de suministro. Cada vez que observamos una nueva tendencia tecnológica, podemos esperar que surja un potencial de daño y, con él, oportunidades para que las amenazas monetizen nuestro uso de la tecnología.
La necesidad de respaldar una supervisión eficaz
El nivel de amenaza al que nos enfrentamos está aumentando, y nuestra dependencia de las tecnologías y servicios digitales está generando un riesgo cibernético sistémico. La agregación de este riesgo sigue oculta en parte y es difícil de predecir y cuantificar. Al utilizar las tecnologías de IA para inspirar y ofrecer nuevas generaciones de soluciones a algunos de los desafíos más apremiantes de la humanidad, existe sin duda una responsabilidad fiduciaria y también ética de garantizar que nuestras inversiones en esta tecnología no queden expuestas a un nivel de riesgo cibernético inaceptable o inmanejable. Cabe esperar que la profesión de la ciberseguridad aporte ideas, prácticas y herramientas, pero solo si garantizamos que exista demanda en el mercado.
¿Sabemos lo que necesitamos? En el centro de la solución estará la empresa, y necesitaremos que los líderes desempeñen un papel para avanzar hacia un futuro seguro y protegido, habilitado por la IA. Un punto de partida evidente para la alta dirección es garantizar que los controles de riesgo existentes, aquellos en los que se invierte, que se miden y que funcionan bien, puedan extenderse a un modelo empresarial que utilice dicha tecnología de IA. Nuestras aseguradoras, inversores, clientes y reguladores buscarán precisamente esa posición; necesitamos disponer de controles operativos que permitan la supervisión y que puedan utilizarse para defenderse eficazmente frente a amenazas motivadas.
Esto no es trivial. Existen lagunas en las prácticas actuales que se verán agravadas por el uso de la IA, ya que todavía no disponemos de soluciones de ciberseguridad especializadas.
• No se comprende bien la eficacia de los controles de ciberseguridad ni cómo optimizar su orquestación. Esto significa que los cálculos de exposición al riesgo cibernético pueden ser imprecisos.
• La alta dirección a menudo carece de intuición digital, y el resultado puede ser una vinculación débil entre la estrategia de ciberseguridad y la misión empresarial más amplia.
• Una supervisión débil en el consejo de administración principal aumenta la probabilidad de que se materialicen riesgos imprevistos y de que haya una preparación deficiente para incidentes cibernéticos costosos; existen desafíos similares para quienes tienen la responsabilidad de supervisar infraestructuras nacionales críticas o sectores.
¿Cómo aborda el Foro los desafíos globales de ciberseguridad?
El Centro de Ciberseguridad ofrece una plataforma de confianza en la que los líderes se reúnen para comprender los riesgos cibernéticos en evolución y sus implicaciones sistémicas. Se centra en generar comprensión y confianza en un mundo digital cada vez más interconectado.
Al facilitar la colaboración intersectorial y el intercambio de conocimientos, el Centro ayuda a los socios a reforzar la ciberresiliencia y a abordar desafíos que requieren respuestas colectivas.
La falta de soluciones de ciberseguridad especializadas en IA
Un ejemplo (hay muchos más) se encuentra en el ámbito de la supervisión y la detección de amenazas. Nunca hemos podido impedir que todas las amenazas accedan a nuestros sistemas. Incluso si pudiéramos garantizar que no existen tecnologías vulnerables que presenten una superficie de ataque viable para amenazas externas (algo que cualquier profesional de la seguridad sabría que no debe asumir), siempre nos enfrentaremos a personas con acceso válido que nos atacan o que venden dichas credenciales de acceso para que terceros las utilicen. Esto significa que disponer de la capacidad de detectar un sistema comprometido es esencial; de lo contrario, la realidad es que podríamos estar utilizando sin saberlo una IA comprometida para ayudarnos a tomar decisiones que afectan a la vida y los medios de subsistencia de las personas, a nuestras economías y a nuestras infraestructuras críticas.
Actualmente no disponemos de una detección de amenazas bien desarrollada para los sistemas de IA. Esa situación es inaceptable. ¿Cómo pueden los líderes de naciones, de empresas globales o pequeñas ser eficaces en la supervisión y la estrategia si no pueden saber que sus sistemas han perdido su integridad?
Incluso cuando tengamos la capacidad de detectar un ataque al sistema de IA, tendremos que desplegarla junto con todas las demás funciones operativas de ciberseguridad. Esto exigirá tomar decisiones sobre cómo priorizar las alertas que generan las herramientas y los analistas; sencillamente, no tenemos capacidad para hacer frente a todas las amenazas posibles. Un aspecto clave de cualquier ciberdefensa madura es la capacidad de estar dirigida por las amenazas, es decir, orientar nuestros recursos limitados hacia los riesgos que se determinen como más perjudiciales. Cuando utilizamos IA, esto también implicará garantizar que podamos acceder a inteligencia de amenazas especializada sobre las amenazas habilitadas por IA y los actores que atacan nuestras empresas habilitadas por IA. Será fundamental compartir experiencias y conocimientos sobre amenazas con nuestros pares; necesitamos desarrollar previsión, ser capaces de anticipar amenazas y, así, cambiar nuestras posturas de seguridad y mantener la ciberresiliencia.
La importancia del liderazgo
Necesitamos fomentar culturas organizativas capaces de responder a las preocupaciones que surgen en torno al uso de la IA generativa. Un enfoque responsable será abierto y transparente en cuanto a su uso, respaldará la comunicación con clientes y partes interesadas, promoverá el cuidado y hará esfuerzos para garantizar que los sistemas de IA estén firmemente alineados con nuestros valores. Incluso podríamos tener que considerar soluciones de respaldo si no podemos revertir fácilmente el aprendizaje en caso de detectar un ataque; esto podría incluir la capacidad de desactivarlo.
Los líderes de las empresas que utilizan IA deben exigir que se implementen capacidades de seguridad operativa. Cuando los riesgos sean potencialmente significativos, es posible que incluso necesiten evaluaciones de riesgo especializadas y cálculos del valor residual en riesgo cibernético. Encargar un ejercicio de simulación de riesgo cibernético (table-top) para la alta dirección que incorpore el compromiso de la tecnología de IA y de los procesos empresariales organizativos más amplios es esencial para 2024.
En conclusión, para contar con sistemas y empresas de IA ciberseguros, necesitaremos niveles de dinamismo, ritmo y adaptabilidad sin precedentes. El liderazgo sólido es importante, ya que sin él no podemos lograr el ritmo organizativo ni el impulso necesarios para la adaptación y la resiliencia. Nuestra capacidad para reorientarnos y evolucionar en materia de ciberresiliencia depende por completo de la solidez de nuestro núcleo, un núcleo cuyo ADN se crea y evoluciona gracias al liderazgo.
La Alianza para la Gobernanza de la IA, que cuenta con más de 230 miembros, se compromete a defender el diseño, el desarrollo y la implementación responsables y globales de sistemas de IA inclusivos. Reúne a expertos de diversos sectores que se unen para dar forma a la gobernanza y al avance responsable de la inteligencia artificial. Adéntrese en la vanguardia del liderazgo intelectual sobre IA con nuestra serie de blogs, seleccionada por miembros destacados del Comité Directivo de la Alianza para la Gobernanza de la IA, mientras recorremos los complejos desafíos y oportunidades del panorama de la IA en constante evolución.
