El panorama de riesgos cibernéticos ha cambiado significativamente con el lanzamiento de los sistemas de IA generativa, lo que lleva a las organizaciones a evaluar las implicaciones de ciberseguridad que de ello se derivan.
Debe evaluarse la distinción fundamental entre los riesgos prioritarios inmediatos y las preocupaciones a largo plazo sobre la IA.
Hablamos con los CISO (directores de seguridad de la información) para identificar sus principales preocupaciones inmediatas relacionadas con la IA y las acciones que están tomando para abordarlas.
A medida que se despliega el potencial transformador de la IA generativa, se debate ampliamente sobre los riesgos asociados y los recelos en torno a los desarrollos futuros de la tecnología. La creciente dependencia de la sociedad respecto de la IA, la posible pérdida de control sobre los sistemas, la falta de alineación de los objetivos de los sistemas con los valores humanos y la posibilidad de competencia por recursos con los sistemas de IA se cuentan entre los temas más intensamente debatidos.
Si bien los debates sobre estos riesgos a largo plazo son esenciales, los líderes de ciberseguridad se enfrentan a riesgos distintos e inmediatos vinculados a la adopción generalizada de los sistemas de IA generativa. Varios casos de filtraciones de datos a través de dichos sistemas, como el incidente ocurrido a principios de este año, cuando ingenieros de Samsung filtraron involuntariamente código fuente interno al subirlo a ChatGPT, son primeros ejemplos de cómo los avances de la IA generativa se traducen en nuevas vulnerabilidades de ciberseguridad.
Dado que los líderes de ciberseguridad deben actuar con prontitud para abordar estas preocupaciones inmediatas, resulta imperativo identificar esas cuestiones apremiantes y, como a menudo se pasa por alto, diferenciarlas de los riesgos a más largo plazo.
¿Qué está haciendo el Foro Económico Mundial en materia de ciberseguridad?
El Centro de Ciberseguridad ofrece una plataforma de confianza donde los líderes se reúnen para comprender los riesgos cibernéticos en constante evolución y sus implicaciones sistémicas. Se centra en generar comprensión y confianza en un mundo digital cada vez más interconectado.
Al posibilitar la colaboración intersectorial y el intercambio de conocimientos, el Centro ayuda a sus socios a fortalecer la ciberresiliencia y a abordar los desafíos que requieren respuestas colectivas.
Preocupaciones inmediatas de los CISO
Hablamos con los CISO para identificar las principales preocupaciones inmediatas que están encontrando en relación con los recientes avances en IA.
Mejora de las capacidades adversarias: Las capacidades de la IA generativa reducen el coste de desarrollar y lanzar ciberataques, como el phishing, la generación de código malicioso y los deepfakes, y potencian las capacidades para automatizar y escalar dichos ataques. Por ello, la IA generativa facilita a los ciberdelincuentes la detección y explotación de vulnerabilidades y brechas de seguridad.
Uso indebido de los sistemas de IA generativa y filtraciones de datos: El uso indebido de los sistemas de IA generativa plantea diversos desafíos, entre ellos la divulgación involuntaria de información sensible. Esto también implica que la información confidencial puede utilizarse, de forma intencionada o involuntaria, para entrenar sistemas de IA generativa, lo que suscita graves preocupaciones en materia de confidencialidad. Asimismo, existe el riesgo de que, sin pretenderlo, los sistemas de IA generativa hagan lo que no deberían, por ejemplo mediante la inyección de instrucciones (prompt injection), o de que se utilicen para fines para los que no fueron concebidos inicialmente, lo que genera resultados adversos.
El efecto de caja negra: La integridad de los modelos de IA es difícil de demostrar. Los complejos códigos utilizados para desarrollar los modelos no siempre se comprenden plenamente, ni siquiera por sus propios desarrolladores. Esto conduce a una falta de transparencia de dichos sistemas, lo que dificulta su confianza. Además, a menudo faltan en el desarrollo de los sistemas de IA generativa un enfoque holístico de seguridad desde el diseño y controles de seguridad adecuados.
Coste de implementar y proteger los sistemas de IA generativa: Las implicaciones de costes de los avances de la IA generativa son multifacéticas e incluyen los gastos asociados a la compra, el desarrollo y la implementación de sistemas de IA generativa. Además, el uso de sistemas de IA conlleva un mayor gasto energético. Entre otras implicaciones de costes figuran también las relativas al equipo de ciberseguridad, incluidos los costes adicionales de formación de los empleados, el lanzamiento de campañas de concienciación y el desarrollo de nuevas formas de proteger dichos sistemas.
¿Cómo está creando el Foro Económico Mundial barreras de protección para la inteligencia artificial?
El Centro de Excelencia en IA conecta a líderes de distintos sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Respalda un diálogo informado sobre las oportunidades, los riesgos y las compensaciones vinculadas a la adopción de la IA.
A través de espacios de confianza e iniciativas colaborativas, el Centro permite a sus socios generar una comprensión compartida y trabajar conjuntamente en enfoques responsables para la innovación y el uso de la IA.
Acciones concretas ante los nuevos desafíos relacionados con la IA
Aunque aún se necesitan esfuerzos significativos para comprender las ramificaciones de los sistemas de IA generativa y abordarlas de forma holística, las organizaciones están dando los primeros pasos para afrontar los problemas emergentes en materia de ciberseguridad y más allá:
Consultas en toda la organización: Animar a los empleados a probar la tecnología, debatir sobre ella y compartir sus inquietudes al respecto. Para favorecer una adopción exitosa, es clave fomentar una cultura de compromiso e innovación en relación con los avances de la IA.
Grupos de trabajo: Crear grupos de trabajo específicos para abordar los desafíos prioritarios, desde la protección de la propiedad intelectual hasta las amenazas internas.
Consejos de gobernanza: Definir principios rectores y barreras de protección para la utilización de los sistemas de IA por parte de equipos multidisciplinarios, que pueden incluir ciberseguridad, TI, asuntos jurídicos, recursos humanos, protección de datos y departamentos de atención al cliente.
Programas de educación y concienciación: Implementar en toda la organización programas de educación y concienciación sobre la IA que fomenten el uso responsable de las herramientas y la comprensión de los riesgos asociados.
Adaptación de las estrategias, políticas y prácticas de ciberseguridad: Revisar las estrategias y políticas de ciberseguridad existentes para hacer frente a las nuevas amenazas cibernéticas asociadas a los avances de la IA. Esto abarca, por ejemplo, exigir a los empleados que declaren su uso de herramientas de IA generativa, restringir dicho uso o establecer directrices sobre cómo emplearlas al manejar datos de la empresa en dispositivos personales.
Revisión de los controles técnicos: Adaptar los controles de ciberseguridad a la luz del cambiante panorama de amenazas y de la adopción de nuevos sistemas de IA.
Llamado a la acción multilateral
Aunque se han tomado medidas iniciales en las organizaciones, estos esfuerzos se han caracterizado principalmente por enfoques tácticos y aislados. El camino para abordar de manera integral las implicaciones de ciberseguridad que plantea la IA generativa apenas ha comenzado. Establecer los fundamentos de ciberseguridad para la IA generativa forma parte de la base necesaria para lograr una IA fiable, ética y responsable.
En este panorama, los líderes de ciberseguridad se enfrentan a oportunidades de actuación, entre ellas identificar y aprovechar el potencial defensivo de la IA, aclarar la gobernanza de los riesgos de ciberseguridad y aportar insumos sobre la regulación destinada a garantizar la adopción y utilización seguras de la IA generativa.
Un enfoque holístico y multilateral es indudablemente esencial para afrontar las implicaciones de la IA generativa. Cuando las organizaciones, los reguladores y los tecnólogos colaboran, el poder transformador de estos avances tecnológicos puede aprovecharse de forma responsable, garantizando así nuestro futuro digital.
En este contexto, el Foro Económico Mundial lanzó la Alianza para la Gobernanza de la IA en junio de 2023. Su objetivo es ofrecer orientación sobre el diseño, el desarrollo y el despliegue responsables de los sistemas de inteligencia artificial. More información sobre su labor aquí.
