Defender la mente digital: los desafíos emergentes de los agentes de IA

undefined
Este contenido ha sido traducido automáticamente con IA.

Esta transcripción se ha generado mediante software de reconocimiento de voz y puede contener errores. Por favor, verifique su exactitud con el audio.

Grant Waterfall: Buenos días y bienvenidos a esta sesión titulada "Defender la mente digital: los retos emergentes de los agentes de IA".

Hace un par de semanas estuve en Berlín, asistí a la gira de IA de Microsoft y a una presentación de Satya Nadella, quien habló de este nuevo y emocionante mundo transformador de los agentes, los agentes automatizados y los agentes personalizados, y de cómo puede democratizarse y de que todos podemos crear agentes utilizando Copilot Studio.

Y esto fue realmente lo más destacado de toda la conferencia. También hizo una analogía con el mundo de hace 30 años o incluso con el actual, en el que teníamos miles y miles de hojas de cálculo en nuestras organizaciones y en el que, en cierto modo, los agentes tomarían el relevo de lo que antes eran esas hojas de cálculo.

Me pareció una gran analogía porque, de alguna manera, muestra que el uso de agentes de IA, de agentes personalizados y de automatización se democratizará en el contexto del usuario final y, por tanto, nos transformará de manera masiva.

Pero al mismo tiempo, todos recordamos lo caótico que era y ha sido tener miles de hojas de cálculo en una organización, y pasamos años intentando deshacernos de ellas y trasladarlas a sistemas más controlados.

Por eso, creo que se abre un mundo de oportunidades, pero también una gran cantidad de riesgos sobre cómo controlamos este nuevo mundo que se desatará sobre nosotros.

Y creo que existe, por así decirlo, un mundo agéntico, del que hablamos, que, según mi predicción, se convertirá en algo bastante generalizado. Así que pronto todo el mundo hablará de agentes de IA. Y, por el momento, probablemente sea más una área de expectación, pero es probablemente en el ámbito tecnológico donde la gente está entusiasmada.

Por eso creo que, dentro de uno o dos años, todos, Microsoft y los demás hiperescaladores democratizarán esta terminología. Y, por supuesto, no es solo Microsoft quien lo hace. Todas las grandes empresas tecnológicas lo están haciendo, y también un buen número de empresas tecnológicas más pequeñas. Y aquí tenemos a un par de ellas que pueden comentar.

Así que hoy vamos a explorar dos partes de esta agenda. La primera es la adopción organizativa de agentes y ofrecer un poco de contexto al respecto, y lo que eso significa de forma más amplia para una organización que adopta muchos agentes y automatiza muchas cosas, así como agentes personales, pero también lo que significa para la seguridad y cómo podemos mejorar en la protección.

Y después abordaremos el lado ofensivo. Es decir, cómo los malos, los atacantes, pueden utilizar agentes y crear con mucha facilidad agentes de IA en un contexto ofensivo. Y permítanme presentar muy brevemente a mi panel.

Hoy tengo un panel excelente. En primer lugar, permítanme presentar a Hoda Al Khzaimi, directora del Centro de Ciberseguridad de la Universidad de Nueva York en Abu Dabi. Bienvenida, Hoda.

Matan Getz, director ejecutivo de Aim Security, una startup innovadora que se dedica precisamente a proteger el uso de la IA en las organizaciones. Y Nic Chavez, director de seguridad de la información [CISO] en DataStax, una plataforma de datos para IA.

Estoy seguro de que estarán de acuerdo en que este grupo tiene una gran experiencia. Empezaré con una pregunta inicial para todos ustedes. Y es, en realidad, para cada uno desde su ámbito: ¿qué significan para usted los agentes de IA y cuáles son las implicaciones y consideraciones que las empresas deben tener en cuenta a la hora de adoptarlos? Y empezaré por usted, Hoda.

Hoda Al Khzaimi: Creo que los agentes de IA no son algo nuevo en este campo, diría yo. Quiero decir, piensen en todos nosotros. ¿Cuándo fue la última vez, o la primera, que usamos Siri, Amazon Echo o todo este tipo de dispositivos? Esos son los asistentes personalizados. Ese también es nuestro modelo de agentes de IA.

¿Cuándo fue la última vez que oímos hablar de sistemas de coche automatizados, donde se quiere vivir una experiencia de conducción automatizada? Eso también es, en última instancia, un modelo de agente de IA.

Así que la capacidad última de un agente de IA es la de poseer ese atributo. En este momento, creo que está muy limitada por ser una pieza de software, pero en el futuro será la capacidad de software y hardware que analice grandes estructuras de datos en la organización y pueda tomar decisiones automatizadas sin la intervención de una persona en medio.

Y en este momento es una experiencia bastante intrínseca y crítica, porque se utilizan mucho el aprendizaje por refuerzo y muchos aspectos de aprendizaje automático asociados al análisis y aprendizaje de enormes conjuntos de datos sobre entornos.

Por eso, la precisión de esos modelos es muy importante. No sé cuántos de nuestros asistentes trabajan en unidades de fabricación y disponen de este tipo de pilotos automáticos en las unidades de fabricación que automatizan las estructuras alrededor de las fábricas. Así que este también es un buen ejemplo de agente de IA.

Grant Waterfall: Algunos ejemplos más. Muchas gracias. Y Matan, le toca a usted primero.

Matan Getz: Gracias por la oportunidad de estar aquí esta mañana. Así que gracias por ello. Para mí, para decirlo de forma sencilla, los agentes de IA son simplemente aplicaciones que actúan en su nombre. Y, de forma similar a lo que dijo Hoda, Alexa y Siri existen desde hace mucho tiempo. Y el cambio es exactamente el que usted ha descrito. Creo que el cambio es ahora la capacidad de crear tu propio agente de IA de forma muy, muy sencilla.

No hace falta ser científico de datos. No hace falta ser ingeniero de software, con algunas de las herramientas que existen. Basta con hacer algunos ajustes en la interfaz o quizá dar una descripción e instrucciones en lenguaje natural y ya tienes tu propio agente.

Así que el cambio es la democratización que usted ha descrito. Y ahora, con la capacidad de que todo el mundo cree tantos agentes de IA, es ahí donde surgen todas las preocupaciones de seguridad, porque creo que Alexa y Siri del mundo solían estar en manos de grandes gigantes. Ya no. Ahora nos dan la capacidad de hacer esto. Entonces.

Grant Waterfall: ¿Para crear los nuestros, verdad? Excelente. Gracias, Matan. Nic.

Nic Chavez: Así que, en línea con lo que dice, es increíblemente sencillo crear un agente de IA. Tenemos algo llamado Langflow que utilizamos para hacerlo. Y, dado mi papel como CISO de una empresa de plataformas de datos para IA, con frecuencia me reúno con otros CISO para ayudarles a entender cómo es esto.

Y la forma en que más a menudo lo describo es: imagine a su empleado más valioso o al colega con el que más disfruta trabajar, ¿verdad? Pues eso es un agente de IA.

Y, en realidad, hay tres categorías de cosas en las que un agente es bueno. La primera es que son autónomos, ¿verdad?

Pueden, tras darles las instrucciones iniciales, ponerse a trabajar por su cuenta con muy poca intervención por su parte. La segunda es que son adaptables. Es decir, usted les dice qué hacer. Intentarán averiguar cómo hacerlo y, si no pueden, probarán de otra manera.

Y la tercera es que están muy orientados a objetivos. Así que, después de haberles dado la descripción de lo que desea que hagan y de cómo cree que deberían hacerlo, lo harán hasta lograr ese objetivo.

Ahora bien, pensamos en un colega como una sola persona, ¿verdad? ¿Y si tuviera diez de ellos? ¿Y si tuviera 100? ¿O 1.000 o un millón? Así que, para no sobrecargar nuestro cerebro humano, digamos que son mil colegas que hacen exactamente lo que usted dice en todo momento hasta alcanzar el objetivo, momento en el que pueden desplegarse para hacer otra cosa.

Eso es la IA agéntica, y lo que usted les indique, junto con su base de datos vectorial y el LLM que lo impulsa, logrará su objetivo.

Grant Waterfall: Así que hay una oportunidad enorme ahí.

Matan Getz: Me encantaría aprovechar precisamente la preciosa analogía de Nic, porque me encanta la comparación entre humanos y agentes, ya que este es el objetivo final.

Pero piensen en las expectativas que tienen de las personas. Esperan que se comporten con educación. Esperan que se comporten de la manera adecuada, suponiendo que se cumplan las expectativas. A veces no lo sabemos. Así que teníamos la expectativa de que todos llegaríamos aquí puntuales, ¿verdad? De que nos vestiríamos de determinada manera y de que hablaríamos de determinada forma.

Con las máquinas, todas estas expectativas deben describirse de manera explícita. Y estas son quizá las barreras de protección de las que todo el mundo habla, y esta es la parte complicada de la oportunidad que usted plantea.

Nic Chavez: Sí, estoy de acuerdo. Creo que, como profesional de TI o como parte interesada en la empresa, realmente hay que pensar cuál es el objetivo y si puedo aprovechar la nube, que tiene cierto nivel de confianza y seguridad integrado por los proveedores de grandes modelos de lenguaje.

O, ¿necesito optar por una solución local, con un modelo de lenguaje casi pequeño vinculado a un agente de IA con, ya sabe, algún tipo de base de datos vectorial para vectorizar toda la información?

Y, al hacerlo, puede desplegar sus propias pautas de confianza y seguridad, que pueden ser muy distintas de las del entorno basado en la nube.

Grant Waterfall: Así que estamos empezando a avanzar por esta vía de adopción de agentes de IA dentro de las organizaciones. Y quizá, Matan, empiece por usted. Profundicemos un poco en algunos de los riesgos que existen en torno a esta capacidad de que cualquiera cree agentes de IA y en lo que eso podría significar para las organizaciones.

Como sé que su empresa se centra bastante en resolver estos problemas, ¿dónde ve los riesgos?

Matan Getz: Sí. Así que, primero, antes de describir los riesgos, quiero decir que todavía estamos en las primeras etapas, en las que cada uno establece sus propias políticas y decide sus propias normas, y, por desgracia, la mayoría de las empresas actúan como lo hicieron cuando se lanzó ChatGPT al mundo. Adoptan una política de sí o no. Creo que es el enfoque equivocado.

Normalmente, lo que hacen las empresas es bloquear el uso de ChatGPT o de los agentes de IA y, a continuación, introducen fricciones. Limitan, en realidad, el valor empresarial que hace que esto sea correcto o sumamente valioso. Y si dicen que sí, suelen decir simplemente que sí y crean un entorno de pruebas completamente abierto, en el que se puede hacer cualquier cosa y cualquiera puede acceder a lo que necesite.

Creo que hay dos o tres aspectos muy arriesgados en los agentes de IA. Primero, su capacidad de actuar, es decir, la parte autónoma. Así que, si tienen la capacidad de ejecutar transacciones financieras, por ejemplo, o tomar decisiones en su nombre sin que sea necesaria la confirmación de una persona, eso supone un riesgo. Esta es la primera parte.

Segundo. Los agentes de IA son muy buenos cuando hacen aquello para lo que han sido diseñados. Pero, cuando se manipulan, de forma intencionada o no, a veces se producen pequeñas desviaciones en los datos que hacen que se comporten de una forma distinta a la que se pretendía.

Y es aquí donde los atacantes pueden aprovechar esta imprevisibilidad. O también algunos empleados pueden hacerlo, o las personas pueden hacerlo sin intención. Así que creo que esta es la segunda parte.

Y la tercera parte. Y esto se aplica sobre todo a las organizaciones que adoptan agentes de IA. Resultan muy eficaces cuando se conectan a datos sensibles o se entrenan con ellos. Pero cuando la IA accede a datos sensibles, es ahí donde hay que ser muy cuidadoso, porque es necesario asegurarse de que se implanten las protecciones adecuadas para prevenir ataques y fugas de datos. Así que esta será la tercera parte.

Grant Waterfall: Correcto. Así que, en teoría, podríamos estar aumentando la superficie de ataque de la organización al desplegar estos agentes bajo control.

Matan Getz: Exacto.

Hoda Al Khzaimi: Bien. Y, siguiendo su razonamiento, Matan, creo que aquí nos encontramos ante un dilema: tratar de entender la eficacia de aplicar estos agentes dentro de la plataforma. Porque, al mismo tiempo que intenta mejorar las estructuras de toma de decisiones autónomas dentro del sistema para lograr eficiencia en las operaciones, también está introduciendo un factor de amenaza.

Posiblemente esté introduciendo una capacidad masiva de vigilancia y análisis de sus sistemas. Y, aunque lo haya aplicado con estructuras ilimitadas, no sabe si también existe la posibilidad de que un actor malicioso acceda a la configuración de los agentes de IA y aplique quizá esta estructura de redes generativas antagónicas, en la que se pueden descargar modelos adversarios en los agentes para, ya sabe, modificar y atacar el sistema.

Así que este tipo de espacio de ataque intencionado existe de una forma u otra. Y, al mismo tiempo, usted ha mencionado la combinación de agentes de IA con estructuras, y los agentes no funcionan estrictamente con LLM como una de las distintas estructuras de aprendizaje automático o de automatización con las que trabajan, sino que la capacidad de tener este tipo de espacio vulnerable.

Los LLM no son realmente un espacio perfecto para la fiabilidad ni un espacio perfecto para tener, ya sabe, porque son muy débiles frente a los falsos positivos y los falsos negativos. Entonces, ¿qué pasaría si se introdujera un aspecto de toma de decisiones crítico dentro de su propia unidad de fabricación automatizada? Y un pequeño ajuste introducirá un falso positivo y un falso negativo en toda la organización.

Así que, en lugar de resolver un problema, se introduce un fenómeno similar de forma masiva en la organización, y es muy importante gestionar ese fallo masivo desde un único punto de vista.

Creo que el segundo riesgo que debemos destacar aquí es que los agentes de IA tienden a requerir un nivel específico de protocolos de privacidad aplicados a la infraestructura. La mayoría de esos protocolos de privacidad no están diseñados para usarse de forma masiva ni para utilizarse en redes de sensores del internet de las cosas (IoT), y la mayoría de esos agentes trabajarían con redes de sensores IoT.

Me refiero, por ejemplo, al aprendizaje federado, al cifrado homomórfico y a protocolos de privacidad diferencial. Funcionan bien cuando la estructura es limitada, pero si quiere aplicarlos a gran escala, tendrán problemas de, diría yo, velocidad y complejidad del análisis.

Entonces, ¿cómo los abordaría? ¿Qué tipo de nuevos protocolos quizá habría que introducir en el entorno para preservar la privacidad y otros aspectos dentro del panorama más amplio de elementos?

Grant Waterfall: Hay mucho ahí.

Matan Getz: Y puedo destacar un error muy habitual que veo en muchas empresas. Normalmente ocurre que existe una política según la cual el creador de un agente de IA puede otorgar a los agentes de IA todos esos permisos.

Pues bien, no estoy seguro de que esta sea la política correcta. Cuando hay una persona en el proceso, quizá pueda acceder a datos sensibles, pero cuando es autónomo y funciona a escala, no estoy seguro de que los agentes de IA deban heredar los mismos permisos. Lo creó la misma persona. Sé que es un caso de uso muy sencillo, muy simple, pero muy habitual.

Grant Waterfall: Sí. Quiero decir, es un concepto interesante. En general, uno pensaría que los permisos humanos se heredarían, pero cuando empiezas a reflexionar sobre ello, es un tipo de procesamiento distinto.

Nic, usted asesora a sus clientes sobre este tipo de cuestiones. Entonces, ¿qué tipo de preguntas recibe desde una perspectiva de riesgo sobre los agentes de IA?

Nic Chavez: La pregunta más habitual que me hacen dentro de un agente de IA, bueno, porque es de arrastrar y soltar, y lo que ve es lo que obtiene con nuestro producto, es: ¿están seguros mis datos? ¿Están seguros mis datos en reposo y en tránsito? ¿Verdad?

Es decir, ¿están protegidas las API? ¿Cómo están protegidas? Y es una pregunta importante porque, en apariencia, es muy sencilla. Pero, si se profundiza un poco más, el envenenamiento de datos es algo real. Creo que a eso se referían ambos. Y eso implica algún tipo de actor malicioso. ¿Verdad?

Pero hay algo a lo que podría estar expuesto, dependiendo de cómo esté configurado su agente para aprender, y es si es autorreferencial y existe la probabilidad o posibilidad de que pueda alucinar al generar información.

Entonces, tiene un conjunto de datos imperfecto y está creando vectores dentro de su base de datos que vinculan información perfecta con información imperfecta. ¿Verdad? Y luego lo sistematiza y quizá lo escala. ¿Verdad? Por eso siempre decimos que no se quiere escalar un mal proceso, pero es perfectamente posible.

Matan Getz: Sí. Sí.

Hoda Al Khzaimi: Imagine que todo el sistema que le rodea vaya a decir algo sobre datos críticos y aspectos de rendimiento de la infraestructura crítica. Así que creo que debería haber una limitación y que hay aplicaciones limitadas de los agentes de IA en esas circunstancias. Pero ¿cómo podemos asegurarnos también de ello?

Creo que lo mencionó al principio de la conversación: esos agentes de IA no están solo para la funcionalidad. También están ahí para, quizá, interactuar con los seres humanos.

Así que, si interactúan con las personas, tenemos que introducir la otra dimensión de la operación, que se relaciona más con comprender la inteligencia humana presente en la sala, la inteligencia emocional presente en la sala, cuidar el bienestar de las personas y todos estos otros aspectos, las consideraciones éticas en todo el panorama, sobre todo si se van a utilizar con datos sanitarios a gran escala.

Matan Getz: Siendo muy práctico, me gustaría sugerir algunas características que creo que, si realmente las comprendemos y definimos para cualquier agente de IA, no estoy seguro de que sea seguro. Pero va por buen camino. Quiero decir, para garantizar que sea seguro, la primera que veo que la mayoría de las empresas tienen dificultades para aplicar es la finalidad del agente de IA.

Así que el agente de IA debe generar valor, y ese valor debe ser muy concreto y estar bien definido. Y le pondré un ejemplo. Por ejemplo, un asistente de compras en línea. Bueno, ¿qué quiere decir, comprar ropa o también productos químicos? Cuando la finalidad del agente de IA es muy estrecha y muy específica. Y creo que ocurre lo mismo con el software.

Queremos crear software compuesto por componentes muy específicos y con microservicios. Lo mismo ocurre con los agentes de IA. Queremos que los agentes sean lo más específicos posible. Así que la finalidad es lo primero.

Lo segundo es la rendición de cuentas. Y la rendición de cuentas no termina el día de la creación, sino todo lo contrario: empieza el día de la creación. Tercero, la detectabilidad. Todo debe poder auditarse. Y el cuarto, que creo que es la parte de la que todos estamos hablando, es que debe ser fiable. Y estoy seguro de que lo analizaremos.

Grant Waterfall: ¿Tiene que ser qué? Perdón.

Matan Getz: Fiable.

Grant Waterfall: Vale. Correcto. Es un consejo excelente. Y dejemos esto pendiente; volveremos un poco a este aspecto de control cuando hablemos más sobre el uso de agentes de IA en ciberseguridad. Pero antes de hacerlo, me gustaría pasar a Nic.

¿Cuál es su perspectiva, Nic, sobre el lado ofensivo?

Desde la perspectiva de los atacantes que utilizan la misma tecnología, que ahora, como usted dice, impulsa este tipo de cosas de arrastrar y soltar y de hacer clic, se democratiza en el otro lado. Entonces, ¿cuál es su predicción sobre cómo empieza a evolucionar esto y la amenaza para las organizaciones?

Nic Chavez: Quizá "predicción" sea una palabra demasiado fuerte, porque espero que no ocurra.

Grant Waterfall: Correcto.

Nic Chavez: Sí. Arrastrar y soltar, ¿verdad? En la época de los script kiddies, al menos, había que saber un poco de Linux y un poco de Bash, ¿verdad?, para atacar una organización. Volvamos al ejemplo del colega diligente o del empleado diligente que le gustaría tener, que es autónomo, adaptable y orientado a objetivos.

Todos queremos esas cualidades. Ahora bien, lo que no queremos es un hacker lo bastante capaz como para arrastrar y soltar un vector asociado, como un determinado conjunto de datos, en una base de datos vectorial y, después, desplegar esa IA agéntica una vez, diez veces, cien veces, mil veces o un millón de veces.

De repente, tiene una herramienta de tipo DDoS muy inteligente, autorreferencial y muy, muy adaptativa, básicamente, ¿verdad? Quiero decir, está atacando sus cortafuegos las 24 horas del día, nunca descansa y nunca duerme. Y, bueno, y así sucesivamente. ¿Verdad?

Una vez que ha penetrado, puede moverse lateralmente, porque ha sido entrenada para hacerlo. Cualquier cosa que pueda entrenar a una persona para hacer con un teclado y una interfaz, puede entrenar a un agente de IA para hacerla.

Ahora bien, si tiene un millón de esas entidades atacándole constantemente, el coste de implementarlas es muy bajo. La barrera de entrada es muy baja. Así que no solo tendrá Estados nacionales que controlen millones de atacantes potenciales, sino que también podría tener a alguien de la calle haciendo lo mismo.

Por eso, como sector, debemos desarrollar una mejor identificación y mejores herramientas para abordarlo antes de que ocurra. Porque cuando ocurra, será un incendio enorme que apagar.

Grant Waterfall: Vale. ¿Alguna otra reflexión sobre este punto?

Hoda Al Khzaimi: Creo que deberíamos establecer unas directrices, directrices de diseño, en lo que respecta a insistir en un diseño fiable y en insistir en un diseño seguro y resiliente, cuando hablamos de cualquier tipo de tecnología que realice análisis masivos y automatización al mismo tiempo.

Así que el análisis masivo y la toma de decisiones automatizada, porque el ser humano no está en medio para poder detectar cualquier tipo de intención maliciosa en el sistema.

Siguiendo con lo que acaba de explicar, Nic, creo que contar desde el principio con una resiliencia autorregulada integrada en los agentes de IA es muy importante, de modo que un agente de IA pueda detectar si está siendo manipulado con fines maliciosos y, en ese caso, detenerse de inmediato y luego autoevolucionar o autorrepararse si se produce cualquier tipo de ataque contra él en el sistema.

Y creo que ese es el elemento que falta para poder detener y cubrir cualquier tipo de riesgo que pueda introducirse en el sistema, ya sea por errores funcionales o por actos maliciosos intencionados de personas.

Por eso, lo que nos falta hoy en el diseño de la tecnología masiva relacionada con los sistemas automatizados y la IA es cómo podemos garantizar, de forma inherente y desde el diseño, que esas tecnologías sean responsables, resilientes y se autorregulen en lo que respecta a esas capacidades.

Quiero decir que resulta interesante que queramos automatizarlas por su funcionalidad, pero deberíamos automatizarlas por seguridad. Esa es la finalidad. Deberíamos automatizarlas para que sean seguras y resilientes, y para que puedan detectar el mapa de amenazas periféricas.

Nic Chavez: Creo que es un gran punto. Sabe, ya tengo bastante pelo gris y soy lo bastante mayor como para haber pasado por varias implementaciones de ERP a una escala de decenas de millones.

Ahora, al diseñar una implementación de ERP, la seguridad es lo primero, la seguridad desde el diseño. Perfecto. Lo que ocurre con estos agentes de IA es que son tan sencillos de poner en marcha que literalmente podría crear algo y, poco después, tener un agente de IA que actúe como agente antagonista de ese agente, creado en dos minutos. Así es.

Por eso necesitamos acordar cierto marco sistémico que impida que se utilicen de forma irreflexiva o descuidada, ¿verdad? Porque no vamos a tener en cada persona que crea un agente de IA la experiencia necesaria para saber cómo hacer esas cosas.

Por tanto, tienen que implementarse de forma sistémica, y eso debe decidirse entre todos nosotros, la industria, junto con los reguladores y las organizaciones de normalización.

Matan Getz: Me encantaría destacar no solo la urgencia, sino también la oportunidad que existe aquí y, en relación con lo que ambos han dicho, creo que la seguridad solía ser muy activa.

Como respuesta a su pregunta, lo que suele ocurrir es que he visto a responsables de seguridad esperando a ver qué valor obtendremos de los agentes de IA. Primero entendamos la adopción de los agentes de IA y luego decidamos si entra en nuestra lista de prioridades, porque siempre se trata de priorizar; el riesgo está en todas partes.

Así que no estoy seguro de que este sea el momento adecuado para empezar a trabajar en directrices y políticas de protección y seguridad para los agentes, porque no sé hasta qué punto se han adoptado. Y creo que deberíamos pensarlo al revés.

Aquí hay una oportunidad para que los responsables de seguridad no sean reactivos, sino proactivos, y para que establezcan primero las directrices, primero el diseño correcto y solo entonces, en efecto, se conviertan en uno de los líderes, quizá incluso de la adopción, y muestren sus casos de uso para la adopción de agentes de IA.

Y creo que este es un error, es un fallo que veo con frecuencia, y la IA en general presenta aquí nuevas oportunidades, en concreto también con los agentes de IA.

Hoda Al Khzaimi: Sí. Y creo que tendemos a diseñar y lanzar tecnología, como ha dicho Matan, al entorno real y a la situación concreta lo antes posible. Y lo que debemos hacer aquí es permitir un proceso de incubación o un proceso en entorno controlado (sandbox), en el que tengamos la libertad de diseñar agentes de IA.

Pero al mismo tiempo, los riesgos están muy acotados dentro de ese entorno. Y luego se puede decidir más adelante si se amplía, se reduce o no se utiliza en absoluto, si introduce riesgos específicos y amplificados para la plataforma.

Grant Waterfall: Resulta interesante que también haya mencionado el ejemplo de ERP, porque yo también trabajé en esto durante muchos años. Y, al final, en parte la responsabilidad recaía en el proveedor del software para garantizar un sistema controlado y seguro.

Pero, en realidad, la mayor parte del esfuerzo recaía en la empresa, para configurar, implementar y establecer la supervisión y el control en torno al sistema.

Así que supongo que será una responsabilidad compartida. Pero su punto, Matan, sobre cómo las perspectivas de seguridad tienen que anticiparse a esto antes de que nos afecte, porque recuerdo todas las garantías de que nada podía salir mal con los ERP, y ciertamente salió mal. ¿Verdad? Bien. Pero pasemos ahora a tratar brevemente el lado defensivo.

Así que, cómo pueden utilizarse los agentes de IA para hacer que las empresas sean más seguras. Hablamos de detección y respuesta, y también de la automatización de la respuesta. Obviamente, hay una enorme oportunidad si empezamos a utilizarlos.

También existe cierto riesgo entre la automatización y el control, y algunos de ellos ya los ha mencionado. ¿Quién quiere empezar? ¿Cómo podemos utilizar esto en ciberseguridad?

Nic Chavez: Mi primer ordenador tenía un bloqueo que impedía encenderlo. Y eso era algo así como: «Oiga, nadie va a saltarse esto, ¿verdad?». Así que, a medida que cualquier sector avanza, la sutileza de los ataques y de la defensa se vuelve más sofisticada.

Y creo que, ahora mismo, como CISO, tenemos que pensar que, bueno, disponemos de detección de anomalías en el tráfico de red. ¿Verdad? Estos sistemas de IA agéntica pueden programarse para generar y simular tráfico de red similar al tráfico existente en el sistema que se pretende atacar, ¿verdad?

Así que ahora nosotros, como defensores, tenemos que crear un agente de IA para detectar un agente de IA que simula el tráfico existente en la red con el fin de penetrarla, ¿verdad?

Y cuando se observa lo meta que es esto y el nivel de especialización que necesitarán las personas que desarrollen estos agentes de IA, se entiende la cantidad de poder que tiene el agente de IA y el nivel de confianza que hay que depositar en la persona o personas que desarrollarán la defensa agéntica frente a los ataques agénticos.

Grant Waterfall: Vaya. Eso significa que hacen falta muchas habilidades nuevas y pensar de otra manera. ¿Hoda?

Hoda Al Khzaimi: También debemos tener presente la pérdida de información o la información fragmentada dentro de los agentes de IA, porque la mayoría de las veces, en algunos escenarios, funcionan de forma descentralizada para analizar y detectar anomalías. Así es como trabajamos en ciberseguridad, ¿verdad?

Necesitamos la huella del efecto del espectro del ataque y analizar cualquiera de ellos. Pero ¿qué ocurriría si, al mismo tiempo, tuvieran también la capacidad de escalar y predecir el siguiente ciclo de ataque, e incluso imitar un siguiente ciclo de ataque?

¿Se consideraría también simplemente un enfoque de capa de defensa o va a introducir un nivel distinto de complejidad en el ataque y la defensa simultáneos dentro de la red?

Y la potencia computacional de esos recursos es algo que deberíamos debatir, porque en un día normal existen límites específicos para los dispositivos de computación en el borde (edge). Y, en la mayoría de los casos, supongo que no podrá ejecutarlos todos en la nube en un momento determinado. ¿Verdad?

Por tanto, tendría que enviar los sensores de borde o los dispositivos de computación de borde y permitir que calculen en el propio dispositivo y aprendan en él. Pero ¿cuántos de nuestros dispositivos tienen la capacidad de realizar una vigilancia masiva de esas estructuras y una detección de anomalías en una superficie tan amplia?

Así que mi preocupación aquí es la capacidad de escalar más allá de los escenarios actuales disponibles para la defensa que tenemos en este momento.

Grant Waterfall: Ah. Vale.

Matan Getz: En respuesta a su pregunta, todos tenemos ejemplos magníficos de las posibles ventajas de los agentes de IA a favor de la ciberseguridad. Hace dos semanas, el Project Zero de Google publicó que se había encontrado, por primera vez, un agente de IA que detectaba una vulnerabilidad de día cero.

Así que este es un gran ejemplo y creo que esto es solo el comienzo de una nueva ola de implementaciones de agentes de IA que veremos y que darán apoyo y trabajarán para la ciberseguridad.

Grant Waterfall: Hay enormes oportunidades ahí. Creo que nos quedan unos 10 minutos, así que voy a hacer una pausa aquí y ver si hay preguntas del público. Esperemos no haberles confundido con el lenguaje de los agentes de IA. No tengo ninguna pregunta. Creo que hay una pregunta. En realidad, tenemos dos.

Miembro del público 1: Hola, me llamo Carrie-Anne. Me pregunto, con base en el debate sobre el uso de la IA y cómo puede aprender de sí misma e incluso lanzar ataques unas contra otras aprendiendo unas de otras.

¿Ve un mundo en el que el gato ya haya salido de la caja, o sea, de la bolsa, prácticamente, en el que hablan de regulación y de marcos, pero la tecnología ya se está utilizando y los marcos solo serían, como otras herramientas cibernéticas, para usos responsables y éticos?

¿Ve un mundo en el que terminemos teniendo empresas en la web, por ejemplo, que surjan como defensoras frente a quienes nos negamos a utilizar la tecnología de forma responsable?

Solo con escucharles, parece que nos estamos acercando a ese punto en el que habrá personas que tendrán que hacer exactamente lo que ustedes han dicho: entrenar una IA para encontrar a una IA mala y detener a la IA mala. Sí.

Así que solo quiero... ¿ve un mundo en el que llegaremos al punto de tener que ir más allá del modelo de negocio de «soy el primero en llegar al mercado», pero ahora tengo que defender el mercado?

Grant Waterfall: Es una buena pregunta. Sí, Matan. Y, bueno, sí.

Matan Getz: Primero quiero decir que el bien siempre gana, los buenos siempre están ganando. Muy bien. No me gusta vender miedo. Muy bien.

Grant Waterfall: El gato no ha salido de la caja.

Matan Getz: Sí. Sí. Así que estamos bien. Creo que las regulaciones externas y este tipo de prácticas van por detrás. Me sorprende ver que lo que lidera la innovación o la adopción de una IA segura es lo que las empresas hacen por sí mismas. Tienen autogobierno. Tienen autorregulación. Tienen sus propias políticas. Bueno, ¿es fácil definir este tipo de políticas?

No, es difícil. Ya sabe, requiere tiempo. ¿Es fácil hacer cumplir este tipo de políticas? No, es muy difícil. Pero aquí es donde veo que muchas instituciones financieras y empresas manufactureras, gigantes, están tomando la iniciativa para decidir cuál será la forma segura de desplegar este tipo de tecnologías.

Y no están esperando a ningún marco externo ni a regulaciones, porque entienden que este tipo de fuerzas que quieren ver a todos detrás. Y si esperaran a que llegaran, se quedarían atrás.

Grant Waterfall: Sí. Eso es muy tranquilizador.

Hoda Al Khzaimi: Creo que durante mucho tiempo. Es una pregunta sorprendente y creo que una visualización asombrosa de un campo de batalla y de un terreno de agencias para construir seguridad. Y creo que llevamos mucho tiempo huyendo de los demonios en el campo de la ciberseguridad.

Y nuestros demonios son la falta de una estructura de gobernanza en medio de todas las redes y plataformas heterogéneas que estamos construyendo en múltiples sectores. Tenemos que enfrentarnos a estructuras de gobernanza para este tipo de innovaciones, incluidos los agentes y otros muchos conceptos tecnológicos emergentes. Y muy pronto, también la falta de una regulación ágil para los dispositivos.

Quiero decir que ahora nos lleva tres años elaborar la regulación que entraría en vigor mientras los dispositivos se introducen mensualmente, quizá con distintas variantes y versiones de actualizaciones en pocas semanas. Así que en muy poco tiempo.

Por eso creo que debemos crear regulaciones ágiles que también permitan a esos agentes autorregularse, porque también hay que conseguir que aprendan sobre las regulaciones, la estructura y las estructuras de contención. Así evitaremos ese campo de batalla caótico que tenemos en mente en este momento.

Por desgracia, creo que la gran mayoría de los riesgos que vemos hoy se deben a que no tenemos seguridad. Diría que científicos y científicos de la ciberseguridad y desarrolladores que participan en el diseño de los agentes y de otras tecnologías emergentes. Diría que herramientas.

Tiene científicos asombrosos y también desarrolladores asombrosos que compiten por llevar la tecnología al mercado para obtener rentabilidad. Pero también necesitamos llevar al mercado una tecnología responsable para un uso ético y responsable en todos los ámbitos.

Grant Waterfall: Muy, muy buen punto. ¿Quería añadir algo, Nic?

Nic Chavez: Sí, brevemente. Creo que los hiperescaladores serán necesariamente la puerta de entrada a esto. ¿Verdad?

Porque, sabe, es bastante fácil decir: mire, tengo un presupuesto de 10.000 o 100.000, quiero implementar una base de datos y, bueno, empezar a crear IA agéntica. Así que, si los reguladores quisieran centrarse en algún punto, y probablemente recibiría críticas por decir esto, deberían considerar hacerlo. Trabajar primero con los hiperescaladores.

Ahora bien, en relación con lo que decía Matan, las empresas tendrán que desarrollar nuevas capacidades; la nueva capacidad que necesitarán es evaluar cuánto vale su información y después calcular cuánto están dispuestas a gastar para protegerla, porque el adversario hace exactamente ese mismo cálculo.

Quiero decir que, si tiene la capacidad de poner en marcha un agente de IA y, bueno, hacerlo a escala hiperescalar o, quizá, en una de las plataformas en la nube menos conocidas, y construir un equipo Unix o Linux y dejarlo listo para funcionar, quizá gasten 20.000 para obtener 13 millones. ¿Verdad? Bueno, a través de esa agenda.

Por eso, las corporaciones realmente necesitan un proceso ágil para identificar la información, cómo está protegida, cómo se despliega de forma agéntica y qué están dispuestas a hacer para protegerla. ¿Verdad? En términos de inversión. Y tienen que hacerlo de forma casi constante.

Ahora es como una reunión de proceso de cambio, ¿verdad? Es como: vale, hablemos de ello este mes o esta semana o, bueno, este periodo, porque siempre hay alguien evaluando el valor de su información y cuánto le costará a esa persona robarla.

Hoda Al Khzaimi: Fantástico. Me gustaría añadir a lo que acaba de decir Nic que creo que es muy importante defender las plataformas de código abierto en este ámbito, porque quiere ver qué hay bajo el capó, quiere ver qué se está desarrollando y permitir la transparencia para poder analizar de forma cruzada y demostrar el estado de seguridad del producto que tiene en mente dentro de la IA generativa.

Nic Chavez: Código abierto de verdad.

Hoda Al Khzaimi: Exacto. Código abierto de verdad. Estoy de acuerdo con usted.

Grant Waterfall: Solo voy a comprobarlo con mi panel. ¿Tenemos tiempo suficiente para una pregunta más? Una más. Vale, bien. Creo que sí.

Miembro del público 2: [Inaudible] Tengo una pregunta sobre lo que se ha tratado brevemente. Ya sabe, gestionar y operar agentes es difícil. Si se observa la historia de la orientación de agentes, hay menos sorpresas en ello. Y esto también lo vemos ahora en el ciberespacio.

Los agentes inteligentes no siempre tienden a respetar las reglas como se espera. ¿Y cómo? Pero esta alineación con la intención original con la que se construyen es el requisito previo para la confianza y para encomendarles también tareas empresariales más importantes.

Como la validación y verificación de la IA está en un futuro lejano, quizá necesitemos algo intermedio para supervisar y reaccionar antes ante comportamientos improductivos o no deseados de los agentes.

Así que, ¿cuál sería su opinión sobre la protección de que esa mentalidad digital haga lo que se espera?

Matan Getz: Sí, bueno, esto es exactamente lo que hacemos. Gracias por la pregunta. Bueno, hace falta contar con barreras de protección en línea, en tiempo real y en profundidad, que limiten lo que los agentes de IA pueden hacer y lo que no pueden hacer. Estas son las expectativas de las que hablaba.

Por ejemplo, si se trata de un asistente de suscripción de préstamos, necesitamos decidir qué tipo de temas deben tratarse con este tipo de asistente y qué temas no se tratarán de algún modo.

El hecho de que podamos describir todo en lenguaje natural es una ventaja, porque ahora podemos establecer las expectativas en lenguaje natural. Pero no es tan fácil definirlo de forma muy estricta y dejar suficiente margen para que el agente de IA haga lo que sea necesario.

Pero hay que entender que el tiempo es lo bastante limitado como para estar en los demás. Y requiere experiencia. Pero estoy de acuerdo con usted en que hace falta una nueva tecnología que supervise y proteja a los agentes de IA y que lo haga en tiempo real. Y, ya sabe, la pila de seguridad existente no es capaz de hacerlo.

Grant Waterfall: Con esto, tengo que cerrar este panel. Así que se nos ha acabado el tiempo. Quiero darles las gracias muchísimas veces a nuestros panelistas. Creo que ha sido un panel fantástico con una diversidad de perspectivas tan grande.

Y, sinceramente, creo que este es un tema emergente de gran importancia para nosotros. Y espero que haya quedado claro para todos. Y lo han oído aquí en primicia. Así que gracias a todos. Cerremos el panel. Gracias a todos por asistir y a quienes nos siguen en línea.

Desde las vulnerabilidades asociadas a la toma de decisiones autónoma hasta los ataques potenciados por IA, los rápidos avances de los agentes de IA pueden plantear amenazas novedosas para las organizaciones y la sociedad.

¿Qué estrategias basadas en la responsabilidad deben adoptar las empresas para aprovechar eficazmente los agentes de IA y, al mismo tiempo, minimizar los riesgos emergentes de ciberseguridad?

Este es el audio completo de un debate celebrado en el Foro Económico Mundial en Ginebra el 13 de noviembre de 2024. El video está disponible para los suscriptores digitales del Foro aquí: https://toplink.weforum.org/event-mode/a0PTG0000004wNC2AY/sessions/a0WTG000000TESb2AO/defending-the-digital-mind-the-emerging-challenges-of-ai-agents

Ponentes:

Grant Waterfall, socio, Europa, Oriente Medio, África y Alemania; líder de Ciberseguridad y Privacidad, PwC

Hoda Al Khzaimi, directora, Centro de Ciberseguridad, Universidad de Nueva York Abu Dabi

Matan Getz, director ejecutivo, Aim Security

Nic Chavez, director de Seguridad de la Información, Datastax

Más podcasts:

Consulte todos nuestros podcasts en wef.ch/podcasts:

YouTube: - https://www.youtube.com/@wef/podcasts

Radio Davos - suscríbase: https://pod.link/1504682164

Meet the Leader - suscríbase: https://pod.link/1534915560

Agenda Dialogues - suscríbase: https://pod.link/1574956552

Únase al Club de podcasts del Foro Económico Mundial: https://www.facebook.com/groups/wefpodcastclub

Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso. Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.