Tecnologías emergentes

¿Cómo hacer frente a los deepfakes y los usos inapropiados de la IA generativa?

Primer plano de la pantalla de un teléfono móvil, que ilustra el potencial de la IA generativa.

La democratización de la IA generativa ha dado lugar a importantes abusos por parte de agentes malintencionados. Image:  Solen Feyissa

Henry Ajder
Founder, Latent Space Advisory
  • Los contenidos generados por IA se han vuelto cada vez más realistas, avanzando a una velocidad asombrosa en áreas como la clonación de voz y avatares personalizados.
  • Esta dinámica veloz ha dado lugar a aplicaciones creativas, comerciales y prosociales fascinantes, pero también ha catalizado un crecimiento masivo del uso indebido de la IA y de su utilización como arma.
  • El "recorrido perverso del cliente" -o fricciones en la experiencia del usuario en línea- nos ayuda a entender cómo los agentes malintencionados usan la IA generativa y dónde podemos intervenir con eficacia.

El ascenso meteórico de la IA generativa puede ser difícil de comprender. En 2019, fui autor de la primera investigación que mapeaba el panorama de los deepfakes y el contenido generado por IA. Un hallazgo importante fue que el número de deepfakes casi se había duplicado, pasando de 7964 en diciembre de 2018 a 14 678 en julio de 2019. Un contraste con agosto de 2023, donde un estudio estimó que se habían producido la asombrosa cifra de 15 470 millones de imágenes generadas por IA en poco más de un año. Esta cifra sería mucho mayor hoy en día, sobre todo si se incluyeran todos los vídeos, audios de voz y música generados por IA.

La explosión de la IA generativa se debe a que la tecnología se está volviendo radicalmente más accesible. Herramientas que hace unos años eran embrionarias en los principales laboratorios de investigación de IA están ahora disponibles en miles de apps y servicios de fácil uso. Al mismo tiempo, los contenidos generados por IA son cada vez más realistas y avanzan a una velocidad asombrosa en ámbitos como la clonación de voces y los avatares personalizados.

Esta dinámica veloz ha dado lugar a muchas y fascinantes aplicaciones creativas, comerciales y prosociales. Sin embargo, también ha catalizado un crecimiento masivo del uso indebido de la IA generativa y de su uso como arma. Vi las primeras señales de advertencia de este cambio durante mi investigación de 2020 sobre un bot de "desnudificación" de IA en Telegram, que permitía a los usuarios crear fácilmente cientos de miles de imágenes de mujeres desnudas sintéticamente, en su mayoría con trazos de víctimas que conocían en la vida real.

En 2020, los bots de Telegram hicieron más fácil y accesible el uso de herramientas de desnudificación con IA. Image: Automatización del abuso de imágenes, Sensity AI

Cuatro años después, en 2024, los colegios se enfrentan a una epidemia de deepfakes pornográficos de estudiantes creados por estudiantes; los intentos de fraude con deepfake se multiplicaron por diez entre 2022 y 2023 y la desinformación política generada por IA ha provocado incidentes significativos en un año importante de elecciones en todo el mundo. A medida que la IA generativa se ha democratizado, su utilización como arma nunca ha sido tan fácil.

Hacer frente a esta oleada de usos indebidos de la IA generativa es un reto urgente para gobiernos, empresas, ONG y medios de comunicación. Pero para evitar una serie de respuestas inconexas y aisladas de las diferentes partes interesadas, necesitamos un marco unificador para comprender el proceso completo del uso indebido de la IA generativa.

Entonces, ¿cómo pueden los gobiernos y las empresas desarrollar esta comprensión y responder mejor al abuso de la IA generativa? El primer paso es trazar el "recorrido perverso del cliente".

Descubre

¿Qué está haciendo el Foro Económico Mundial en el ámbito de la cuarta revolución industrial?

La experiencia "perversa" del usuario

Crear un recorrido del cliente es una práctica bien establecida en marketing y diseño de experiencia de usuario (UX). Describe la experiencia de un consumidor al convertirse en un cliente fiel, desde la formación de la conciencia de marca hasta la realización de una compra y la transformación en un defensor de la marca. Una de las principales razones por las que las empresas trazan este proceso es para identificar los puntos de fricción que pueden impedir que un consumidor se convierta en su cliente fiel, por ejemplo, una escasa visibilidad de marca o una experiencia frustrante en el sitio web.

El "recorrido perverso del cliente" da la vuelta a este modelo. En lugar de tratar de reducir la fricción, podemos mapear la experiencia de un agente malintencionado al utilizar la IA generativa para identificar las etapas críticas en las que podemos aumentar la fricción.

Por poner un ejemplo, tomemos a alguien que decide que quiere crear un audio de voz engañoso de un político. Un conjunto simplificado de pasos que emprendería en el "perverso recorrido del cliente" incluye:

- Identificación de una herramienta específica de clonación de voz

- Obtención de datos de entrenamiento y generación del audio falso de la voz

- Publicación del audio sintético falso

En cada uno de estos pasos, varias partes interesadas desempeñan un papel facilitador. Los motores de búsqueda, las tiendas de aplicaciones, la publicidad y los foros en línea pueden ayudarles a identificar una herramienta de clonación de voz que pueda convertirse en un arma. A partir de ahí, las bibliotecas de código abierto, los servicios de computación en la nube y las aplicaciones de clonación de voz proporcionan los recursos y herramientas necesarios para generar el audio engañoso de voz sintética. Por último, las plataformas de redes sociales, medios de noticias y aplicaciones de mensajería ayudan a difundir el audio de voz sintética entre el público.

Al comprender el "recorrido perverso del cliente", desde la ideación hasta la ejecución, podemos identificar dónde podrían introducirse intervenciones, como la clasificación de los resultados de búsqueda, la retirada del soporte de pago digital y la introducción de verificación biométrica y marcas de agua por defecto. Si se despliegan múltiples puntos de fricción siendo conscientes de cómo se interrelacionan y se combinan, podemos hacer que el mal uso de la IA generativa sea un proceso más difícil.

¿Has leído?

Una respuesta pragmática a retos complejos

El "recorrido perverso del cliente" no solo nos ayuda a comprender la experiencia del agente malintencionado que abusa de la IA generativa y dónde podemos intervenir con mayor eficacia. También fomenta un enfoque más pragmático de esas intervenciones.

La incómoda verdad es que el uso indebido de la IA generativa no puede erradicarse. Los agentes con recursos siempre encontrarán nuevas formas de convertir la tecnología en arma y eludir las restricciones de seguridad. Buscar soluciones tecnológicas "milagrosas" o pedir prohibiciones totales de herramientas que podrían utilizarse indebidamente es un reflejo comprensible, pero fundamentalmente un enfoque equivocado.

En lugar de enmarcar nuestros esfuerzos para combatir el abuso de la IA generativa en términos de erradicación, deberíamos centrarnos en acciones bien definidas que puedan reducirlo significativamente. La creación de puntos estratégicos de fricción puede elevar la barrera de acceso al uso indebido de la IA generativa.

Tras haber presentado el "recorrido perverso del cliente" en varias cumbres sobre IA, he visto que ese marco ha resultado especialmente útil para gobiernos y empresas. Para los políticos y responsables políticos, proporciona un marco intuitivo para comprender cómo ocurren los abusos de la IA generativa y dónde pueden haberse pasado por alto grupos de interés o palancas políticas que influencian el recorrido. Para las empresas, ayuda a revelar cómo sus productos y servicios se entrelazan con otros para facilitar el uso indebido y dónde podrían introducir contramedidas precisas en colaboración.

Necesitamos que todas las partes implicadas en el "recorrido perverso del cliente" desempeñen su papel. Los esfuerzos proactivos y compromisos voluntarios de las empresas deben acogerse con satisfacción, pero los gobiernos siguen teniendo un papel fundamental a la hora de sentar a la mesa a las principales partes interesadas. Para los agentes malintencionados que facilitan intencionadamente el recorrido perverso del cliente, será esencial una legislación penal y una aplicación de la ley bien dotada de recursos.

Loading...
No te pierdas ninguna actualización sobre este tema

Crea una cuenta gratuita y accede a tu colección personalizada de contenidos con nuestras últimas publicaciones y análisis.

Inscríbete de forma gratuita

Licencia y republicación

Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso.

Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.

Comparte:
A hand holding a looking glass by a lake
Innovación mediante crowdsourcing
Involúcrate con nuestra plataforma digital de crowdsourcing para lograr un impacto a escala
World Economic Forum logo
Agenda Global

La Agenda Semanal

Una actualización semanal de los temas más importantes de la agenda global

Suscríbete hoy

Puedes anular tu suscripción en cualquier momento utilizando el enlace que figura en nuestros correos electrónicos. Para obtener más información, consulta nuestro Política de privacidad.

Intelligent Clinical Trials: Using Generative AI to Fast-Track Therapeutic Innovations

10 grandes tendencias en la integración de la IA generativa a la fuerza laboral

Quiénes somos

Participe en el Foro

  • Iniciar sesión
  • Asóciese con nosotros
  • Conviértase en miembro
  • Regístrese para recibir nuestras notas de prensa
  • Suscríbase a nuestros boletines
  • Contacte con nosotros

Enlaces directos

Ediciones en otros idiomas

Política de privacidad y normas de uso

Sitemap

© 2024 Foro Económico Mundial