Las recientes elecciones federales celebradas en India dejaron numerosas lecciones para quienes vigilan la desinformación generada con inteligencia artificial.
La desinformación y la información falsa son los mayores riesgos a corto plazo, según el Informe de Riesgos Globales 2024.
La Unidad de Análisis de Deepfakes (DAU, por sus siglas en inglés) es un recurso único en India que permite al público compartir contenidos a través de un canal de WhatsApp para verificar su autenticidad.
El fervor que envolvió a India durante sus recientes elecciones federales ha disminuido, pero existen valiosas lecciones para quienes seguimos el aumento de la desinformación generada por IA. El nexo entre la información engañosa o falsa y el malestar social ocupará un lugar central en las elecciones de varias de las principales economías en los próximos dos años, tal como se recoge en el Informe de Riesgos Globales 2024.
La Unidad de Análisis de Deepfakes (DAU), creada bajo el amparo de la Alianza para Combatir la Desinformación, es un recurso único que interactúa con el público en India a través de un servicio de denuncias por WhatsApp. Permite a los usuarios compartir contenidos de audio y vídeo engañosos o perjudiciales que se sospecha que han sido generados, total o parcialmente, con inteligencia artificial.
El proyecto se puso en marcha en marzo de 2024, menos de un mes antes de la primera fase de votación de las elecciones indias. Desde entonces, el servicio de denuncias ha recibido y revisado cientos de archivos de audio y vídeo únicos, excluyendo las imágenes. Los vídeos constituyen la mayor parte del contenido que hemos recibido, y se ha detectado el uso de IA generativa en distintos grados.
¿Cuáles son los distintos tipos de medios sintéticos?
El trabajo de la DAU se guía por un conjunto de definiciones en evolución, que nos ayudan a clasificar los contenidos de audio y vídeo como «deepfake» (creado con IA), «cheapfake» (creado con software básico de edición), «manipulado» o «generado por IA», where cada categoría indica cómo se ha utilizado la IA generativa en un contenido.
No todo lo generado por IA es necesariamente un deepfake, ya que puede no ser perjudicial ni engañoso, y es posible que se haya producido con el consentimiento de la persona que aparece. La calidad de producción de un cheapfake es deficiente en comparación con la de un deepfake, que puede confundirse fácilmente con contenido real.
¿Quiénes son los objetivos de los medios sintéticos?
Nuestro análisis reveló que los políticos, las personalidades destacadas del mundo empresarial, los actores y los presentadores de noticias son los principales objetivos de quienes tienen intenciones malintencionadas de manipular o producir vídeos y audios con IA. Utilizar rostros conocidos para difundir desinformación puede aumentar la probabilidad de que la gente caiga en ella, como ocurre con los vídeos que muestran a empresarios promoviendo estafas financieras.
En algunos casos, los movimientos de los labios de las personas se alteraron mediante herramientas de IA para que el habla sintética coincidiera con ellos, aunque no de forma perfecta. Este concepto se denomina «deepfake de sincronización labial»: a veces puede implicar la recreación de la boca de la persona mediante IA. Los labios borrosos o los dientes alterados son algunas de las señales a las que hay que prestar atención al analizar vídeos para comprobar su autenticidad.
A través del servicio de denuncias recibimos varios vídeos que utilizaban herramientas de IA menos sofisticadas para reproducir la imagen de políticos pronunciando diálogos de películas de Bollywood. Otros ejemplos incluían la mezcla o el intercambio de los rostros de actores de Bollywood por los de políticos, manteniendo el resto de elementos del vídeo original.
¿Cómo se puede detectar un deepfake?
Un bot guía a los usuarios para que envíen audios o vídeos dudosos para su análisis cada vez que se conectan al servicio de denuncias; durante el proceso, también pueden aprender algunos consejos y trucos para identificar medios sintéticos a través de vídeos cortos en cuatro idiomas (inglés, hindi, tamil y telugu).
La DAU revisa cuidadosamente cada audio y vídeo enviado al servicio de denuncias para verificar su autenticidad. Si se sospecha de cualquier elemento de IA, la DAU utiliza múltiples herramientas de detección de IA a las que tiene acceso mediante alianzas existentes y exploratorias, así como algunas herramientas gratuitas.
¿Cómo está el Foro Económico Mundial creando salvaguardas para la inteligencia artificial?
El Centro para la Excelencia en IA reúne a líderes de distintos sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Respalda el diálogo informado sobre las oportunidades, los riesgos y las compensaciones vinculados a la adopción de la IA.
A través de espacios de confianza e iniciativas de colaboración, el Centro permite a los socios construir una comprensión compartida y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.
Si al menos tres herramientas indican manipulación mediante IA en un contenido, la DAU lo deriva a sus socios de análisis forense y detección para recibir un análisis experto. Una vez recibido dicho análisis, la DAU elabora un informe de evaluación, lo publica en su sitio web y envía el informe al usuario que presentó el audio o vídeo a través del servicio de denuncias. Estos informes detallados corrigen el registro público al identificar el contenido como sintético o auténtico. La metodología de estos informes incluye, de forma implícita, un curso acelerado sobre cómo detectar medios sintéticos.
¿Qué se puede hacer para frenar los deepfakes?
La colaboración es el fundamento que sostiene la capacidad de funcionamiento de la DAU. Si bien compartimos nuestros análisis con nuestros socios verificadores de datos—formados por 12 organizaciones de medios que trabajan en varios idiomas en India—, también incluimos sus verificaciones en las evaluaciones que enviamos a los usuarios del servicio de denuncias, ya que el mandato de la DAU es verificar y no verificar datos.
Confiamos en la experiencia de nuestros socios para las traducciones de contenidos y para evaluar las tendencias regionales de desinformación.
Nuestra misión es ampliar nuestra red de socios para contribuir al ecosistema de verificación de datos en India y a nivel mundial. Ya empezamos a ver el impacto de nuestro enfoque colaborativo: por ejemplo, nuestras derivaciones a ElevenLabs han llevado a esta empresa a prohibir a una serie de usuarios que utilizaron sus herramientas para generar voces sintéticas con las que difundir desinformación.
¿Lecciones aprendidas hasta ahora?
Durante el ciclo electoral vimos menos deepfakes, pero se manipularon más vídeos mediante pistas de audio sintéticas. También hubo numerosos cheapfakes que utilizaban voces de IA, pero no emplearon IA generativa para los elementos visuales. Estos cheapfakes son una variante generalizada de la desinformación que es necesario combatir.
El audio generado con IA, total o parcialmente, es más difícil de identificar, ya que las herramientas a veces tienen una capacidad limitada para detectar con precisión el habla generada por IA, sobre todo si se ha mezclado ruido de fondo o música con la pista de audio. Esto ocurre tanto con el audio independiente como con una pista que forma parte de un vídeo.
Nuestro objetivo es educar a los usuarios del servicio de denuncias y contribuir al debate público sobre las mejores prácticas para identificar y etiquetar los contenidos generados por IA. Invitamos a académicos, expertos en detección y plataformas de redes sociales a compartir sus opiniones sobre cómo estandarizar las definiciones. Quizás la “Tipología de los daños en línea”, desarrollada por la Coalición Mundial para la Seguridad Digital, podría servir de referencia para construir un estándar global de la industria en el etiquetado de dichos contenidos, con el fin de actuar con rapidez contra los contenidos generados por IA que son perjudiciales y engañosos.
Las lecciones que estamos aprendiendo en la DAU serán fundamentales durante las próximas elecciones estatales en India, donde la amenaza de la manipulación mediante IA solo agrava los desafíos de desinformación que plantean la diversidad lingüística y el contexto local.
Durante este «año de superelecciones», las lecciones también beneficiarán a muchos países del mundo que están interesados en comprender cómo puede utilizarse indebidamente la IA durante un ciclo electoral. La estrategia sigue siendo la misma: los actores malintencionados utilizan la IA generativa para dañar e engañar, y lo único que los diferencia es su acceso a tecnología de IA sofisticada.
