Investigadores han usado la IA para desarrollar un software capaz de escribir reseñas falsas en línea extremadamente creíbles.
Esta tecnología supone una gran amenaza para sitios como Yelp y Amazon, y para las empresas que dependen de ellos.
Además, apunta a un futuro preocupante en el que la IA sea capaz de redactar textos sofisticados, socavar la confianza pública y difundir noticias falsas.
Para muchas personas, las reseñas en línea son el primer recurso al buscar un restaurante o un hotel.
Por eso, se han convertido en el sustento de muchas empresas: un registro permanente de la calidad de sus servicios y productos. Estas empresas están siempre alerta ante reseñas injustas o falsas, publicadas por rivales resentidos o clientes enfadados.
Pero pronto habrá una nueva gran amenaza para el mundo de las reseñas en línea: reseñas falsas escritas automáticamente por inteligencia artificial (IA).
Si se permite que proliferen sin control, podrían dañar irreparablemente la credibilidad de los sitios de reseñas, y esta tecnología podría tener implicaciones mucho más amplias (y preocupantes) para la sociedad, la confianza y las noticias falsas.
«En general, la amenaza es mayor. Creo que la amenaza para la sociedad en su conjunto, para unos usuarios realmente desengañados y para nuestra convicción sobre qué es real y qué no lo es será aún más fundamental», dijo Ben Y. Zhao, profesor de informática de la Universidad de Chicago, a Business Insider.
Las reseñas falsas son indetectables y se consideran fiables
Investigadores de la Universidad de Chicago (entre ellos Ben Zhao) han escrito un artículo («Ataques y defensas automatizados de manipulación de multitudes en sistemas de reseñas en línea») que muestra cómo puede usarse la IA para desarrollar reseñas sofisticadas que no solo son indetectables con los métodos actuales, sino que también parecen muy fiables a lectores desprevenidos.
El artículo se presentará en la Conferencia de la ACM sobre Seguridad Informática y de las Comunicaciones más adelante este año.
He aquí un ejemplo de reseña sintetizada: «Me encanta este lugar. Fui con mi hermano y pedimos la pasta vegetariana; estaba deliciosa. La cerveza estaba buena y el servicio fue increíble. Sin duda recomendaría este lugar a cualquiera que busque un sitio estupendo para disfrutar de un buen desayuno y un rinconcito con una gran oferta».
A primera vista, esta reseña no tiene nada de extraño. Incluye recomendaciones concretas y una historia de fondo creíble; aunque la última frase resulta un poco rara («un rinconcito con una gran oferta»), sigue siendo una expresión perfectamente verosímil en boca de una persona.
Sin embargo, en realidad se generó mediante una técnica de aprendizaje profundo llamada redes neuronales recurrentes (RNN), tras entrenarla con miles de reseñas reales en línea disponibles gratuitamente. (Desplázate hacia abajo para poner a prueba tu habilidad con más ejemplos de reseñas falsas).
Los investigadores escribieron que las reseñas sintetizadas eran «prácticamente indistinguibles» de las auténticas: «Realizamos un estudio con usuarios (=600) y mostramos que estas reseñas falsas no solo pueden eludir sistemáticamente la detección por parte de usuarios reales, sino que también ofrecen el mismo nivel de “utilidad” percibida por los usuarios que las reseñas reales escritas por personas».
Que las reseñas se consideren no solo creíbles, sino también «útiles», es muy significativo: demuestra que cumplen su propósito de influir maliciosamente en las opiniones de las personas.
Además, los programas de detección de plagio rara vez detectan estas reseñas, sobre todo cuando están configurados para priorizar la originalidad. Se generan carácter por carácter, en vez de limitarse a sustituir palabras en reseñas existentes. «Sigue siendo difícil detectar reseñas generadas por máquinas con un detector de plagio sin marcar por accidente un gran número de reseñas reales», escribieron los investigadores. «Esto demuestra que la RNN no se limita a copiar las reseñas existentes del conjunto de entrenamiento».
La gente todavía no está usando esta tecnología
Ya existe una creciente industria clandestina de reseñas falsas escritas por personas. Si sabes dónde buscar y tienes algo de dinero, puedes pagar a gente para que escriba reseñas positivas para tu negocio o negativas para tus rivales.
Pero las reseñas generadas por IA podrían «revolucionar esa industria», dijo Zhao.
Antes, quizá un atacante tenía que pagar sumas considerables por reseñas de calidad (entre 1 y 10 dólares por reseña en Yelp); ahora puede generar miles gratis y espaciarlas para no despertar sospechas, lo que aumenta drásticamente la amenaza que suponen las reseñas falsas.
Zhao dijo que todavía no ha visto ningún ejemplo real de uso de la IA para generar reseñas falsas maliciosas.
Pero a alguien «con conocimientos técnicos razonables» no le llevaría «nada de tiempo» construir un sistema similar al desarrollado por los investigadores. Solo necesitaría hardware informático corriente, disponible comercialmente, y una base de datos de reseñas reales (que puede encontrarse fácilmente en línea).
Es una amenaza existencial para los sitios de reseñas, pero hay posibles defensas
Las reseñas falsas producidas a escala industrial representan una gran amenaza para empresas como Yelp, un sitio de reseñas enviadas por usuarios que basa su reputación en la fiabilidad y utilidad de sus reseñas. Si cualquier reseña de un sitio web pudiera ser falsa, ¿quién confiaría en alguna?
Los minoristas como Amazon también están en riesgo, aunque Zhao señala que al menos pueden comprobar si alguien ha comprado el producto que está reseñando.
Sin embargo, los investigadores encontraron una posible forma de combatir este ataque. Aunque a una persona las reseñas falsas puedan parecerle idénticas a las reales, existen diferencias sutiles que un programa informático puede detectar si sabe qué buscar; en particular, la distribución de caracteres (letras: a, b, c, d, etc.).
Las reseñas falsas se derivan de reseñas reales, y durante el proceso se pierde cierta información. Las reseñas falsas priorizan la fluidez y la credibilidad, por lo que se resienten características menos perceptibles, como la distribución de caracteres.
«La pérdida de información que se produce durante el entrenamiento se propagaría al texto generado», escribieron los investigadores, «lo que daría lugar a una diferencia estadísticamente detectable en la distribución subyacente de caracteres entre el texto generado y el texto escrito por personas».
Zhao dijo que los atacantes pueden intentar sortear esto comprando hardware informático más caro y usándolo para generar redes neuronales más sofisticadas. Pero recurrir a este tipo de defensas, como mínimo, «eleva el listón para los atacantes» y dificulta que la mayoría se cuele.
Si se eleva el costo de un ataque exitoso hasta disuadir a todos salvo a los atacantes más obstinados, «eso, en la práctica, será una victoria», dijo. «Eso es todo lo que hace la seguridad: elevar el listón para los atacantes. Nunca se puede detener a un atacante verdaderamente decidido e ingenioso».
En una declaración enviada por correo electrónico, Rachel Youngblade, portavoz de Yelp, dijo que Yelp «agradece que este estudio ponga de relieve el gran desafío que afrontan sitios de reseñas como Yelp para proteger la integridad de nuestro contenido, mientras los intentos de manipular el sistema siguen evolucionando y volviéndose cada vez más sofisticados. Yelp lleva más de una década aplicando sistemas para proteger nuestro contenido, pero por eso seguimos perfeccionándolos para detectar no solo reseñas falsas, sino también contenido sesgado y poco útil. Agradecemos que los autores de este estudio hayan utilizado el sistema de Yelp como “referencia fiable” y reconocido su eficacia».
«Aunque este estudio se centra únicamente en crear textos de reseñas que parezcan auténticos, el software de recomendación de Yelp emplea un enfoque más integral. Utiliza muchas señales, además del contenido textual, para decidir si recomienda una reseña, y puede decidir no recomendar reseñas que quizá provengan de una persona real, pero carezcan de valor o contengan sesgos».
Esto no se limita a las reseñas...
En cierto modo, las reseñas son un punto de partida ideal para probar la tecnología de síntesis de textos. Tienen un propósito y una orientación claramente definidos, tratan un solo tema, siguen una estructura bastante estándar y son breves (cuanto más larga sea una reseña falsa, mayores serán las probabilidades de que contenga un error que la delate, dijo Zhao).
Pero esta tecnología no se detendrá ahí.
«En general, la amenaza es mayor. Creo que la amenaza para la sociedad en su conjunto, para unos usuarios realmente desengañados y para nuestra convicción sobre qué es real y qué no lo es será aún más fundamental», dijo Zhao. «Así que empezamos por las reseñas en línea. ¿Puedes confiar en lo que alguien dijo sobre un restaurante o un producto? Pero esto va a avanzar».
«Avanzará hacia ataques más graves, en los que un robot podría generar de forma completamente autónoma artículos enteros para un blog sobre un tema determinado; entonces, de verdad, tendremos que preguntarnos de dónde viene la información y cómo podemos verificarla... Creo que eso supondrá un desafío mucho mayor para todos en los próximos años».
Business Insider ya ha explorado este tema enartículos que examinan el potencial de los avances en IA y en imágenes generadas por computadora (CGI) para alimentar las «noticias falsas»,así comosu impacto más amplio en ámbitos que van desde la guerra de la información hasta la «pornografía de venganza».
Según Zhao, su mensaje es «sencillo»: «Quiero que la gente preste atención a este tipo de vector de ataque como una amenaza muy real e inmediata», e insta a empresas como Yelp y Amazon a empezar a pensar en defensas, si sus ingenieros aún no lo han hecho.
El profesor espera que «prestemos más atención no solo al diseño de defensas para este ataque concreto, sino también a que más personas observen y analicen las amenazas que plantea una IA realmente, realmente buena desde una perspectiva más cotidiana».
«Creo que mucha gente está centrada en la Singularidad y Skynet como un peligro muy llamativo de la IA, pero creo que existen amenazas mucho más realistas y con consecuencias prácticas derivadas de una IA realmente, realmente buena, y esto no es más que la punta del iceberg».
Añadió: «Me gustaría que la gente de la comunidad de seguridad se uniera a mí y examinara este tipo de problemas, para que tengamos alguna esperanza de ponernos al día. Creo que la... velocidad y aceleración de los avances en IA son tales que, si no empezamos ahora a estudiar las defensas, quizá nunca consigamos alcanzarlos».
¿Puedes distinguir si una reseña es real?
Por último, aquí hay seis reseñas. Varias fueron generadas por la red neuronal de los investigadores de la Universidad de Chicago, mientras que las demás son reseñas reales citadas en su artículo. ¿Puedes distinguir cuáles son reales y cuáles falsas?
1. Es, con diferencia, mi restaurante italiano favorito. Me encanta el menú de degustación; todo está increíble. Recomiendo el carpaccio y los espárragos. Por desgracia, se ha hecho más conocido y cada vez cuesta más conseguir una reserva en las horas punta.
2. A mi familia y a mí nos encanta este lugar. El personal es muy amable y la comida es estupenda. El pollo está muy bueno y la salsa de ajo es perfecta. El helado con fruta por encima también está delicioso. ¡Muy recomendable!
3. Vengo aquí todos los años por Navidad y ¡me encanta la pasta! ¡Vale mucho la pena por el precio!
4. Pizzas y lasaña excelentes, y algunas de las mejores vieiras que he probado. La carta de postres también era amplia y fantástica.
5. La comida de aquí es increíble, y las raciones son enormes. El bagel de queso estaba cocinado a la perfección y muy bien preparado: ¡fresco y delicioso! El servicio fue rápido. ¡Sin duda, nuestro lugar favorito! ¡Volveremos!
6. Llevo aproximadamente un año y medio siendo cliente y no tengo más que cosas buenas que decir de este lugar. Siempre pido la pizza, pero la ternera al estilo italiano también estaba buena y me sorprendió. El servicio fue excepcional. El mejor servicio que he recibido. Muy recomendable.
¿Las respuestas?
1 es real, 2 es falsa, 3 y 4 son reales, y 5 y 6 son falsas.
