Con el entrenamiento de humanos y máquinas, un modelo de inteligencia artificial puede superar a otros detectores de clickbait, según una nueva investigación.
Además, la nueva solución basada en IA también logró distinguir entre los titulares generados por máquinas o bots y los escritos por personas, dicen.
En un estudio, los investigadores pidieron a las personas que escribieran su propio clickbait (un titular de noticia interesante, pero engañoso, diseñado para atraer a los lectores a hacer clic en enlaces a otras historias en línea. Los investigadores también programaron máquinas para generar clickbait artificial. Luego, usaron los titulares de personas y máquinas como datos para entrenar un algoritmo de detección de clickbait.
La capacidad del algoritmo resultante para predecir titulares de clickbait fue aproximadamente un 14,5 % mejor que la de otros sistemas, según los investigadores, quienes presentaron sus hallazgos en la Conferencia Internacional IEEE/ACM de 2019 sobre Avances en el Análisis de Redes Sociales.
Alimentando el algoritmo
Más allá de su uso en la detección de clickbait, el enfoque del equipo puede ayudar a mejorar el rendimiento del aprendizaje automático en general, afirma Dongwon Lee, investigador principal del proyecto y profesor asociado en la Facultad de Ciencias y Tecnología de la Información, además de afiliado al Instituto de Ciberciencia de Penn State.
“Este resultado es bastante interesante, ya que demostramos con éxito que los datos de entrenamiento de clickbait generados por máquinas pueden reintroducirse en el proceso de entrenamiento para entrenar una amplia variedad de modelos de aprendizaje automático y mejorar su rendimiento”, afirma Lee.
“Este es el paso hacia la solución del cuello de botella fundamental del aprendizaje automático supervisado, que requiere una gran cantidad de datos de entrenamiento de alta calidad.”
Según Thai Le, estudiante de doctorado en la Facultad de Ciencias y Tecnología de la Información, uno de los desafíos que enfrenta el desarrollo de la detección de clickbait es la falta de datos etiquetados. Al igual que las personas necesitan maestros y guías de estudio para aprender, los modelos de IA necesitan datos etiquetados que les ayuden a aprender a establecer las conexiones y asociaciones correctas.
“Una de las cosas que nos dimos cuenta al comenzar este proyecto es que no tenemos muchos puntos de datos positivos”, afirma Le. “Para identificar el clickbait, necesitamos que personas etiqueten esos datos de entrenamiento. Es necesario aumentar la cantidad de puntos de datos positivos para que, más adelante, podamos entrenar mejores modelos.”
En busca del clickbait
Aunque encontrar clickbait en internet puede ser fácil, sus numerosas variantes añaden otra capa de dificultad, según S. Shyam Sundar, profesor de efectos mediáticos y codirector del Media Effects Research Laboratory.
“Existen clickbaits en forma de listas, o listicles; hay clickbaits formulados como preguntas; hay otros que empiezan con quién-qué-dónde-cuándo; y todo tipo de otras variantes de clickbait que hemos identificado en nuestra investigación a lo largo de los años”, afirma Sundar. “Por eso, encontrar muestras suficientes de todos estos tipos de clickbait es un reto. Aunque todos nos quejamos de la cantidad de clickbaits que hay, cuando nos ponemos a obtenerlos y etiquetarlos, no hay muchos conjuntos de datos de ese tipo.”
Según los investigadores, el estudio revela diferencias en la forma en que las personas y las máquinas abordaron la creación de titulares. En comparación con el clickbait generado por máquinas, los titulares elaborados por personas tendían a tener más determinantes (palabras como “ese” y “cada”) en sus titulares.
El entrenamiento también pareció provocar diferencias en la creación de clickbait. Por ejemplo, los redactores capacitados, como los periodistas, tendían a usar palabras más largas y más pronombres que otros participantes. Los periodistas también solían empezar sus titulares con números.
Según Sundar, los investigadores planean usar estos hallazgos para orientar sus investigaciones hacia un sistema de detección de noticias falsas más robusto, entre otras aplicaciones.
“Para nosotros, el clickbait es solo uno de los muchos elementos que componen las noticias falsas, pero esta investigación es un paso preparatorio útil para asegurarnos de tener bien configurado un buen sistema de detección de clickbait”, afirma Sundar.
Para encontrar redactores humanos de clickbait para el estudio, los investigadores reclutaron a estudiantes de periodismo y trabajadores de Amazon Turk, un sitio de crowdsourcing en línea. Reclutaron 125 estudiantes y 85 trabajadores de la plataforma. Los participantes primero leyeron una definición de clickbait y luego los investigadores les pidieron que leyeran un artículo breve, de unas 500 palabras. Después, pidieron a los participantes que escribieran un titular de clickbait para cada artículo.
Un modelo de aprendizaje automático llamado Autocodificadores Variacionales (o VAE, por sus siglas en inglés), un modelo generativo que se basa en probabilidades para encontrar patrones en los datos, creó los titulares de clickbait generados por máquinas.
Los investigadores probaron su algoritmo frente a los sistemas de mejor rendimiento del Clickbait Challenge 2017, una competencia en línea de detección de clickbait.
Investigadores adicionales de Penn State y la Universidad Estatal de Arizona contribuyeron al trabajo. La National Science Foundation, Oak Ridge Associated Universities y la Oficina de Investigación Naval respaldaron este trabajo.
