Un nuevo estudio de investigadores del MIT sugiere que los juicios colectivos de precisión emitidos por grupos de lectores comunes pueden ser tan eficaces como el trabajo de los verificadores profesionales de datos para combatir la desinformación.
Esto podría ser una adición prometedora al «kit de herramientas contra la desinformación».
Los lectores pueden evaluar contenidos a través de diversos programas, por ejemplo, la plataforma «Community Review» de Facebook.
Sin embargo, se han planteado dudas sobre cómo ofrecer a las personas un incentivo suficiente para participar.
Ante la grave preocupación por la desinformación, las redes sociales y las organizaciones de noticias suelen recurrir a verificadores de datos para distinguir lo real de lo falso. Pero estos solo pueden evaluar una pequeña parte de las historias que circulan en línea.
Un nuevo estudio de investigadores del MIT sugiere un enfoque alternativo: los juicios colectivos de precisión de grupos de lectores comunes pueden ser prácticamente tan eficaces como el trabajo de los verificadores profesionales de datos.
«Uno de los problemas de la verificación de datos es que hay muchísimo contenido que los verificadores profesionales no pueden cubrir, sobre todo en un plazo razonable», afirma Jennifer Allen, estudiante de doctorado de la Escuela de Gestión MIT Sloan y coautora de un artículo recientemente publicado en el que se detalla el estudio.
Pero el estudio actual, que examinó más de 200 noticias que los algoritmos de Facebook habían marcado para un análisis más detallado, puede haber encontrado una forma de abordar ese problema, al utilizar grupos relativamente pequeños y políticamente equilibrados de lectores legos para evaluar los titulares y las frases iniciales de las noticias.
«Lo consideramos alentador», afirma Allen. «La valoración media de un grupo de entre 10 y 15 personas se correlacionó tan bien con los juicios de los verificadores como estos entre sí. Esto ayuda con el problema de la escalabilidad, porque estos evaluadores eran personas corrientes sin formación en verificación de datos, y solo leyeron los titulares y las frases iniciales sin dedicar tiempo a investigar.»
Eso significa que el método de colaboración colectiva podría desplegarse ampliamente y a bajo coste. El estudio calcula que el coste de que los lectores evalúen las noticias de esta manera es de unos 0,90 dólares por noticia.
«No existe una única solución para el problema de las noticias falsas en línea», afirma David Rand, profesor de MIT Sloan y coautor principal del estudio. «Pero estamos trabajando para incorporar enfoques prometedores al kit de herramientas contra la desinformación.»
El artículo, titulado «Scaling up Fact-Checking Using the Wisdom of Crowds» (Ampliar la verificación de datos con la sabiduría de la multitud), se publica hoy en Science Advances. Los coautores son Allen; Antonio A. Arechar, científico investigador del MIT Human Cooperation Lab; Gordon Pennycook, profesor adjunto de ciencias del comportamiento en la Escuela de Negocios Hill/Levene de la Universidad de Regina; y Rand, quien es catedrático Erwin H. Schell y profesor de ciencias de la gestión y de ciencias cerebrales y cognitivas en el MIT, y director del Applied Cooperation Lab del MIT.
Una masa crítica de lectores
Para llevar a cabo el estudio, los investigadores utilizaron 207 artículos periodísticos que un algoritmo interno de Facebook identificó como necesitados de verificación, ya fuera porque había motivos para creer que eran problemáticos o simplemente porque se compartían ampliamente o trataban temas importantes como la salud. El experimento contó con 1.128 residentes de Estados Unidos a través de la plataforma Mechanical Turk de Amazon.
A esos participantes se les proporcionó el titular y la frase inicial de 20 noticias y se les formularon siete preguntas —en qué medida la noticia era «precisa», «verdadera», «fiable», «digna de confianza», «objetiva», «imparcial» y «describe un hecho que realmente ocurrió»— para generar una puntuación general de precisión de cada noticia.
Al mismo tiempo, tres verificadores profesionales de datos recibieron las 207 noticias y se les pidió que las evaluaran tras investigarlas. En línea con otros estudios sobre verificación de datos, aunque las valoraciones de los verificadores estaban muy correlacionadas entre sí, su acuerdo estuvo lejos de ser perfecto. En alrededor del 49 por ciento de los casos, los tres verificadores coincidieron en el veredicto adecuado sobre la veracidad de una noticia; en torno al 42 por ciento de las veces, dos de los tres coincidieron; y en alrededor del 9 por ciento de las ocasiones, los tres tuvieron valoraciones diferentes.
Curiosamente, cuando los lectores comunes reclutados para el estudio se agruparon con el mismo número de demócratas y republicanos, sus valoraciones medias estuvieron muy correlacionadas con las de los verificadores profesionales, y con al menos un número de dos cifras de lectores implicados, las valoraciones del grupo se correlacionaron tan fuertemente con las de los verificadores como estos entre sí.
«Estos lectores no tenían formación en verificación de datos, y solo leían los titulares y las frases iniciales, y aun así consiguieron igualar el rendimiento de los verificadores», afirma Allen.
Aunque pueda parecer sorprendente al principio que un grupo de entre 12 y 20 lectores pudiera igualar el rendimiento de los verificadores profesionales, este es otro ejemplo de un fenómeno clásico: la sabiduría de las multitudes. En una amplia gama de aplicaciones, se ha comprobado que grupos de legos igualan o superan los juicios de expertos. El estudio actual demuestra que esto puede ocurrir incluso en el contexto altamente polarizador de la identificación de desinformación.
Los participantes del experimento también realizaron una prueba de conocimientos políticos y una prueba de su tendencia a pensar de forma analítica. En general, las valoraciones de las personas que estaban mejor informadas sobre asuntos cívicos y que pensaban de forma más analítica se ajustaban más a las de los verificadores.
«Las personas que razonaron más y tenían más conocimientos coincidieron más con los verificadores», afirma Rand. «Y eso fue cierto independientemente de si eran demócratas o republicanos.»
Mecanismos de participación
Los académicos afirman que el hallazgo podría aplicarse de muchas formas, y señalan que algunos gigantes de las redes sociales intentan activamente que la colaboración colectiva funcione. Facebook tiene un programa, llamado Community Review, en el que se contrata a legos para evaluar contenidos de noticias; Twitter tiene su propio proyecto, Birdwatch, que solicita la opinión de los lectores sobre la veracidad de los tuits. La sabiduría de las multitudes puede utilizarse tanto para ayudar a aplicar etiquetas visibles al público en los contenidos como para orientar los algoritmos de clasificación y determinar qué contenidos se muestran a las personas en primer lugar.
Cabe señalar que los autores advierten de que cualquier organización que recurra a la colaboración colectiva necesita encontrar un buen mecanismo para la participación de los lectores. Si la participación está abierta a todo el mundo, es posible que el proceso de colaboración colectiva pueda verse influido injustamente por partidistas.
«Todavía no hemos probado esto en un entorno en el que cualquiera pueda participar», señala Allen. «Las plataformas no deberían necesariamente esperar que otras estrategias de colaboración colectiva den resultados igualmente positivos.»
Por otro lado, afirma Rand, las organizaciones de noticias y de redes sociales tendrían que encontrar formas de lograr que un grupo de personas suficientemente grande evalúe activamente las noticias para que la colaboración colectiva funcione.
«A la mayoría de la gente no le importa la política lo suficiente como para intentar influir en las cosas», afirma Rand. «Pero el problema es que si permites que la gente valore cualquier contenido que quiera, solo lo harán quienes quieran manipular el sistema. Aun así, para mí, una preocupación mayor que verse desbordado por fanáticos es el problema de que nadie lo haría. Es un problema clásico de bienes públicos: la sociedad en su conjunto se beneficia de que las personas identifiquen la desinformación, pero ¿por qué deberían los usuarios molestarse en invertir tiempo y esfuerzo para valorar los contenidos?»
El estudio contó, en parte, con el apoyo de la William and Flora Hewlett Foundation, la John Templeton Foundation y el proyecto Reset de Luminate Project Limited, del grupo Omidyar. Allen es una antigua empleada de Facebook que todavía tiene un interés financiero en la compañía; otros estudios de Rand reciben, en parte, el apoyo de Google.
