El acoso, el odio y la incitación en línea están en aumento, y se necesitan nuevos enfoques para combatirlos. Mientras el Senado australiano celebra audiencias para su investigación sobre el ciberacoso, debería considerar un enfoque de dos vertientes para combatir el problema.
En primer lugar, el gobierno debería seguir el ejemplo de Alemania e imponer sanciones económicas a las principales empresas de redes sociales si no reducen el volumen de contenido abusivo en sus plataformas.
En segundo lugar, debemos desarrollar métodos para identificar y medir correctamente la cantidad de contenido abusivo que se publica y se elimina, a fin de garantizar que las empresas cumplan las normas.
Dado el volumen de datos en las redes sociales, la inteligencia artificial (IA) debe formar parte de las medidas de apoyo a la regulación, pero debemos ser conscientes de sus limitaciones.
El impacto en las víctimas
En 2015, el abogado australiano Josh Bornstein fue víctima de graves abusos en línea a manos de un hombre en Estados Unidos, que se hizo pasar por Bornstein y publicó en línea un artículo racista en su nombre. Bornstein se encontró después con una avalancha de odio procedente de todo el mundo.
El incidente fue muy angustiante para Bornstein, pero el odio cibernético también puede tener consecuencias para la sociedad en general. Amparado en el anonimato, el mismo hombre utilizó otra identidad falsa para hacerse pasar por partidario del Estado Islámico y pedir que se cometieran atentados terroristas en Australia y otros países occidentales. En diciembre, fue condenado en Estados Unidos por cargos de terrorismo.
Bornstein ahora pide tanto que los gobiernos regulen las empresas de redes sociales como que se establezcan recursos legales para que las víctimas puedan actuar.
Alemania como modelo regulatorio
Una nueva legislación introducida recientemente en Alemania exige a las empresas eliminar los casos manifiestos de discurso de odio en un plazo de 24 horas.
En respuesta, Facebook ha contratado a 1.200 empleados y trabajadores externos para tramitar con mayor eficacia las denuncias de abusos presentadas por usuarios alemanes. Si la empresa no elimina la mayoría de esos contenidos dentro del plazo de 24 horas, los reguladores pueden imponer multas de hasta 50 millones de euros (79 millones de dólares australianos).
Estas leyes no son perfectas: a pocos meses de su entrada en vigor, Alemania ya está considerando cambios para evitar que un exceso de cautela por parte de las empresas de redes sociales tenga un efecto inhibidor sobre la libertad de expresión. Pero el enfoque alemán nos permite vislumbrar cómo sería una respuesta firme del Estado al ciberacoso.
Esto es apenas el comienzo de un nuevo y audaz mundo de regulación tecnológica. Las leyes contra el ciberacoso no pueden hacerse cumplir si desconocemos cuánto abuso se publica en línea y cuánto eliminan las plataformas. Necesitamos herramientas que lo hagan posible.
El uso de la inteligencia artificial
En el Online Hate Prevention Institute (OHPI), llevamos seis años abordando casos concretos —incluido el de Bornstein— y trabajando en el problema de la medición mediante enfoques de colaboración colectiva e inteligencia artificial de primer nivel.
Otros también consideran la identificación y la medición como el siguiente paso. El Sistema de Monitoreo Cibernético del Antisemitismo (ACMS) —una nueva herramienta para vigilar el antisemitismo en las redes sociales— está siendo desarrollado por el Ministerio de Asuntos de la Diáspora de Israel desde octubre de 2016. Se presentará en el Foro Global de 2018 para Combatir el Antisemitismo en Jerusalén a finales de este mes.
La herramienta analiza textos —una forma de inteligencia artificial— y busca en sitios de redes sociales palabras, frases y símbolos identificados como posibles indicadores de contenido antisemita. Luego revisa el contenido y genera gráficos interactivos.
El Congreso Judío Mundial y el proyecto Conversation AI de Google han utilizado enfoques similares, pero su eficacia es limitada, sobre todo cuando se aplican a grandes sitios de redes sociales.
Los datos de una prueba de un mes del ACMS se publicaron antes del lanzamiento del sistema. Aunque el programa se presenta como un gran avance en la lucha contra el odio cibernético, los propios datos ponen de relieve graves limitaciones metodológicas y tecnológicas que lo convierten más bien en una distracción.
Limitaciones de la tecnología
Una limitación del ACMS es su capacidad para detectar abusos que recurren al lenguaje codificado, los símbolos y los eufemismos cada vez más utilizados por la extrema derecha.
Otra limitación es que el ACMS solo supervisa contenido de Facebook y Twitter. No incluye YouTube, donde se produjo el 41 % del antisemitismo en línea identificado en un informe anterior. Además, el sistema automatizado solo supervisa contenido en inglés, árabe, francés y alemán.
Más preocupante aún es la afirmación del Ministerio de que las ciudades donde se genera el mayor volumen de contenido racista son Santiago (Chile), Dnipró (Ucrania) y Bucarest (Rumanía). Los idiomas principales de estas ciudades no están entre los que el programa está diseñado para procesar y, sin embargo, de algún modo han obtenido puntuaciones superiores a las de ciudades cuyos idiomas principales sí procesa el programa.
De particular interés para Australia es un gráfico titulado Lugares de interés: nivel de antisemitismo por ubicación que muestra a Brisbane como la ciudad anglófona con la clasificación más alta. Una aclaración posterior explicó que la cifra parece combinar los «me gusta», las veces que se compartió y los retuits en todo el mundo que interactuaron con contenido publicado originalmente desde Brisbane. Por tanto, los datos están sujetos a un alto grado de aleatoriedad, según qué contenido se vuelva viral.
Abogados y científicos de datos deben trabajar juntos
Las herramientas de detección basadas en IA tienen su utilidad, pero es necesario comprender sus limitaciones. El análisis de textos puede identificar subcategorías específicas del odio en línea, como las esvásticas; el lenguaje relacionado con Hitler, los nazis, las cámaras de gas y los hornos; y los temas antisemitas destacados entre algunos grupos de extrema derecha. Pero no son una solución infalible.
Para ir más allá de la identificación, necesitamos que tanto abogados como científicos de datos orienten nuestro enfoque sobre la regulación de los espacios en línea. Las nuevas herramientas de inteligencia artificial deben contrastarse con otros enfoques, como los datos de colaboración colectiva aportados por el público. Además, expertos deben revisar la precisión de los datos. Debemos aprovechar las nuevas tecnologías para respaldar los marcos regulatorios y, al mismo tiempo, evitar una forma fallida de censura automatizada, similar a los problemas de deuda automatizada que afectaron a Centrelink.
La investigación sobre el ciberacoso es un paso importante, siempre que facilite las soluciones del mañana y no solo atienda los problemas de hoy.
