El odio en línea puede ser difícil de identificar, dadas sus formas nuevas y sofisticadas.
Las empresas tecnológicas deberían ir más allá de la detección y la moderación de contenidos ofensivos y difamatorios para proteger a las comunidades afectadas.
Se necesita más financiación catalizadora para acelerar las tecnologías en fase inicial que prometen combatir la desinformación, el odio y el extremismo de formas novedosas.
¿Eres uno de los mil millones de usuarios activos de TikTok? ¿O eres más de Twitter? En cualquier caso, es probable que te hayas topado con contenidos de odio en línea.
El discurso de odio comienza fuera de línea y puede intensificarse por las amenazas a la sociedad. COVID-19 es un ejemplo de ello: la pandemia ha alimentado una ola mundial de estigma social y discriminación contra el «otro».
No es de extrañar que el antisemitismo y, de forma más general, el racismo, estén en aumento. Un estudio realizado por la Universidad de Oxford reveló que alrededor del 20 % de los adultos británicos respalda afirmaciones como «los judíos crearon el virus para hundir la economía y obtener beneficios financieros» o «los musulmanes propagan el virus como un ataque a los valores occidentales».
Internet es el lugar donde estas creencias pueden convertirse en corriente principal. Como nuevo epicentro de nuestra vida pública y privada, el mundo digital ha facilitado interacciones sin fronteras y anónimas que hace una generación se consideraban impensables.
Sin embargo, a diferencia del mundo físico, internet también ha servido de medio para la difusión y amplificación exponencial de información falsa y odio. Y las empresas tecnológicas lo saben. En 2018, Facebook admitió que su plataforma se utilizó para avivar tensiones étnicas y religiosas contra los rohinyás en Myanmar.
A medida que los límites entre lo online y lo offline siguen difuminándose, tenemos una enorme responsabilidad: garantizar un espacio digital seguro para todos. La oportunidad reside en destinar financiación catalizadora a tecnologías innovadoras que combatan la desinformación, el odio y el extremismo de formas novedosas.
El efecto mariposa de las redes sociales
Aunque solo el 1 % de los tuits contuviera discurso ofensivo u odioso, equivaldría a 5 millones de mensajes al día. No es difícil imaginar las consecuencias de una viralidad así: el asalto al Capitolio del 6 de enero es un doloroso ejemplo de cómo las redes sociales pueden incitar a la violencia tan rápidamente.
A diferencia del extremismo violento, el discurso de odio suele ser sutil o estar oculto entre terabytes de contenidos que se suben a internet cada día. Pseudónimos como «juice» (para referirse a las personas judías) o símbolos encubiertos (como los que aparecen en esta base de datos) son frecuentes en línea.
También están bien documentados por organizaciones de defensa y por instituciones académicas. El proyecto Decoding Antisemitism, financiado por la Fundación Alfred Landecker, aplica un enfoque interdisciplinar, desde la lingüística hasta el aprendizaje automático, para identificar el odio en línea tanto explícito como implícito, clasificando códigos secretos y estereotipos.
Sin embargo, el cuello de botella no es cómo señalar los contenidos difamatorios, sino cómo analizar las plataformas con precisión y a gran escala. Instagram ofrece a los usuarios la opción de filtrar los comentarios ofensivos. Twitter adquirió Fabula AI para mejorar la salud de las conversaciones en línea. Y TikTok y Facebook han llegado incluso a crear consejos asesores de seguridad u consejos de supervisión que pueden decidir qué contenidos deben eliminarse.
Sin embargo, solo con estos esfuerzos, las empresas tecnológicas no han logrado detectar ni moderar contenidos falsos, ofensivos u odiosos que dependen en gran medida del contexto, la cultura y el idioma.
Los oscuros agujeros de la desinformación
El odio en línea evoluciona constantemente en su forma y apariencia, hasta el punto de que cada vez resulta más difícil descubrirlo. Facebook solo es capaz de detectar dos tercios de los vídeos manipulados (también conocidos como «deepfakes»). Los algoritmos de inteligencia artificial (IA) y de procesamiento del lenguaje natural (PLN) no han sido lo bastante rápidos para frenar a los trols y a los bots que difunden desinformación.
La cuestión es: ¿ha fallado la tecnología o han fallado las personas al utilizarla?
Las 4P para combatir el odio en línea
Para que las empresas tecnológicas no tengan que ponerse constantemente al día, deberían ir más allá de la detección y la moderación de contenidos y adoptar un enfoque integral y proactivo sobre cómo se genera y difunde el odio en línea (véase el gráfico siguiente).
Este enfoque tendría los siguientes cuatro resultados objetivo:
● Promover la diversidad y la lucha contra los sesgos: las tecnologías pueden diseñarse y desarrollarse de forma inclusiva, involucrando a quienes se ven afectados por el odio y la discriminación en línea. Por ejemplo, el Índice de Odio en Línea de la Liga Antidifamación utiliza un enfoque centrado en las personas que implica a las comunidades afectadas en la clasificación del discurso de odio.
● Prevenir la discriminación y la violencia: determinados diseños tecnológicos, como los motores de recomendación, pueden acelerar las vías hacia la radicalización en línea. Otros fomentan el contradiscurso o limitan la viralidad de la desinformación. Necesitamos más de estos últimos.
El método de redirección empleado por la empresa social Moonshot CVE dirige a los internautas que buscan contenidos violentos hacia narrativas alternativas.
● Proteger a los grupos vulnerables: las plataformas tecnológicas se han centrado principalmente en la moderación de contenidos semiautomatizada, mediante una combinación de denuncias de usuarios y señalización por IA. Sin embargo, han surgido nuevos enfoques. Samurai Labs: su máquina de razonamiento puede entablar conversaciones e impedir que deriven en odio en línea y ciberacoso.
● Fomentar la participación cívica: al garantizar que se escuche a todas las voces y que los ciudadanos, especialmente los más jóvenes, estén capacitados para participar en el debate cívico, podemos contribuir a construir sociedades más resilientes que no recaigan en la estigmatización perjudicial de chivos expiatorios. En Estados Unidos, New/Mode facilita que los ciudadanos impulsen cambios en las políticas mediante herramientas de promoción digital.
Financiar la innovación en fase inicial
El denominador común de las 4P es que, con la ayuda de la tecnología, abordan la raíz del problema.
De hecho, ya no se trata de tecnología por la tecnología. Desde Evan Spiegel, de Snapchat, hasta Christian Klein, de SAP, decenas de consejeros delegados firmaron hace unos meses el llamamiento del presidente Macron «Tech for Good».
Más allá de las promesas, las empresas aprovechan el potencial de la tecnología como fuerza para el bien creando incubadoras con una misión, como la de Google Jigsaw, o destinando fondos a incentivar la investigación fundamental, como el Premio en Ciencias Sociales y Desinformación.
En conversaciones con diversas organizaciones de investigación, como el Instituto de Diálogo Estratégico (ISD), he conocido de primera mano la demanda de herramientas tecnológicas en el ámbito del odio y el extremismo en línea. Ya sea medir el odio en tiempo real en las redes sociales o identificar (con altos niveles de confianza) cuentas trol o deepfakes, hay margen para la innovación.
Pero la realidad es que el ritmo y las diversas formas en que la tecnología se utiliza para incitar y promover el odio en línea son más rápidos y complejos de lo que las empresas pueden prever o vigilar. Si las grandes plataformas no pueden resolver el enigma, necesitamos empresas tecnológicas más pequeñas que sí puedan. Y por eso la financiación catalizadora para la innovación arriesgada es clave.
Hazte a un lado, gran tecnología
Con el aumento del odio debido a la COVID-19 y la mayor demanda de nuevas soluciones, es lógico que los financiadores e inversores se interesen por escalar herramientas tecnológicas en fase inicial, tanto con ánimo de lucro como sin él. Actores consolidados del capital riesgo como Seedcamp (inversor en Factmata) y empresas como la división de Google Jigsaw empiezan a salvar la brecha entre oferta y demanda para combatir la desinformación, el odio y el extremismo en línea.
Pero necesitamos más. Por eso te invito a unirte a mí.
