Los activistas y periodistas son cada vez más reprimidos y silenciados en las plataformas de redes sociales.
El contenido de usuarios de poblaciones marginadas es objeto de eliminación injusta y desproporcionada debido al sesgo de los algoritmos y de la IA.
Tres principios aplicados en la fase de diseño tecnológico pueden reducir los daños, poner fin a la represión digital y exigir responsabilidades a determinados actores y plataformas por la censura de injusticias documentadas y de violaciones de los derechos humanos.
La mayoría de nosotros no tenemos una visibilidad completa de las posibles injusticias, conflictos, opresión o violencia que se producen en cualquier país. Dependemos de los activistas y periodistas ciudadanos para que sean nuestros ojos y oídos.
Sin embargo, en el último año hemos sido testigos de un nivel de censura sin precedentes contra personas, comunidades indígenas y poblaciones vulnerables en las redes sociales y otras plataformas. Los activistas y periodistas en estas plataformas son cada vez más reprimidos y silenciados hasta casi volverse invisibles.
Al mismo tiempo, los autores de injusticias actúan con impunidad, recompensados con clics y me gusta.
A ello se suma la realidad de que las plataformas de comunicación digital funcionan con algoritmos programados para maximizar la interacción, que tienden a promover contenidos inflamatorios que llaman la atención. Las plataformas también utilizan la inteligencia artificial para eliminar cualquier contenido que infrinja los términos y condiciones de las normas comunitarias (como el discurso de odio) y para bloquear cuentas inapropiadas. No obstante, estos procesos pueden afectar de manera desproporcionada a las comunidades marginadas, cuyas cuentas y contenidos, especialmente el discurso político, la documentación de conflictos y la disidencia, son objeto de eliminación injusta. Además, desde el inicio de la pandemia hemos visto una proliferación de bots sociales que dan me gusta, comparten y comentan publicaciones, lo que puede generar odio en línea y amplificar el discurso de odio y la desinformación existentes, al facilitar su difusión y envalentonar a personas con puntos de vista extremistas.
Para comprender la magnitud de este problema, debemos saber qué tan eficaces son las plataformas para eliminar contenidos perjudiciales, así como para eliminar contenidos considerados perjudiciales, pero que en realidad no lo son. Facebook e Instagram ofrecen algo de información sobre los contenidos eliminados que posteriormente restablecieron, pero seguimos teniendo muy poca visibilidad sobre qué porcentaje de contenido se eliminó por error. Además, en la actualidad no existe un lenguaje común sobre lo que constituye “terrorismo” u “odio organizado”, las categorías que utilizan los sistemas automatizados de detección para validar la eliminación de contenidos.
Según el informe de transparencia de Google de enero a junio de 2021, se eliminaron 9.569.641 vídeos por infringir las Normas Comunitarias de YouTube. De los vídeos marcados, el 95 % se eliminó mediante detección automatizada, de los cuales el 27,8 % se eliminó antes de obtener ninguna visualización. El Informe de Aplicación de las Normas Comunitarias de Facebook de enero a marzo de 2021 muestra que Facebook eliminó 9 millones de piezas de contenido consideradas contenido sancionado por Organizaciones Peligrosas: Terrorismo y Odio Organizado y 25,2 millones de piezas de contenido consideradas discurso de odio. Instagram eliminó 429.000 piezas de contenido terrorista y 6,3 millones de piezas de contenido de discurso de odio.
La paradoja de estas cifras es que también incluye contenidos compartidos por activistas y periodistas eliminados con el falso pretexto de terrorismo o discurso de odio.
Hemos visto cómo estos problemas pueden causar daños físicos, emocionales y políticos tangibles a personas, como en el caso del discurso de odio y la desinformación antimusulmanes en Facebook y WhatsApp, que contribuyeron al genocidio en Myanmar. La ambigüedad de las normas comunitarias de las plataformas y la falta de definiciones compartidas abren la puerta al sesgo de los sistemas automatizados de detección, a la represión digital por parte de las autoridades gubernamentales y a la censura de activistas en lugar de los verdaderos responsables.
Comunidades marginadas: objetivos de la eliminación de contenidos
Sin duda, las plataformas de comunicación digital amplifican las causas de justicia social, en particular la injusticia racial. Entre los hashtags más utilizados en Instagram relacionados con la injusticia racial, #blacklivesmatter y #endpolicebrutality han contribuido a informar y a impulsar llamamientos a la acción contra la violencia respaldada por el Estado y el racismo antinegro. Aunque las grandes empresas de redes sociales han expresado su solidaridad con los movimientos antirracistas, sus algoritmos tienen un historial de eliminar de forma desproporcionada contenidos que visibilizan estas cuestiones. Ya sea porque la inteligencia artificial marca erróneamente contenidos o porque los moderadores no pueden gestionar el enorme volumen de lenguaje inflamatorio, la prohibición de dichos contenidos silencia voces históricamente marginadas.
Tras el asesinato de George Floyd en mayo de 2020, muchos activistas negros denunciaron haber sido censurados en las redes sociales por exponer políticas racistas y poner de relieve injusticias históricas. Según un estudio de la Universidad de Washington, la Universidad Carnegie Mellon y el Allen Institute for Artificial Intelligence, los tuits escritos en inglés afroamericano tenían el doble de probabilidades de ser marcados como «discurso de odio». Más recientemente, durante el estallido de violencia entre Israel y Palestina en mayo de 2021, Twitter y Facebook bloquearon o restringieron indebidamente millones de publicaciones propalestinas asociadas erróneamente con el terrorismo.
Aunque se han realizado mejoras en los algoritmos, las plataformas todavía tienen dificultades para distinguir entre el terror en línea y quienes comunican experiencias francas y reales de discriminación, y los algoritmos a menudo reflejan las desigualdades que sustentan el sesgo en la sociedad.
Estudio de caso: activismo palestino
Durante los bombardeos aéreos sobre Gaza de mayo de 2021, los palestinos y sus partidarios de todo el mundo recurrieron a las redes sociales para difundir rápidamente información clave, compartir experiencias y recaudar ayuda de forma colectiva. Sin embargo, muchas cuentas fueron suspendidas, las publicaciones fueron marcadas como inapropiadas, se bloquearon transmisiones en directo y los contenidos llegaron a menos personas de lo habitual. En las dos primeras semanas del conflicto, más de 500 casos de eliminación de contenidos se notificaron a 7amleh, una organización sin ánimo de lucro centrada en las redes sociales. Las plataformas atribuyeron los hechos a fallos técnicos, pero los defensores han examinado las formas en que se atacaron para su eliminación publicaciones y hashtags sobre la mezquita de Al-Aqsa, el barrio de Sheikh Jarrah en Jerusalén y otros temas no violentos, lo que hizo invisibles las experiencias de muchos árabes en el ecosistema más amplio de las redes sociales. Por otra parte, para agravar aún más la frustración de muchos palestinos, anuncios israelíes que sugerían violencia permanecieron en YouTube durante días antes de ser marcados para su eliminación.
Aunque las empresas han creado grupos de trabajo y destinado recursos a abordar estas cuestiones, la situación de mayo reflejó una pauta más amplia.
Estudio de caso: activismo colombiano
En general, existe este problema en los momentos de chispazos sociales y protestas en los países latinoamericanos, en los que observamos una mayor censura en línea de contenidos cruciales que documentan la violencia, sensibilizan sobre las violaciones de derechos humanos y aportan pruebas de la represión y los abusos que se producen en las calles.
Veridiana Alimonti, analista principal de políticas para Latinoamérica, Electronic Frontier Foundation
Desde el 28 de abril de 2021, miles de personas que se manifiestan contra el aumento de la desigualdad, la pobreza y la violencia estatal en Colombia se han topado con represión policial. Los esfuerzos por sofocar la disidencia en el mundo físico se han trasladado al mundo en línea, donde los contenidos sobre las protestas han sufrido interrupciones de internet y eliminaciones.
Las autoridades colombianas pusieron en marcha una campaña denominada #Colombiaesmiverdad («Colombia es mi verdad») para presentar a las voces antigubernamentales como terroristas y vándalos, no solo en el mundo físico, sino también en línea. Esto provocó, en efecto, que el algoritmo de Instagram marcara y eliminara contenidos considerados «terrorismo» o «discurso de odio», independientemente de si representaban con honestidad injusticias, delitos y violencia.
Durante ese mismo periodo, Instagram Commons reconoció los problemas de eliminación, pero muchos activistas y organizaciones denunciaron que sus contenidos seguían siendo eliminados. Según Carolina Botero Cabrera, directora ejecutiva de la Fundación Karisma, organización colombiana de derechos digitales de la sociedad civil, «Tenemos más de 1.000 denuncias de censura, alrededor del 90 % de ellas fueron de Instagram, y los contenidos eran abrumadoramente sobre las protestas».
Los sistemas automatizados de moderación de contenidos suponen una amenaza significativa para la libertad de expresión, con un impacto desproporcionado en las comunidades marginadas y vulnerables, los activistas y los periodistas. Incluso sin transparencia sobre las tasas de error, es evidente que los sistemas automatizados no comprenden el contexto y pueden ser fácilmente manipulados por las autoridades y por bots de desinformación. Si no se resuelve, este problema seguirá teniendo consecuencias profundas sobre el terreno, en particular en momentos de crisis y de disturbios civiles.
3 principios éticos de diseño tecnológico
Tres principios de diseño tecnológico pueden aplicarse para:
Reducir los daños en línea y los daños físicos derivados
Poner fin a la represión digital de activistas y periodistas
Exigir responsabilidades a determinados actores y plataformas de comunicación digital por la censura de injusticias documentadas y de violaciones de los derechos humanos
Principio 1: responsabilidad del proveedor de servicios
La carga de la seguridad nunca debe recaer únicamente en el usuario final. Los proveedores de servicios pueden adoptar medidas preventivas para que sus servicios tengan menos probabilidades de facilitar o fomentar comportamientos ilegales e inapropiados.
Principio 2: empoderamiento y autonomía del usuario
Garantizar la dignidad de los usuarios es de importancia central, con el interés superior de los usuarios como consideración primordial, mediante funciones, funcionalidades y un enfoque de diseño inclusivo que asegure el empoderamiento y la autonomía de los usuarios como parte de la experiencia en el servicio.
Principio 3: transparencia y rendición de cuentas
La transparencia y la rendición de cuentas son rasgos distintivos de un enfoque sólido de la seguridad. No solo ofrecen garantías de que los servicios funcionan de acuerdo con sus objetivos de seguridad publicados, sino que también ayudan a informar y empoderar a los usuarios sobre las medidas que pueden adoptar para abordar las preocupaciones de seguridad.
Basados en los principios de Seguridad desde el Diseño (SbD) de la Comisionada de eSafety de Australia (eSafety), estos principios se elaboraron mediante una amplia consulta con más de 60 grupos de partes interesadas clave, en reconocimiento de la importancia de considerar de forma proactiva la seguridad de los usuarios durante el proceso de desarrollo, en lugar de añadir posteriormente consideraciones de seguridad después de que los usuarios hayan sufrido daños en línea.
Aunque por desgracia las injusticias digitales existen en todas las sociedades, las organizaciones con un interés particular en desarrollar, desplegar y utilizar tecnología ética tienen la responsabilidad de dificultar que las personas perpetúen daños y abusos facilitados por la tecnología.
No basta con eliminar simplemente los contenidos perjudiciales. Las tasas de éxito en la eliminación de contenidos significan muy poco si los activistas son censurados por completo en línea y marginados fuera de línea, y si las víctimas o supervivientes siguen teniendo que lidiar con el trauma social, reputacional y psicológico causado por el agresor digital. Necesitamos transparencia sobre la tasa de error en las eliminaciones de contenidos por equivocación. Necesitamos que cese la represión digital contra las poblaciones vulnerables, los activistas y los periodistas. Y necesitamos que los responsables de injusticias digitales rindan cuentas.
A continuación se presenta una lista no exhaustiva de líderes, organizaciones y campañas que abogan por la justicia digital y ayudan a víctimas, supervivientes y activistas:
Principios de Santa Clara sobre transparencia y rendición de cuentas en la moderación de contenidos
Directrices de la UNICEF para la industria sobre protección de la infancia en línea
El Consejo Global del Foro Económico Mundial sobre Políticas de Datos lidera una iniciativa multisectorial que tiene por objeto explorar estas cuestiones, Caminos hacia la justicia digital, en colaboración con el Consejo Global sobre Medios, Entretenimiento y Deporte y el Consejo Global sobre IA para la Humanidad. Para obtener más información, póngase en contacto con Evîn Cheikosman en evin.cheikosman@weforum.org.
