La gravedad y el volumen de los contenidos nocivos aumentan a un ritmo alarmante.
Abordar estos problemas requiere un enfoque multifacético en toda la industria.
Señalamos tres formas clave de contribuir a combatir colaborativamente los daños en el mundo real.
Contenidos generados por los usuarios ha democratizado la creación y distribución de contenidos, especialmente con el auge relativamente reciente de las aplicaciones de vídeo de formato corto y largo. Desde vídeos de cocina y bailes divertidos hasta vlogs de viajes, el volumen y la diversidad de contenidos disponibles han crecido significativamente.
Ahora, con herramientas de inteligencia artificial (IA) generativa disponibles para generar o modificar imágenes, vídeos, audio y texto, este fenómeno se ha visto impulsado enormemente. Si bien estos avances han sido beneficiosos en varios aspectos, también han aumentado la necesidad de centrarse en combatir los contenidos nocivos y en mejores formas de abordar eficazmente los daños actuales y emergentes.
Dado que varios daños han aumentado en gravedad y volumen, entre ellos sextorsión, ciberacoso, y maltrato animal, esto es de gran importancia. Abordarlo requiere un enfoque multifacético:
1. Políticas de contenido y aplicación eficaz
Las plataformas han trabajado para abordar una serie de daños, estableciendo políticas necesarias para el uso aceptable, o “normas comunitarias”, que luego se aplican mediante una combinación de moderación con IA y moderación humana. Esto ha demostrado ser eficaz; un nuevo estudio empírico estudio que busca evaluar el posible impacto de la Ley de Servicios Digitales concluyó que la moderación es prometedora para reducir los daños; la medida en que esto ocurre depende del tiempo que se tarda en eliminar el contenido, de los métodos utilizados para denunciarlo (p. ej., alertadores de confianza) y de la rapidez con la que el contenido se propaga en la plataforma.
Por ello, muchas plataformas han trabajado para mejorar su aplicación proactiva de las políticas, mediante el uso de modelos de aprendizaje automático y clasificadores de IA, con el objetivo de identificar y luego reducir la visibilidad de los contenidos nocivos antes incluso de que se denuncien. Si bien el uso de los grandes modelos de lenguaje (LLM) presenta nuevas oportunidades para aprovechar la automatización, está claro que los moderadores capacitados siguen superando a los LLM en muchos ámbitos; por ejemplo, en áreas que requieren más contexto lingüístico o cultural, como el odio y el acoso; todavía existe más de una brecha de un 20 % en el rendimiento en esta categoría, según un conjunto de datos.
Si bien este enfoque sigue evolucionando, debe centrarse no solo en los contenidos, sino también en los creadores automatizados de contenido. Sameer Hinduja, profesor de criminología, señala que “los ataques de odio se han facilitado previamente a través de miles de cuentas de bots, y es razonable suponer que esta IA generativa puede acelerar, ampliar y hacer más eficaces estos ataques dirigidos en canales, hilos de comentarios, foros y otros entornos.”
Muchas plataformas también han actualizado o añadido detalles a las políticas existentes para abarcar nuevos daños o vectores de amenaza. Por ejemplo, en lo que respecta a los contenidos generados por IA, varias plataformas, entre ellas Google, TikTok, y Twitch han ampliado sus políticas en este ámbito, y es probable que otras sigan su ejemplo en un futuro próximo.
Gran parte de la experiencia de los usuarios en materia de seguridad puede atribuirse a la forma en que se definen y ponen en práctica estas políticas. Por ejemplo, si las políticas están disponibles en todos los idiomas de los mercados en los que la plataforma está activa, si se aplican de forma coherente a todos los usuarios, el tiempo que tarda en tramitarse la denuncia de los usuarios, si existen mecanismos rápidos y eficaces de reparación para las personas que no están de acuerdo con las decisiones de moderación de contenidos, y otras consideraciones similares. Las plataformas deben ser ágiles y modificar o ampliar sus políticas con frecuencia, dada la velocidad de los cambios que hemos observado en el sector en un período de tiempo tan corto.
2. Señales y facilitadores más allá del contenido
Más allá del análisis del propio contenido, es importante contrastarlo con otras señales para abordar los daños en un nivel más profundo.
Una de estas señales son los flujos monetarios. Los creadores de contenidos nocivos suelen tener motivaciones financieras para hacerlo, y quienes consumen este contenido tienen tanto los medios como los mecanismos para pagarlo. Esto puede adoptar la forma de un pago directo o de un intento de monetizar el contenido en plataformas basadas en la publicidad.
En cuanto a los mecanismos de pago, si bien el uso de tarjetas de crédito para comprar contenidos ilegales se ha visto obstaculizado gracias a los esfuerzos de las entidades financieras, los malos actores han encontrado otros mecanismos de pago, entre ellos las criptomonedas. Quienes exigen contenidos que promueven el daño animal mediante mecanismos de pago móvil que permiten pagos instantáneos con un teléfono o correo electrónico para pagar a los creadores o distribuidores. El seguimiento y la interrupción de estos incentivos monetarios mediante la mejora de las normas de seguridad de marca y la revisión de las transacciones financieras pueden ayudar.
¿Qué hace el Foro para mejorar la seguridad en línea?
Aprovechar las señales a nivel de usuario y de comportamiento es otra vía importante. Las plataformas pueden examinar la popularidad de las cuentas, detectar señales de que los grupos están pasando de públicos a privados dentro de la plataforma y detectar la creación de cuentas duplicadas para eludir suspensiones o prohibiciones.
Hinduja también señala “la importancia de identificar algorítmicamente señales de alerta en la creación de perfiles, como nombres de usuario generados automáticamente (p. ej., cadenas alfanuméricas aleatorias), fotos de perfil o información biográfica sustraída de otras cuentas auténticas, errores sintácticos en el “habla conversacional”, señales de comportamiento anómalas o erráticas relacionadas con la hora del día de la participación, así como la frecuencia y repetición del contenido de las publicaciones, y un grafo de red social cuestionable (p. ej., vinculado a otras cuentas de bots comprobadas, una proporción sospechosa de seguidores y seguidos y la velocidad a la que se adquirieron).” Los mecanismos de autenticación y verificación de cuentas podrían ayudar a abordar algunas de estas tácticas de evasión.
3. Colaboración multisectorial
Las iniciativas que buscan abordar estos daños a nivel sectorial cobrarán cada vez más importancia, dado que los malos actores se mueven entre plataformas para propagar el daño. “Durante casi una década, decenas de empresas han estado compartiendo PhotoDNA, una tecnología que ayuda a detectar material existente de abuso sexual infantil (CSAM). Esto sentó la norma para la cooperación intersectorial que se ha vuelto esencial”, afirmó Anne Collier, directora ejecutiva de The Net Safety Collaborative y asesora en seguridad de plataformas de redes sociales.
Iniciativas como la Tech Coalition, en el ámbito de la seguridad infantil, o el Foro Mundial de Internet para Contrarrestar el Terrorismo (GIFCT) para combatir los contenidos terroristas y de extremismo violento (TVEC) tienen como objetivo impulsar el intercambio de conocimientos y la colaboración. Además de estas coaliciones centradas en tipos específicos de daños, grupos como la Digital Trust and Safety Partnership trabajan para desarrollar soluciones en todos los ámbitos normativos.
Ya se trate de una tipología de daños que pueda aprovechar el sector, de una base de datos de intercambio de hashes o de tendencias de malos actores en distintos tipos de daños, estos esfuerzos son sumamente importantes para unir al sector y afrontar desafíos comunes con soluciones comunes.
La participación de Teleperformance en la Coalición Mundial para la Seguridad Digital del Foro Económico Mundial, su pertenencia a la Trust & Safety Professional Association, y el lanzamiento de su Consejo Asesor de Confianza y Seguridad demuestran que comprende la necesidad de mirar más allá de las fronteras y los ámbitos normativos, así como del sector, al combatir los daños en línea. En general, las empresas tendrán que ir más allá de una mirada centrada en el contenido para analizar las tendencias sociales, los cambios en el comportamiento de los usuarios y los avances tecnológicos, con el fin de afrontar la velocidad y la escala de las nuevas amenazas a un nivel más sistémico.
