Lectores: tengan en cuenta que este artículo se ha compartido en sitios web que suelen tergiversar el contenido y difundir información errónea. Les pedimos que tengan presente lo siguiente:
1) El contenido de este artículo refleja la opinión de su autor, no la del Foro Económico Mundial.
2) Lean el artículo por ustedes mismos. El Foro se compromete a publicar una amplia variedad de voces, y tergiversar el contenido solo menoscaba los diálogos abiertos.
Con el 63% de la población mundial conectada, Internet es un reflejo de la sociedad: habla todos los idiomas, contiene todas las opiniones y alberga una amplia variedad de personas (a veces poco recomendables).
A medida que Internet ha evolucionado, también lo ha hecho el oscuro mundo de los daños en línea. Los equipos de confianza y seguridad (los que suelen formar parte de las plataformas en línea y se encargan de eliminar contenido abusivo y hacer cumplir las políticas de la plataforma) se enfrentan a una lista cada vez mayor de abusos, como el maltrato infantil, el extremismo, la desinformación, los discursos de odio y el fraude; además, actores cada vez más sofisticados utilizan las plataformas de formas singulares.
Sin embargo, la solución no es tan sencilla como contratar a otra multitud de moderadores de contenido o crear otra lista de bloqueo. Sin un conocimiento profundo de los distintos tipos de abuso, una comprensión del lenguaje empleado por los grupos de odio, fluidez en los idiomas de los terroristas y una comprensión matizada de las campañas de desinformación, los equipos de confianza y seguridad solo pueden arañar la superficie.
Se necesita un enfoque más sofisticado. Si se combinan de manera singular el poder de la tecnología innovadora, la recopilación de inteligencia fuera de las plataformas y la pericia de especialistas que entienden cómo operan los actores que representan una amenaza, la detección del abuso en línea a gran escala puede alcanzar una precisión casi perfecta.
Los abusos en línea son cada vez más complejos
Desde la llegada de Internet, se han librado guerras, las recesiones han ido y venido y nuevos virus han causado estragos. Aunque Internet desempeñó un papel fundamental en la percepción de estos acontecimientos, también ha hecho posibles otros cambios, como la radicalización de opiniones extremas, la propagación de información errónea y la amplia difusión de material de abuso sexual infantil (CSAM).
Los intentos de las plataformas en línea por detener estos abusos han dado lugar a una situación similar a la de Correcaminos contra el Coyote, en la que los actores que representan una amenaza emplean tácticas cada vez más sofisticadas para esquivar mecanismos de detección en constante evolución. Esto ha propiciado la creación de nuevas expresiones de jerga, como cuando los depredadores infantiles se refieren a la «pizza de queso» y a otros términos con las letras c y p en lugar de «pornografía infantil». También se emplean nuevas metodologías, como acortadores de enlaces para ocultar referencias a sitios web de desinformación; y tácticas de abuso en línea, como la coordinación fuera de las plataformas de ataques contra minorías.
Los métodos tradicionales no bastan
La base de la mayoría de los métodos para detectar contenido dañino es la inteligencia artificial (IA). Esta potente tecnología se apoya en conjuntos de entrenamiento masivos para identificar rápidamente, a gran escala, comportamientos que infringen las normas. Al basarse en conjuntos de datos de abusos en línea conocidos en idiomas familiares, la IA puede detectar abusos conocidos en esos idiomas, pero es menos eficaz para detectar infracciones sutiles en idiomas con los que no se entrenó: una enorme brecha que los actores que representan una amenaza pueden aprovechar.
Aunque ofrece velocidad y escala, la IA también carece de contexto, un componente fundamental del trabajo de confianza y seguridad. Por ejemplo, existen modelos de IA robustos para detectar desnudos, pero pocos pueden discernir si se trata de un desnudo en una pintura renacentista o de una imagen pornográfica. Del mismo modo, la mayoría de los modelos no pueden determinar si el cuchillo que aparece en un video se utiliza para promocionar el equipo de un carnicero o para cometer un ataque violento. Esta falta de contexto puede llevar a una moderación excesiva, que limita la libertad de expresión en las plataformas en línea, o a una moderación insuficiente, que pone en riesgo la seguridad de los usuarios.
A diferencia de la IA, los moderadores humanos y los especialistas pueden detectar abusos sutiles en línea y comprender muchos idiomas y culturas. Sin embargo, esta precisión está limitada por el área de especialización concreta del analista: un moderador humano experto en la supremacía blanca europea no necesariamente podrá reconocer contenido dañino en India o narrativas de desinformación en Kenia. Este enfoque limitado significa que, para ser eficaces, los moderadores humanos deben formar parte de equipos grandes y sólidos, una tarea exigente para la mayoría de las empresas tecnológicas.
Tampoco debe ignorarse el factor humano. Los miles de moderadores encargados de mantener fuera de línea el contenido aborrecible tienen que verlo con sus propios ojos, lo que los expone a un alto riesgo de sufrir enfermedades mentales y trastornos traumáticos. Además de afectar al bienestar de los moderadores, esta situación puede limitar la eficacia de las operaciones, ya que una alta rotación y la inestabilidad de las plantillas reducen la estabilidad organizativa y provocan inevitables errores de moderación.
La solución inteligente de «confianza y seguridad» para detectar el abuso en línea
Aunque la IA aporta velocidad y escala y los moderadores humanos, precisión, sus esfuerzos combinados aún no bastan para detectar proactivamente el daño antes de que llegue a las plataformas. Para actuar de forma proactiva, los equipos de confianza y seguridad deben entender que el contenido abusivo no empieza ni termina en sus plataformas. Antes de llegar a las plataformas convencionales, los actores que representan una amenaza se congregan en los rincones más oscuros de la web para acuñar nuevas palabras clave, compartir URL de recursos y debatir extensamente nuevas tácticas de difusión. Estos lugares secretos, donde terroristas, grupos de odio, depredadores infantiles y agentes de desinformación se comunican libremente, pueden ofrecer una gran cantidad de información a los equipos que buscan proteger a sus usuarios.
El problema es que acceder a esta información no es escalable en absoluto. La recopilación tradicional de inteligencia requiere investigación exhaustiva, conocimientos especializados, acceso y una buena capacidad de asimilación, capacidades humanas que una máquina no puede imitar.
Integrar la inteligencia
Hemos establecido que el proceso habitual —algoritmos de IA para lograr escala y moderadores humanos para aportar precisión— no equilibra adecuadamente la escala, la novedad y los matices. También hemos establecido que la recopilación de inteligencia fuera de las plataformas puede aportar contexto y matices, pero no escala ni velocidad.
Para superar las barreras de las metodologías de detección tradicionales, proponemos un nuevo marco: en lugar de depender de la IA para detectar a gran escala y de personas para revisar los casos límite, es fundamental adoptar un enfoque basado en inteligencia.
Al incorporar a los conjuntos de aprendizaje inteligencia seleccionada por personas, multilingüe y obtenida fuera de las plataformas, la IA podrá detectar abusos en línea sutiles y novedosos a gran escala antes de que lleguen a las plataformas convencionales. Complementar esta detección automatizada más inteligente con la pericia humana para revisar los casos límite e identificar falsos positivos y negativos, y luego incorporar esos hallazgos a los conjuntos de entrenamiento, nos permitirá crear una IA con inteligencia humana integrada. Esta IA más inteligente se vuelve más sofisticada con cada decisión de moderación y, con el tiempo, permite una detección casi perfecta a gran escala.
El resultado
El desfase entre la aparición de nuevas tácticas de abuso y el momento en que la IA puede detectarlas es lo que permite que prolifere el abuso en línea. Incorporar inteligencia al proceso de moderación de contenido permite a los equipos reducir significativamente el tiempo transcurrido entre la aparición de nuevos métodos de abuso en línea y el momento en que la IA puede detectarlos. De este modo, los equipos de confianza y seguridad pueden detener las amenazas que surgen en línea antes de que lleguen a los usuarios.
