Empresas desde Singapur hasta Finlandia compiten por mejorar la inteligencia artificial para que los programas puedan detectar y bloquear automáticamente vídeos de asesinatos truculentos y actos violentos antes de que se viralicen en las redes sociales.
Hasta ahora, ninguna afirma haber resuelto del todo el problema.
Un tailandés que esta semana retransmitió en directo por Facebook cómo mataba a su hija de 11 meses fue el último de una serie de crímenes violentos emitidos en directo en la red social. Los incidentes han suscitado preguntas sobre cómo funciona el sistema de denuncia de Facebook y cómo se puede señalar más rápido el contenido violento.
Según personas del sector, una docena o más de empresas se enfrentan al problema. Google —que afronta dificultades similares con su servicio YouTube— y Facebook trabajan en sus propias soluciones.
La mayoría se centra en el aprendizaje profundo: un tipo de inteligencia artificial que utiliza redes neuronales informatizadas. David Lissmyr, fundador de Sightengine, empresa de análisis de imágenes y vídeos con sede en París, afirma que este enfoque se remonta a los intentos de la década de 1950 de imitar el funcionamiento y la interacción de las neuronas en el cerebro.
La enseñanza a los ordenadores para que aprendan mediante capas profundas de neuronas artificiales solo ha despegado realmente en los últimos años, afirmó Matt Zeiler, fundador y director ejecutivo de Clarifai, otra empresa de análisis de vídeos con sede en Nueva York.
Solo hace relativamente poco que se dispone de suficiente capacidad informática y datos para enseñar a estos sistemas, lo que permite «avances exponenciales en la precisión y eficacia del aprendizaje automático», afirmó Zeiler.
Alimentar el sistema con imágenes
El sistema de aprendizaje comienza introduciendo imágenes en las capas neuronales del ordenador, que luego «aprenden» a identificar, por ejemplo, una señal de tráfico o una escena violenta en un vídeo.
Los actos violentos pueden incluir acciones de apuñalamiento o sangre, afirma Abhijit Shanbhag, director ejecutivo de Graymatics, con sede en Singapur. Si sus ingenieros no encuentran una escena adecuada, la filman ellos mismos en la oficina.
Zeiler afirma que los algoritmos de Clarifai también pueden reconocer objetos en un vídeo que podrían preceder a la violencia, como un cuchillo o una pistola.
Pero hay límites.
Uno es que el programa solo es tan bueno como los ejemplos con los que se entrena. Cuando alguien decide colgar a un niño de un edificio, no necesariamente es algo para lo que se haya programado el sistema a fin de que esté atento.
«A medida que la gente innova más en este tipo de actividad macabra, hay que entrenar el sistema para detectarla», afirmó Shanbhag, cuya empresa filtra contenido de vídeo e imágenes en nombre de varios clientes de redes sociales en Asia y otras partes del mundo.
Otra limitación es que la violencia puede ser subjetiva. Una escena de ritmo rápido con mucha sangre debería ser bastante fácil de detectar, afirma Junle Wang, responsable de I+D de PicPurify, con sede en Francia. Sin embargo, la empresa sigue trabajando para identificar escenas violentas que no incluyan sangre ni armas. La tortura psicológica también es difícil de detectar, afirma su colega, el director ejecutivo Yann Mareschal.
Además, hay contenido que podría considerarse ofensivo sin ser intrínsecamente violento —por ejemplo, una bandera del ISIS—, afirma Shanbhag, de Graymatics. En ese caso, quizá haya que ajustar el sistema según el cliente.
Aún se necesitan personas
Otra limitación es que, aunque la automatización puede ayudar, las personas aún deben participar para verificar la autenticidad del contenido señalado como ofensivo o peligroso, afirmó Mika Rautiainen, fundador y director ejecutivo de Valossa, una empresa finlandesa que detecta contenido no deseado para empresas de medios, entretenimiento y publicidad.
De hecho, las posibles soluciones incluirían analizar otros indicios además de las propias imágenes. Wang, de PicPurify, afirma que usar algoritmos para vigilar las reacciones de los espectadores —por ejemplo, un aumento brusco de las veces que se vuelve a publicar un vídeo— podría servir como indicador.
Michael Pogrebnyak, director ejecutivo de Kuznech, afirmó que su empresa ruso-estadounidense ha ampliado su arsenal de algoritmos para detectar imágenes pornográficas —que se centran sobre todo en detectar piel y el movimiento de la cámara— e incorporado otros que detectan los logotipos de los estudios y las pantallas con textos de advertencia.
Facebook afirma que utiliza técnicas similares para detectar desnudos, violencia u otros temas que infringen sus políticas. Un portavoz no respondió a las preguntas sobre si el programa se había utilizado en los casos de Tailandia y otros recientes.
Algunas empresas afirmaron que la adopción en el sector avanzaba más despacio de lo que podría, en parte debido al coste adicional. Según ellas, eso cambiará. Las empresas que gestionan contenido generado por los usuarios podrían enfrentarse cada vez más a la presión regulatoria, afirma Rautiainen, de Valossa.
«Incluso sin un endurecimiento de la regulación, la incapacidad de ofrecer una moderación adecuada tendrá cada vez más efectos negativos en la identidad de marca en línea», afirma Rautiainen.
