Hasta los robots buenos se pelean

De un tiempo a esta parte oímos hablar mucho de robots, inteligencia artificial, coches autónomos, los cambios que traerá la cuarta revolución industrial, en definitiva de como por enésima vez la automatización nos va a dejar sin trabajo a todos. Este es un tema muy interesante... del que no voy a hablar, al menos no hoy. Lo que me interesa es otro problema quizá menos del día a día pero que puede tener consecuencias muy graves: los "robots asesinos" o, por usar un nombre menos sensacionalista, la robotización de la guerra.

Está claro que lo mismo que se puede robotizar un puesto de trabajo en la industria, se puede robotizar un tanque o un avión de caza. No hablo aquí de drones controlados desde tierra, sino de auténticas armas autónomas. Naciones Unidas creó un grupo de trabajo para estudiar una posible prohibición de las armas autónomas a finales del año pasado, pero de hecho sus trabajos se han retrasado... por falta de fondos. Entretanto, el pasado 21 de agosto, el fundador de Tesla, Elon Musk, y otros 116 expertos y tecnólogos enviaron una petición a la ONU para que actúe urgentemente en este tema. A cualquiera se le ocurren bastantes motivos para una petición así; por citar uno, el hecho de que la guerra sea en principio más barata en términos de vidas de soldados puede hacerla mucho más atractiva, con terribles consecuencias para la población civil. Sin embargo, yo quiero llamar la atención sobre un aspecto que me parece bastante menos obvio, y que tiene que ver con mi campo de trabajo: los sistemas complejos.

El aspecto que me preocupa de estas armas autónomas es que, cuando hay muchas de ellas actuando a la vez, sus interacciones pueden conducir a un comportamiento colectivo que ni nos sospechamos. Y aquí es donde entran los robots buenos e inofensivos, a los que por desgracia les pasa lo mismo. Este es el tema de un trabajo publicado este año por un grupo de la Universidad de Oxford, que se supone que es la mejor del mundo: concretamente por M. Tsvetkova (ahora en la LSE), R. García-Gavilanes (ahora en Skyscanner), L. Floridi y T. Yasseri, del Oxford Internet Institute. El objetivo del trabajo son los robots, o bots, como se les suele llamar en el contexto de internet, que utilizan los editores de Wikipedia para mejorarla automáticamente. Así, como recoge la propia Wikipedia, los bots se utilizan para simplificar o automatizar tareas cuya realización manual resultaría muy tediosa. Estos bots, que no pensemos que son físicos sino que son programas de ordenador, se encargan de ir revisando la Wikipedia y por ejemplo, mover artículos de una categoría a otra que vean más apropiada de acuerdo a quién los ha programado, o verificar que siguen existiendo los enlaces de un artículo y en caso de que no eliminarlos. Como muestra el gráfico adjunto, no hay muchos bots en Wikipedia, pero su volumen de trabajo es importante:

El aspecto que me preocupa de estas armas autónomas es que, cuando hay muchas de ellas actuando a la vez, sus interacciones pueden conducir a un comportamiento colectivo que ni sospechamos. Y aquí es donde entran los robots buenos e inofensivos, a los que por desgracia les pasa lo mismo. Este es el tema de un trabajo publicado este año por un grupo de la Universidad de Oxford, que se supone que es la mejor del mundo: concretamente por M. Tsvetkova (ahora en la LSE), R. García-Gavilanes (ahora en Skyscanner), L. Floridi y T. Yasseri, del Oxford Internet Institute. El objetivo del trabajo son los robots, o bots, como se les suele llamar en el contexto de internet, que utilizan los editores de Wikipedia para mejorarla automáticamente. Así, como recoge la propia Wikipedia, los bots se utilizan para simplificar o automatizar tareas cuya realización manual resultaría muy tediosa. Estos bots, que no pensemos que son físicos sino que son programas de ordenador, se encargan de ir revisando la Wikipedia y por ejemplo, mover artículos de una categoría a otra que vean más apropiada de acuerdo a quién los ha programado, o verificar que siguen existiendo los enlaces de un artículo y en caso de que no eliminarlos. Como muestra el gráfico adjunto, no hay muchos bots en Wikipedia, pero su volumen de trabajo es importante:

El gráfico A muestra la proporción de bots entre los que editan artículos de Wikipedia o, mejor dicho, no lo muestra, porque su número es menos del 0.1% del total. Las distintas columnas corresponden a distintos idiomas de Wikipedia. Lo que el gráfico llama "vandals" es lo que normalmente denominamos "trolls" (vemos por ejemplo que en la Wikipedia en español hay un 25% de trolls), y los humanos son humanos normales. De ellos, solo los que tienen cierto nivel, definido en la política de Wikipedia, pueden crear bots. Pese a su escaso número, el gráfico B muestra que los bots trabajan mucho, y son responsables de un número de ediciones de artículos de Wikipedia que va del 10 al 50%. De estas ediciones, los autores de la investigación se fijan en los "reverts": cambios en artículo que consisten en deshacer cambios anteriores sin agregar nada, simplemente dejando el artículo como estaba. Los bots hacen menos reverts que los humanos y a su vez sus cambios son "revertidos" menos veces. En este tipo de edición es en la que se centra la investigación, por ser más fácilmente cuantificable y porque además es lo que suele ocurrir cuando hay "guerras" entre editores: dos o más personas o grupos de personas se dedican a eliminar los cambios de los otros una y otra vez.

Lo que encuentra la investigación es que los robots se enmiendan la plana mutuamente mucho: por ejemplo, en la Wikipedia inglesa, sobre un período de diez años, un bot borra lo que ha hecho otro unas 105 veces, mientras que en un humanos el promedio es 3 veces. La Wikipedia alemana tiene bots menos conflictivos (24 actuaciones sobre otros bots en promedio) mientras que la portuguesa es la más conflictiva (185 actuaciones en promedio), si bien esto se debe a que los bots portugueses editan más que los alemanes. De hecho, este alto número de interacciones "belicosas" se debe en general a que los bots son más trabajadores, y como hemos dicho antes y muestra la figura D, la proporción de sus ediciones que se "revierte" es menor que en humanos. Como ejemplo, pensemos dos bots. El bot 1 tiene instrucciones de ir recorriendo las páginas de Wikipedia en inglés y poner enlace a las palabras que encuentre que tienen contraparte en español, pero si una palabra es ambigua te manda a la página de desambiguación. El bot 2, por otro lado, hace lo mismo pero elige una página concreta y no la de desambiguación. Con estos dos programas ya tenemos pelea: Primero pasa el bot 1 y enlaza una palabra a una página. Pasa el bot 2, no le gusta lo que ha hecho el bot 1, y lo cambia. Pasa otra vez el bot 1 y lo revierte de nuevo de acuerdo a su criterio, y así sucesivamente durante años...

La consecuencia principal de todas estas "luchas" es que los bots, diseñados individualmente para mejorar Wikipedia, acaban generando guerras larguísimas y comportándose de manera altamente ineficiente. En el artículo se muestra que hay bots que se han estado corrigiendo una y otra vez durante años, sin que nadie lo advierta (obviamente, no los humanos, pero ni siquiera los propios bots que ni sufren ni padecen). Eso hace que lo que uno consulta en la Wikipedia en un artículo en el que haya una guerra de bots depende del momento en que lo consulte. Por otro lado, hay bots particularmente belicosos, como Xqbot, EmausBot, SieBot, y VolkovBot, todos ellos especializados en corregir enlaces entre Wikipedias de distintos idiomas. Además, aunque hay pocos artículos donde haya mucha pelea, aquellos en las que la hay suelen ser los mismos en distintos idiomas, como es el caso de Pervez Musharraf(antiguo presidente de Pakistan), Uzbekistan, Estonia, Bielorrusia, idioma árabe, Niels Bohr, o Arnold Schwarzenegger. Esto sugiere que muchas de las luchas entre bots ocurren entre distintos idiomas en vez de dentro de la Wikipedia en un idioma concreto. Como comparación, los editores humanos suelen enzarzarse en riñas en artículos sobre personalidades y entidades locales que normalmente son específicas de cada lengua de Wikipedia.

Vemos, pues, que estos bots, muy sencillos, ya están trayendo consigo mucha ineficiencia. Una ineficiencia que se debe, sobre todo, a que no hay un control o coordinación centrales, y por tanto como cada bot es hijo de quién lo ha programado, lo es también de su filosofía y manera de pensar, e interacciona con otros de manera que nadie ha previsto, y ni siquiera los propios editores que los programan pueden anticipar dado que cada uno trabaja por su cuenta. Si esto ya está llevando a un alto nivel de ineficiencia, no quiero ni pensar que ocurrirá si, como ha anunciado, la fundación Wikimedia, responsable de Wikipedia, introduce bots más sofisticados que hagan uso en serio de la inteligencia artificial. Para muestra baste un botón: el famoso chat entre dos bots (de hecho, dos instancias del mismo, CleverBot) diseñados para interaccionar con humanos, a los que les lleva un minuto enfadarse y retirarse la palabra.

Lo cual me lleva de vuelta a las armas autónomas. Hemos visto que los bots de Wikipedia, gente por demás más bien maja, se ven envueltos en conflictos que no terminan nunca. Wikipedia es en este sentido un remanso de paz si pensamos en otras redes sociales como Twitter, donde los bots son cualquier cosa menos buena gente, y se dedican a promover noticias falsas, a perseguir a usuarios humanos, y a cualquier tipo de cosa; por supuesto, también interaccionan y se pelean y como se puede figurar, querido lector, mucho más que en Wikipedia. Ahora pase usted de estas guerras del ciberespacio a la interacción entre entidades autónomas, que atacan y responden a otros ataques a personas y cosas, y seguramente toman represalias respondiendo a distintas programaciones, e imagínese hasta donde puede llegar la destrucción. Tal sistema complejo comparte los mismos principios, en particular la falta de una coordinación central, por lo que el comportamiento de un conjunto de armas autónomas es seguramente impredecible. Yo no sé usted, pero yo, sinceramente, prefiero que no me defiendan (y obviamente que no me ataquen) estas cosas. No es que los humanos me inspiren mucha confianza (y unos humanos menos que otros), pero sus ganas de guerrear (al menos en las luchas editoriales en Wikipedia) se acaban bastante antes...