Los directivos de más de 100 de las principales empresas de inteligencia artificial del mundo están muy alarmados por el desarrollo de los «robots asesinos». En una carta abierta dirigida a la ONU, estos líderes empresariales —entre ellos Elon Musk, de Tesla, y los fundadores de DeepMind, la empresa de IA de Google— advirtieron que los sistemas de armas autónomas podrían ser utilizados indebidamente por terroristas y déspotas, o pirateados para que funcionen de maneras indeseables.
Pero la verdadera amenaza es mucho mayor y no proviene solo de la conducta indebida de las personas, sino también de las propias máquinas. Las investigaciones sobre sistemas complejos muestran cómo pueden surgir comportamientos mucho más impredecibles que la suma de las acciones individuales. En cierto sentido, esto significa que las sociedades humanas pueden comportarse de maneras muy distintas de lo que cabría esperar al observar únicamente la conducta individual. Pero esto también puede aplicarse a la tecnología. Incluso los ecosistemas de programas de IA relativamente sencillos —lo que llamamos bots tontos y buenos— pueden sorprendernos, aunque cada bot se comporte bien. Puede surgir un comportamiento mucho más impredecible que la suma de las acciones individuales. En cierto sentido, esto significa que las sociedades humanas pueden comportarse de maneras muy distintas de lo que cabría esperar al observar únicamente la conducta individual. Pero esto también puede aplicarse a la tecnología. Incluso los ecosistemas de programas de IA relativamente sencillos —lo que llamamos bots tontos y buenos— pueden sorprendernos, aunque cada bot se comporte bien.
Los elementos individuales que conforman los sistemas complejos, como los mercados económicos o el clima mundial, no suelen interactuar de forma lineal y sencilla. Esto hace que estos sistemas sean muy difíciles de modelar y comprender. Por ejemplo, incluso después de muchos años de climatología, sigue siendo imposible hacer predicciones meteorológicas a largo plazo. Estos sistemas suelen ser muy sensibles a pequeños cambios y pueden experimentar ciclos de retroalimentación explosivos. También es muy difícil conocer el estado preciso de un sistema así en un momento dado. Todo esto hace que estos sistemas sean impredecibles por naturaleza.
Todos estos principios se aplican a grandes grupos de individuos que actúan a su manera, ya sean sociedades humanas o grupos de bots de IA. Mis colegas y yo estudiamos recientemente un tipo de sistema complejo compuesto por bots buenos que se utilizan para editar automáticamente artículos de Wikipedia. Estos distintos bots son diseñados y utilizados por editores humanos de confianza de Wikipedia; el software en el que se basan es de código abierto y está disponible para que cualquiera lo estudie. Individualmente, todos tienen el objetivo común de mejorar la enciclopedia. Sin embargo, resulta que su comportamiento colectivo es sorprendentemente ineficiente.
Estos bots de Wikipedia funcionan según reglas y convenciones bien establecidas, pero, como el sitio web no tiene un sistema de gestión central, no existe una coordinación eficaz entre quienes ejecutan distintos bots. Como resultado, encontramos pares de bots que llevaban varios años deshaciendo las ediciones del otro sin que nadie se diera cuenta. Y, por supuesto, como estos bots carecen de capacidad cognitiva, ellos tampoco lo notaron.
Los bots están diseñados para acelerar el proceso de edición. Sin embargo, pequeñas diferencias en su diseño o entre las personas que los utilizan pueden provocar un enorme desperdicio de recursos en una «guerra de ediciones» que los editores humanos habrían resuelto mucho más rápido.
También descubrimos que los bots se comportaban de manera diferente en las distintas ediciones lingüísticas de Wikipedia. Las reglas son más o menos las mismas, los objetivos son idénticos y la tecnología es similar. Pero en la Wikipedia en alemán, la colaboración entre bots es mucho más eficiente y productiva que, por ejemplo, en la Wikipedia en portugués. Esto solo puede explicarse por las diferencias entre los editores humanos que ejecutan estos bots en distintos entornos.
Confusión exponencial
Los bots de Wikipedia tienen muy poca autonomía y el sistema ya funciona de manera muy distinta a los objetivos de cada bot. Pero la Fundación Wikimedia está planeando utilizar IA que dará más autonomía a los bots. Es probable que eso provoque comportamientos aún más inesperados.
Otro ejemplo es lo que puede ocurrir cuando interactúan dos bots diseñados para hablar con personas. Ya no nos sorprenden las respuestas de asistentes personales artificiales como Siri, del iPhone. Pero si se juntan varios chatbots de este tipo, pueden empezar rápidamente a actuar de maneras sorprendentes, discutir e incluso insultarse.
Cuanto mayor sea el sistema y más autónomo sea cada bot, más complejo y, por tanto, impredecible será el comportamiento futuro del sistema. Wikipedia es un ejemplo de un gran número de bots relativamente sencillos. El caso de los chatbots representa un número reducido de bots bastante sofisticados y creativos; en ambos casos surgieron conflictos inesperados. La complejidad y, por consiguiente, la imprevisibilidad aumentan exponencialmente a medida que se incorporan más individuos al sistema. Así que, en un sistema futuro con un gran número de robots muy sofisticados, los comportamientos inesperados podrían superar nuestra imaginación.
La locura de la conducción autónoma
Por ejemplo, los coches autónomos prometen avances emocionantes en la eficiencia y la seguridad de los desplazamientos por carretera. Pero aún no sabemos qué ocurrirá cuando tengamos un sistema amplio y descontrolado de vehículos totalmente autónomos. Bien podrían comportarse de manera muy distinta a un pequeño conjunto de coches individuales en un entorno controlado. Y podrían surgir comportamientos aún más inesperados cuando los coches sin conductor «entrenados» por distintas personas y en distintos entornos empiecen a interactuar entre sí.
Los seres humanos pueden adaptarse con relativa rapidez a nuevas reglas y convenciones, pero aun así pueden tener dificultades para cambiar de sistema. Para los agentes artificiales esto puede ser mucho más difícil. Por ejemplo, si un coche «entrenado en Alemania» circulara por Italia, sencillamente no sabemos cómo se manejaría con las reglas escritas y las convenciones culturales no escritas que siguen los muchos otros coches «entrenados en Italia». Algo tan común como cruzar una intersección podría volverse mortalmente peligroso, porque no sabríamos si los coches interactuarían como se supone que deben hacerlo o si harían algo completamente impredecible.
Ahora pensemos en los robots asesinos que preocupan a Elon Musk y sus colegas. Un solo robot asesino podría ser muy peligroso en las manos equivocadas. Pero ¿y un sistema impredecible de robots asesinos? Ni siquiera quiero pensarlo.
