La edición de 2018 del Informe sobre Riesgos Globales del Foro Económico Mundial pinta un panorama desolador del año que se avecina, describiendo un mundo de nacionalismo creciente, cambios desestabilizadores en el poder geopolítico y riesgos acentuados, especialmente en el ámbito cibernético.
El informe incluye diez escenarios de «Shock del futuro». Advierten contra la complacencia y recuerdan que los riesgos pueden materializarse con una velocidad desconcertante: “En un mundo de sistemas complejos e interconectados, los bucles de retroalimentación, los efectos umbral y las disrupciones en cascada pueden provocar colapsos repentinos y dramáticos”.
Uno de estos escenarios, “Una red enmarañada”, es engañosamente sencillo: imagina la proliferación de “malezas” de Inteligencia Artificial que se apoderan de internet y lo asfixian poco a poco. Estas malezas son algoritmos de bajo nivel que se descontrolan y se extienden gradualmente por la infraestructura cibernética, ocupando cada vez más espacio y energía.
En su poema de 1925 “The Hollow Men”, T.S. Eliot escribió que el mundo no acaba con una explosión, sino con un gemido. La buena noticia es que las malezas de IA tampoco acabarán con el mundo. No son robots de Terminator. Pero, en el espíritu del poema de Eliot, ilustran que no son los acontecimientos catastróficos lo que más debemos temer, sino la erosión lenta y constante de los bienes comunes que hemos llegado a dar por sentados.
Una red gravemente perturbada socavaría el comercio mundial y las promesas de la revolución de los datos. Paralizaría la transferencia de conocimientos. Podría acelerar la tendencia hacia la “balcanización” de internet, a medida que los gobiernos levanten grandes cortafuegos. Imagínese lo que ocurriría si infiltrara implantes de salud, redes de control del tráfico aéreo y los sistemas operativos de las centrales nucleares, paralizando todas las operaciones y provocando reinicios constantes de los equipos. Sin duda no sería el fin del mundo, e incluso podría haber algunos beneficios asociados, pero el mundo tal como hemos llegado a depender de él quedaría significativamente alterado.
Los orígenes de las malezas
¿Cómo llegaría a existir un algoritmo capaz de asfixiar la infraestructura cibernética global? Lo sorprendente es que ni siquiera requeriría una intención maliciosa (lo cual no quiere decir que la intención maliciosa no vaya a ser también un problema; sin duda, actores perniciosos intentarán armar la IA, y debemos prepararnos también para eso). Lo que postula la “Red enmarañada” es que los algoritmos inteligentes están destinados a descontrolarse algún día, y más vale que estemos preparados para ello.
En un principio, no nos preocupará ver el desarrollo de algoritmos de “propósito general”, del tipo que ya existen para optimizar procesos informáticos y limpiar sistemas. A medida que avance el aprendizaje automático, inevitablemente se les concederá una autonomía creciente para operar en diversos ámbitos, por ejemplo para optimizar los flujos de datos en una cadena de suministro integrada. Tendrán que recibir la capacidad de ocultarse: si no, ¿cómo podrían operar sin interferir con el software antivirus? También se les dará la capacidad de hacer copias de sí mismos, tal como ya hacen los virus troyanos, y de desplazarse de forma autónoma para acceder a conjuntos de datos complejos. Inevitablemente se les otorgará la capacidad de modificar sus propias subrutinas y las de su entorno para alcanzar sus objetivos.
Hasta ahora, esto no difiere mucho de las aplicaciones actuales de aprendizaje automático. Pero si se combinan estas características, lo que en efecto se ha creado es un sistema adaptativo complejo: un sistema formado por agentes autónomos que se replican, a menudo con variaciones, lo que conduce a una evolución autosostenida; en otras palabras, un sistema que imita los poderosos instintos de supervivencia de la vida.
De repente, nuestros ordenadores y todos nuestros dispositivos conectados estarán llenos de algoritmos que, como las malezas, se adaptarán y se desplazarán con rapidez, buscando nuevas formas de captar energía y ocupar espacio. Serán capaces de aprender y de compartir esas lecciones con otros algoritmos. Descubrirán y ocuparán espacios de los que no podremos erradicarlos. Cada vez más memoria y ancho de banda quedarán obstruidos. Cuanto más arraigadas estén, como las malezas en un edificio viejo, más daño causarán.
Esto es distinto de algoritmos genéticos, aunque estos también apliquen principios evolutivos. Los algoritmos genéticos son específicos de un dominio, están muy limitados y dirigidos, y distan mucho de estas “malezas” de IA autónomas.
No harán falta muchos errores de programación ni fallos de previsión para que tengamos sistemas autónomos deambulando por internet. Con los recientes avances en aprendizaje automático, con ordenadores capaces de escribir código, y con la aparición de el aprendizaje por transferencia que puede conectar en red a miles de máquinas, podríamos estar a solo unos pasos. Los ordenadores ya realizan rutinariamente análisis predictivos, o ejecución especulativa; una mayor autonomía es solo una evolución lógica.
Ya sea por la aparición de malezas algorítmicas o por cualquier otro contagio global de la infraestructura cibernética, la “Red enmarañada” es una invitación a reconocer las amenazas sistémicas para la infraestructura cibernética global y a preguntarnos cómo las mitigaremos. La conclusión de esta historia es que los riesgos potenciales que conllevan el aprendizaje automático y la Inteligencia Artificial no son problema de otros: muy pronto serán nuestros.
¿Qué debemos hacer al respecto?
Muchos expertos consideran que la inteligencia artificial cambiará el futuro de formas que simplemente no podemos imaginar, y a una velocidad muy superior a cualquier cosa que hayamos experimentado antes. Esto traerá nuevas oportunidades, pero también provocará, sin duda, disrupciones. No podemos erradicar los riesgos ni las crisis: forman parte de lo que impulsa la innovación; en incrementos pequeños y gestionados, en realidad ayudan a aumentar la resiliencia. Por tanto, debemos asumir que se producirán crisis y disrupciones graves, y trabajar para que nuestra infraestructura digital sea menos vulnerable por un lado y esté mejor preparada para recuperarse de las crisis por otro. Esto implica analizar el sistema sociotécnico en su conjunto, formado por personas, relaciones y tecnologías, pero también por valores, supuestos y procedimientos establecidos, que conectan y regulan las relaciones entre las personas, la tecnología y el entorno en general.
Destacan dos grupos de cuestiones: en primer lugar, cómo abordar las vulnerabilidades de la infraestructura cibernética; y, en segundo lugar, cómo incorporar las salvaguardas necesarias en la IA.
Lo fascinante de cómo internet (y, a partir de ahí, todo el mundo de dispositivos conectados) llegó a ser tan inseguro es hasta qué punto ello se debió a la falta de previsión de lo que podía salir mal. Como dijo uno de sus fundadores, al diseñar la red, “la mayor parte de lo que hicimos fue en respuesta a problemas, y no en previsión de ellos.” La seguridad, como suele decirse, fue en gran medida una ocurrencia tardía, mientras todos se centraban en las promesas de la comunicación en red.
El problema se agrava con el modelo de negocio actual de la economía digital, que ha creado una infraestructura cibernética global muy vulnerable. Los incentivos favorecen llevar los productos al mercado lo más rápido y barato posible. El resultado es código descuidado, programas llenos de errores que se lanzan sin las comprobaciones adecuadas, y acuerdos de licencia para usuarios deliberadamente ininteligibles que reducen la capacidad de los consumidores para demandar y, por tanto, para exigir cuentas a las empresas. Esto nos deja expuestos a todo, desde la ciberdelincuencia hasta la injerencia extranjera y el fallo catastrófico.
Es fácil elaborar una larga lista de lo que debería ocurrir. Necesitamos mejorar en la aplicación de la higiene cibernética básica en nuestros ordenadores. Necesitamos productos que cumplan normas de seguridad y éticas más exigentes. Necesitamos regímenes de pruebas y certificación. Necesitamos desengancharnos de nuestra dependencia del acceso gratuito a contenidos digitales y de los aparatos digitales baratos, y empezar a pagar por productos y servicios que ofrezcan normas de calidad más altas. La lista es larga.
Pero, como ha demostrado cualquier otro ámbito de políticas, existe una gran brecha entre lo que “debería” ocurrir y lo que realmente ocurre. En última instancia, si queremos transformar la actual “tragedia de los comunes” (una situación en la que nadie está dispuesto a invertir para proteger el bien común) en una en la que millones de decisiones individuales contribuyan de forma independiente a que el sistema sea más robusto y no menos, será necesario replantear seriamente la forma en que establecemos los incentivos para las empresas y para el comportamiento.
Legislación e incentivos
Nos guste o no, una de esas palancas es una mejor legislación, tal como reclaman cada vez más los principales expertos en seguridad.
La regulación tiene muchos inconvenientes y a menudo se resiste por buenas razones. Mal diseñada, puede frenar la innovación, lo que potencialmente beneficiaría a países competidores. Generalmente va a la zaga de la innovación tecnológica y puede crear incentivos distorsionados. Se prefiere en gran medida la gobernanza blanda, como los códigos de ética y otros mecanismos voluntarios. Pero seamos realistas: sin el palo de multas cuantiosas o de acciones coercitivas, la autorregulación simplemente no ocurrirá, y desde luego no a la escala necesaria para abordar las vulnerabilidades crónicas de nuestra infraestructura cibernética.
Así pues, las preguntas son: ¿qué combinación de regulación y gobernanza mediante normas blandas necesitamos? ¿Cómo aumentamos la responsabilidad penal? ¿Qué formas de seguro de responsabilidad civil podrían crear mejor los incentivos necesarios?
Al diseñar incentivos regulatorios duros y blandos para abordar las vulnerabilidades cibernéticas, debemos anticipar la tecnología futura y su papel en la configuración de nuestro ecosistema cibernético. Porque, en última instancia, también tendremos que confiar en la propia tecnología para gestionar los delicados equilibrios entre facilidad de uso, seguridad y eficacia. La experiencia humana simplemente no es escalable para igualar la velocidad y la complejidad del desafío. Cada vez dependeremos más de el diseño de redes inteligentes capaces de tomar decisiones autónomas que ayuden a nuestros sistemas a prevenir los fallos y a recuperarse de ellos.
Lo que nos lleva al segundo punto: cuánta autonomía estamos dispuestos a ceder a las máquinas “inteligentes”, y cómo exigiremos responsabilidades a los algoritmos cuando se produzcan accidentes graves? A medida que dependamos más del código que escribe código, perderemos muy rápidamente la capacidad de rastrear cómo llegan los algoritmos a sus decisiones. ¿Qué ocurre cuando surge un choque entre el código que hemos creado y nuestros valores e intereses? ¿Realmente tendríamos más control sobre los algoritmos que proliferan que el que tenemos sobre las plantas invasoras que proliferan en nuestros jardines?
El interruptor de apagado
Así pues, al considerar el conjunto de legislaciones emergentes e instrumentos de gobernanza blanda, observar la tecnología actual no basta: debemos anticipar cómo conviviremos con la tecnología del mañana. ¿Cómo abordamos cuestiones como el sesgo, la privacidad, la seguridad y la explicabilidad de los algoritmos de aprendizaje automático? ¿Cómo concebimos la responsabilidad penal en un mundo en el que quizá ya no podamos entender cómo toman decisiones las máquinas? ¿Cómo podemos usar el seguro de responsabilidad civil para establecer los incentivos necesarios que sitúen la responsabilidad donde corresponde? ¿Cómo definimos dónde termina la responsabilidad? ¿Qué combinación de gobernanza blanda y dura garantizará que la tecnología autónoma incorpore interruptores de apagado para desactivarla a distancia si se descontrola?
Los movimientos crecientes que reclaman códigos de ética y mejores formas de garantizar la transparencia de los algoritmos son pasos alentadores, como los debates incipientes en la ONU y en otros foros multilaterales sobre la prevención de la militarización de la IA, y sobre una mayor inversión en investigación que pueda ayudar a maximizar los beneficios de la IA.
Pero para que estos esfuerzos den frutos, también necesitaremos cierta capacidad colectiva para vigilar los riesgos sistémicos y para “unir los puntos” cuando desarrollos aparentemente desconectados crean las condiciones para efectos incontrolables que podrían provocar un fallo catastrófico. Como ha defendido el especialista en ética de la IA Wendell Wallace, la vigilancia exhaustiva de la innovación tecnológica facilita el reconocimiento de los puntos de inflexión clave. El reto será definir cómo.
Hay una cosa que sabemos con certeza: sean cuales sean los mecanismos que elijamos, la seguridad y la viabilidad a largo plazo de nuestro futuro digital no son problema de otros; son nuestro problema, ahora.
Joelle Jenny es Asociada del Centro Weatherhead de Asuntos Internacionales de la Universidad de Harvard. Como diplomática de alto nivel, dirigió negociaciones internacionales sobre ciberseguridad, control de armamentos y prevención de conflictos. Es miembro del Consejo del Foro Global sobre Seguridad Internacional. Contribuyó con el escenario de malezas de IA “A Tangled Web” al Informe sobre Riesgos Globales de 2018.
