El mes pasado, más de 100 directores ejecutivos de empresas de robótica e inteligencia artificial (IA) firmaron una carta abierta a la ONU en la que advertían de los peligros de las armas autónomas.
Durante los últimos tres años, los países se han reunido en la ONU, en Ginebra, bajo los auspicios de la Convención sobre Ciertas Armas Convencionales para debatir el papel de la automatización y la toma de decisiones humanas en las armas del futuro. La pregunta central para los países es si la decisión de matar en la guerra debería delegarse en las máquinas.
Como ocurre en muchos otros ámbitos, las armas incorporan cada vez más automatización y autonomía. Más de 30 países tienen o están desarrollando drones armados, pero estos se controlan en gran medida a distancia. Algunos drones pueden despegar y aterrizar de forma autónoma o volar por rutas preprogramadas, pero las personas controlan por completo cualquier uso de sus armas. Los avances en IA y en el reconocimiento de objetos hacen temer la aparición de armas futuras que puedan buscar objetivos, identificarlos y decidir atacarlos por sí solas.
Las armas autónomas capaces de cazar sus propios objetivos serían el siguiente paso en una tendencia de décadas hacia una mayor automatización de los sistemas de armas. Desde la Segunda Guerra Mundial, los países han empleado municiones guiadas de tipo «dispara y olvida», como torpedos y misiles, que no pueden retirarse una vez lanzados. Estas municiones llevan sensores a bordo para detectar objetivos enemigos y pueden maniobrar para corregir errores de puntería y fijar el rumbo hacia objetivos en movimiento.
Sin embargo, a diferencia de las armas autónomas, no deciden por sí solas qué objetivos atacar. El ser humano decide destruir el objetivo y la munición guiada se limita a ejecutar la acción. Algunas armas también recurren a la automatización para ayudar a las personas a decidir si disparan o no. Hoy en día, los radares usan la automatización para ayudar a clasificar objetos, pero, la mayoría de las veces, las personas siguen decidiendo si disparar.
A veces, la velocidad necesaria para contrarrestar las amenazas enemigas exige sacar al ser humano «del circuito» y permitir que las máquinas decidan por sí solas cuándo disparar. Por ejemplo, las personas no pueden reaccionar con suficiente rapidez para defender vehículos terrestres de cohetes y misiles antitanque, por lo que los países han adoptado sistemas de protección activa que detectan y neutralizan automáticamente estas amenazas. Actualmente, más de 30 países emplean armas autónomas supervisadas por personas para proteger barcos, vehículos y bases terrestres de los ataques. Esto significa que las personas supervisan e intervienen si algo sale mal, pero, una vez activada, el arma puede buscar objetivos, decidir cuáles atacar y atacarlos por sí sola.
Los avances en robótica y autonomía abren la posibilidad de que existan armas ofensivas futuras capaces de buscar y atacar objetivos por sí solas. Varias potencias militares importantes están desarrollando drones de combate furtivos para penetrar en el espacio aéreo enemigo. Necesitarán poder operar de forma autónoma en profundidad dentro de las líneas enemigas, con enlaces de comunicación limitados o inexistentes con sus controladores humanos. Los países podrían decidir limitar estos drones a atacar únicamente objetivos fijos autorizados de antemano por personas, como ocurre hoy con los misiles de crucero. Pero también podrían decidir permitirles buscar y destruir nuevos objetivos por sí solos.
¿Qué consecuencias tendría delegar en las armas la autoridad para buscar objetivos con fines ofensivos, decidir cuáles atacar y atacarlos sin supervisión humana? No lo sabemos. Es posible que funcionaran bien. También es posible que fallaran y destruyeran objetivos equivocados. Sin una persona que supervisara su funcionamiento, incluso podrían seguir atacando objetivos equivocados hasta agotar la munición. En los peores casos, flotas enteras de armas autónomas podrían ser manipuladas, engañadas o pirateadas por adversarios para que atacaran objetivos equivocados e incluso fuerzas amigas.
Cada vez más voces alertan sobre las posibles consecuencias de las armas autónomas. Aunque ningún país ha declarado que pretenda desarrollarlas, pocos han renunciado a ellas. La mayoría de las grandes potencias militares mantienen abierta la posibilidad de desarrollarlas, aunque afirmen que hoy no tienen planes de hacerlo.
En respuesta, más de 60 organizaciones no gubernamentales han pedido un tratado internacional que prohíba las armas autónomas antes de que se desarrollen. Hace dos años, más de 3.000 investigadores en robótica e IA firmaron una carta abierta en la que también pedían una prohibición, aunque con una postura algo más matizada. En lugar de una prohibición general, propusieron prohibir únicamente las «armas autónomas ofensivas que escapen a un control humano significativo» (términos que no definieron). Curiosamente, los autores de la carta más reciente no pidieron una prohibición, aunque sí exigieron algún tipo de medida para «protegernos de todos estos peligros».
Uno de los mayores retos a la hora de abordar las armas autónomas es definir la terminología. El concepto de arma autónoma parece bastante sencillo. ¿Decide el ser humano a quién matar o la máquina toma su propia decisión? En la práctica, la automatización ha ido incorporándose gradualmente a las armas con cada nueva generación durante los últimos 70 años. Al igual que en los automóviles, donde la automatización va asumiendo poco a poco tareas como el frenado de emergencia, el mantenimiento del carril y el estacionamiento, lo que desde lejos puede parecer una línea clara se vuelve difuso al acercarse.
¿Adónde nos lleva esta autonomía que avanza poco a poco? Podría llevarnos a un mundo en el que los seres humanos estén cada vez más alejados del campo de batalla y matar sea aún más impersonal y mecánico que antes: ¿es eso bueno o malo? También es posible que las máquinas del futuro tomen mejores decisiones sobre los objetivos que las personas, salvando vidas civiles y reduciendo los daños colaterales. Si los coches autónomos pudieran reducir las muertes en carretera, quizá las armas capaces de seleccionar sus propios objetivos podrían reducir las muertes innecesarias en la guerra.
Gran parte del debate sobre las armas autónomas gira en torno a su hipotética precisión y fiabilidad. Quienes defienden su prohibición sostienen que estas armas tenderían a atacar civiles por accidente. Quienes se oponen a la prohibición dicen que quizá eso sea cierto hoy, pero que la tecnología mejorará y algún día podría superar a las personas.
Son preguntas importantes, pero conocer las respuestas no basta. La tecnología nos está llevando a una encrucijada fundamental en la relación de la humanidad con la guerra. Cada vez será más posible desplegar en el campo de batalla armas capaces de buscar objetivos, decidir atacarlos y atacarlos por sí solas. Además de preguntarnos si las máquinas pueden realizar estas tareas, deberíamos preguntarnos si deben hacerlo. Si dispusiéramos de toda la tecnología que pudiéramos imaginar, ¿qué papel querríamos que desempeñaran las personas en la toma de decisiones letales durante la guerra?
Para responder a esta pregunta, debemos ir más allá de conceptos demasiado generales como si hay o no una persona «en el circuito». Al igual que conducir se está convirtiendo en una combinación de control humano y automatización, las decisiones sobre el uso de armas ya incorporan hoy tanto automatización como toma de decisiones humana. El Comité Internacional de la Cruz Roja (IRC) ha propuesto estudiar las «funciones críticas» relacionadas con los ataques en los sistemas de armas. Este enfoque podría ayudar a entender en qué aspectos se necesita el control humano y para qué tareas puede ser útil la automatización.
Hay tareas relacionadas con los ataques para las que las máquinas podrían ser indudablemente útiles. Algunas decisiones en la guerra tienen respuestas objetivamente correctas: «¿Esta persona lleva un fusil o un rastrillo?». Es posible imaginar máquinas capaces de responder a esa pregunta. Las máquinas ya superan a las personas en algunas pruebas de referencia de reconocimiento de objetos, aunque también tienen importantes vulnerabilidades ante ataques de suplantación.
Algunas decisiones en la guerra requieren criterio, una cualidad que actualmente es difícil programar en las máquinas. Las leyes de la guerra exigen que los daños colaterales derivados de atacar un objetivo no sean desproporcionados con respecto a la ventaja militar. Pero decidir qué número de muertes civiles es «proporcionado» requiere criterio.
Es posible que algún día las máquinas puedan emitir estos juicios en determinadas situaciones, si podemos prever las circunstancias específicas, pero el estado actual de la IA implica que a las máquinas les resultará muy difícil tener en cuenta el contexto más amplio de sus acciones. Aunque las máquinas del futuro puedan emitir estos juicios, debemos preguntarnos: ¿hay decisiones que queremos que tomen las personas en la guerra, no porque las máquinas no puedan tomarlas, sino porque no deberían hacerlo? Si es así, ¿por qué?
No es fácil responder a estas preguntas. La tecnología nos obliga a replantearnos la relación de la humanidad con la guerra. La reciente carta abierta criticó el lento ritmo de los debates en la ONU. Es cierto: en comparación con los rápidos avances de la IA y el aprendizaje automático, la diplomacia internacional avanza despacio. Pero hay progreso: en los últimos tres años, los debates en la ONU han comenzado a explorar estos temas.
Algunos han propuesto adoptar el principio de «control humano significativo». Aunque este término ha generado cierta controversia en el ámbito internacional (sin duda, en parte porque quienes defienden la prohibición siguen equiparándolo con una prohibición), la idea de centrarse en el papel de las personas está ganando aceptación. Algunos Estados han planteado conceptos alternativos, como «criterio humano adecuado» o «participación humana adecuada». Sean cuales sean las palabras específicas, la idea de formular un principio de «______ humano ______» en la guerra parece estar cobrando impulso. Es un nuevo paradigma: en lugar de centrarse en el arma, se centra en el ser humano.
Hay mucho valor en adoptar un enfoque centrado en el ser humano para reflexionar sobre el papel de la autonomía en los sistemas de armas. La tecnología evoluciona constantemente, pero los seres humanos siguen siendo los mismos. Centrarse únicamente en lo que la automatización puede o no puede hacer hoy entraña el riesgo de que ese enfoque quede obsoleto rápidamente. Un enfoque centrado en el ser humano para reflexionar sobre las armas autónomas podría aportar principios y conceptos capaces de perdurar durante años.
