En los últimos años, el estudio «Moral Machine», organizado por el MIT, ha encuestado las preferencias del público sobre cómo deberían comportarse las aplicaciones de inteligencia artificial en distintas situaciones. Una conclusión de los datos es que, cuando un vehículo autónomo (VA) se enfrenta a una situación de vida o muerte, la respuesta que se considera adecuada depende en gran medida del lugar de origen y de lo que se sabe sobre los peatones o pasajeros implicados.
Por ejemplo, en una versión para vehículos autónomos del clásico «dilema del tranvía», algunos podrían preferir que el coche atropellara a un asesino condenado antes que hacer daño a otras personas, o que atropellara a una persona mayor antes que a un niño. Otros podrían argumentar que el VA debería simplemente dejarlo al azar para evitar la discriminación basada en datos.
Por lo general, este tipo de dilemas se reservan para los tribunales o las investigaciones policiales posteriores a los hechos. Pero, en el caso de los VA, las decisiones se tomarán en cuestión de milisegundos, un tiempo muy insuficiente para llegar a una decisión fundamentada. Lo que importa no es lo que nosotrossabemos, sino lo que sabe el coche. La pregunta, entonces, es qué información deberían tener los VA sobre las personas que los rodean. ¿Y debería permitirse a las empresas ofrecer distintos sistemas éticos para obtener una ventaja competitiva?
Consideremos la siguiente situación: un coche procedente de China tiene estándares de fabricación distintos de los de un coche de Estados Unidos, pero se envía y se utiliza en Estados Unidos. Un coche fabricado en China y otro fabricado en Estados Unidos se dirigen hacia una colisión inevitable. Si el conductor del coche chino tiene preferencias éticas distintas de las del conductor del coche estadounidense, ¿qué sistema debería prevalecer?
Además de las diferencias culturales en las preferencias éticas, también hay que tener en cuenta las diferencias entre las normativas sobre datos de los distintos países. Por ejemplo, un coche fabricado en China podría tener acceso a datos de puntuación social, lo que permitiría que su algoritmo de toma de decisiones incorporase datos adicionales que no están al alcance de los fabricantes de coches estadounidenses. Un mayor volumen de datos podría dar lugar a decisiones mejores y más coherentes, pero ¿debería esa ventaja permitir que un sistema prevaleciera sobre otro?
Está claro que, antes de que los VA salgan a la carretera en masa, tendremos que establecer dónde recae la responsabilidad por la toma de decisiones algorítmica: en las autoridades municipales, los gobiernos nacionales o las instituciones multilaterales. Además, necesitaremos nuevos marcos para regir esta intersección entre las empresas y el Estado. La cuestión no es solo qué harán los VA en situaciones extremas, sino también cómo interactuarán las empresas con distintas culturas al desarrollar e implementar algoritmos de toma de decisiones.
Es fácil imaginar que todos los fabricantes de VA promocionen sistemas éticos que antepongan la vida del conductor a cualquier otra cosa, o que permitan al usuario activar y desactivar sus propios ajustes éticos. Para evitar esta «tragedia de los bienes comunes», tendrá que haber marcos que permitan establecer la comunicación y coordinar las decisiones entre los VA. Sin embargo, al desarrollar estos sistemas en distintos contextos culturales, los responsables de formular políticas y las empresas se encontrarán con diferentes concepciones culturales de la soberanía, la privacidad y la autonomía individual.
Esto plantea otros retos, porque los sistemas de IA no toleran la ambigüedad. Diseñar una aplicación de IA desde cero exige un alto grado de especificidad; para bien o para mal, estos sistemas hacen únicamente lo que se les indica. Eso significa que las empresas, los gobiernos y otros proveedores tendrán que tomar decisiones explícitas al codificar protocolos de respuesta para distintas situaciones.
Sin embargo, antes de que eso ocurra, los responsables de formular políticas tendrán que establecer el alcance de la rendición de cuentas algorítmica y determinar qué decisiones, si las hubiera, deberían dejarse en manos de las empresas o de las personas. Habrá que debatir aquellas que competan al Estado. Y, dado que estas cuestiones éticas y morales no tienen respuestas fáciles, es poco probable que surja un consenso. Si no se llega a una resolución definitiva, tendremos que crear sistemas que, como mínimo, faciliten la comunicación entre los VA y resuelvan las disputas algorítmicas y los incidentes en las carreteras.
Dada la necesidad de especificidad al diseñar algoritmos de toma de decisiones, es lógico que se necesite un organismo internacional que establezca las normas para resolver los dilemas morales y éticos. Al fin y al cabo, los VA son solo una aplicación de la toma de decisiones algorítmica. De cara al futuro, habrá que gestionar las normas de rendición de cuentas algorítmica en muchos ámbitos.
En última instancia, la primera pregunta que debemos resolver es si las empresas tienen derecho a diseñar marcos éticos alternativos para la toma de decisiones algorítmica. Sostenemos que no.
En la era de la IA, algunos componentes de las cadenas globales de valor acabarán automatizándose como parte de la evolución normal y, llegado ese momento, dejarán de considerarse ámbitos en los que las empresas puedan buscar una ventaja competitiva. El proceso para determinar y dirimir la rendición de cuentas algorítmica debería ser uno de esos ámbitos. De una forma u otra, se tomarán decisiones. Es mejor que se resuelvan de manera uniforme y lo más democrática posible.
