Desde el nuevo ensayo del Gobierno australiano de «elaboración de perfiles basada en datos» para realizar pruebas de detección de drogas a beneficiarios de ayudas sociales, hasta el uso de tecnología de reconocimiento facial por parte de las fuerzas del orden de Estados Unidos y la implementación de software propietario para dictar sentencias en muchos tribunales estadounidenses... casi sin que nadie lo perciba y con una protesta sorprendentemente escasa, la tecnología está transformando la forma en que se nos vigila, se nos clasifica como ciudadanos y, quizá muy pronto, se nos gobierna.
Estamos apenas en las primeras etapas de la llamada regulación algorítmica —máquinas inteligentes que utilizan macrodatos, aprendizaje automático e inteligencia artificial (IA) para regular el comportamiento humano y hacer cumplir las leyes—, pero ya tiene profundas repercusiones en la relación entre la ciudadanía y el Estado.
Además, el auge de estas tecnologías se produce precisamente cuando la confianza en los gobiernos de buena parte del mundo occidental ha caído a mínimos históricos. Los votantes de gran parte del mundo desarrollado consideran cada vez más que los políticos del establishment y quienes los rodean viven en una burbuja y están desconectados de la realidad, y expresan su descontento en las urnas.
Una solución técnica
En este clima político volátil, crece la sensación de que la tecnología puede ofrecer una solución alternativa. Los defensores de la regulación algorítmica sostienen que la IA puede aplicar en tiempo real muchas leyes y normativas creadas por personas, mejor y con mayor rapidez que los agentes humanos, dada la capacidad cada vez mayor de las máquinas para aprender y su aptitud para filtrar e interpretar un caudal creciente de datos, a menudo generados por teléfonos inteligentes.
Los defensores de la IA también sugieren que, basándose en las tendencias históricas y el comportamiento humano, los algoritmos pronto podrían moldear todos los aspectos de nuestra vida cotidiana: desde cómo nos comportamos al conducir hasta nuestras responsabilidades y derechos como ciudadanos, y los castigos que deberíamos recibir por desobedecer la ley. De hecho, no hace falta mirar muy lejos hacia el futuro para imaginar un mundo en el que la IA pudiera crear leyes de forma autónoma, anticipándose a los problemas sociales y previniéndolos antes de que surjan.
Algunos quizá lo celebren como un reinicio de la democracia. A mi juicio, representa nada menos que una amenaza para la propia democracia, y debería prevalecer un profundo escepticismo. Hay cinco grandes problemas al introducir algoritmos en el ámbito de las políticas públicas:
1) Sesgo que se refuerza a sí mismo
En lo que destacan el aprendizaje automático y la IA en general, a diferencia de las personas, es en analizar millones de datos en tiempo real para detectar tendencias y, a partir de ellas, ofrecer conclusiones del tipo «si ocurre esto, entonces aquello». El problema inherente es que esto conlleva un sesgo que se refuerza a sí mismo, porque supone que lo ocurrido en el pasado volverá a repetirse.
Tomemos como ejemplo los datos sobre delincuencia. Los barrios negros y de otras minorías con menores ingresos tienen muchas más probabilidades de sufrir altos índices de delincuencia y conductas antisociales que los barrios blancos prósperos. Si se utilizan algoritmos para configurar las leyes, inevitablemente esos barrios serán objeto de patrullajes policiales intensivos, lo que aumentará las probabilidades de enfrentamientos y detenciones.
Esto, por supuesto, convierte preocupaciones perfectamente válidas sobre la elevada tasa de delincuencia en una zona concreta en una profecía autocumplida. Si eres un niño nacido en una zona objeto de este tipo de medidas, cada vez tendrás menos posibilidades de escapar de tu entorno.
Esto ya está ocurriendo, por supuesto. La vigilancia policial predictiva —que se utiliza en todo Estados Unidos desde principios de la década de 2010— ha sido objeto de acusaciones persistentes de ser defectuosa y propensa a sesgos raciales profundamente arraigados. Aún está por demostrarse si la vigilancia policial predictiva puede reducir la delincuencia de forma sostenible.
2) Vulnerabilidad ante los ataques
Un segundo problema, no menos importante, de las leyes diseñadas por IA es la seguridad. Es probable que casi todas las grandes empresas, instituciones y organismos gubernamentales —incluido el Departamento de Justicia de Estados Unidos— hayan sufrido alguna intrusión, en gran medida porque estas organizaciones suelen quedarse muy rezagadas con respecto a los piratas informáticos en materia de protección de datos. Por decirlo suavemente, es poco probable que los gobiernos puedan proteger los algoritmos de los atacantes. Además, como los algoritmos suelen ser «cajas negras», no está claro si podremos detectar si un algoritmo ha sido manipulado, ni cuándo.
El reciente debate en Estados Unidos sobre la supuesta piratería rusa contra el Comité Nacional Demócrata, que, según se informó, ayudó a Donald Trump en su intento de llegar a la presidencia, es un ejemplo ilustrativo. Del mismo modo, dada la complejidad del código que habría que escribir para transferir a una máquina las facultades gubernamentales y judiciales, y a la luz de todo lo que sabemos sobre el software, es casi seguro que estaría plagado de errores.
3) ¿Quién toma las decisiones?
También existe un problema de conflicto de intereses. El software utilizado para la vigilancia policial y la regulación no lo desarrollan los gobiernos, por supuesto, sino empresas privadas, a menudo multinacionales tecnológicas que ya suministran software gubernamental y suelen tener incentivos comerciales muy claros, así como, con frecuencia, vínculos opacos con el Gobierno.
Estas alianzas también plantean dudas sobre la transparencia de los algoritmos, una preocupación importante dado el impacto que tienen en la vida de las personas. Vivimos en un mundo en el que los datos gubernamentales están cada vez más al alcance del público. Esto es un bien público y lo apoyo firmemente.
Sin embargo, las empresas que más se benefician de esta avalancha de datos gratuitos muestran un doble rasero: defienden con fervor los datos libres y abiertos cuando proceden de los gobiernos, pero luchan con uñas y dientes para que su propia programación y sus datos sigan siendo de su propiedad.
4) ¿Están los gobiernos a la altura?
También está la cuestión de la competencia de los gobiernos en asuntos digitales. Según mi experiencia, la gran mayoría de los políticos apenas entiende cuáles son los límites de la tecnología, qué puede hacer y qué no. Al no comprender los fundamentos —y mucho menos los aspectos complejos— de este ámbito, no pueden regular adecuadamente a las empresas de software que desarrollarían esos programas.
Si no son capaces de comprender por qué las puertas traseras no pueden coexistir con el cifrado, probablemente tampoco podrán dar el salto conceptual necesario para entender lo que exigiría la regulación algorítmica, que tiene muchas más capas de complejidad.
Del mismo modo, las normativas que están implantando los gobiernos británico y francés, que amplían cada vez más el acceso del Estado a los datos de la ciudadanía, sugieren que no comprenden la magnitud del riesgo que crean al construir estas bases de datos. Sin duda, es solo cuestión de tiempo que estalle el próximo escándalo, relacionado con un abuso de poder masivo por parte del Gobierno.
5) Los algoritmos no captan los matices
Mientras tanto, quizá como reflejo de la actitud arrogante de Silicon Valley, que supone que la tecnología puede resolver casi todos los problemas importantes, el último problema del enfoque regulatorio basado en la IA es la idea de que existe una solución óptima para cada problema.
Sin embargo, resolver problemas sociales que parecen insolubles requiere paciencia, compromiso y, sobre todo, arbitraje. Pensemos en la escasez de agua de California. Es una historia de demandas enfrentadas: el sector agrícola frente a la población en general; quienes sostienen que hay que reducir el consumo para combatir el cambio climático frente a quienes afirman que el calentamiento global no supone una amenaza existencial. ¿Puede un algoritmo arbitrar de verdad entre estas partes? A escala macro, ¿puede decidir quién debería asumir la mayor carga frente al cambio climático: los países desarrollados, que causaron el problema desde el principio, o los países en desarrollo, que dicen que ahora les toca modernizarse, lo que les exigirá seguir usando la energía de forma ineficiente?
Lo que quiero decir es que, aunque los algoritmos se manejan bien con el blanco y el negro, no son buenos para lidiar con los cambiantes tonos de gris, los matices y las concesiones recíprocas; ni para sopesar valores filosóficos y obtener acuerdos arduamente alcanzados. Aunque podríamos crear algoritmos para implantar y gestionar cierto tipo de sociedad, primero tendríamos que ponernos de acuerdo sobre qué tipo de sociedad queremos.
¿Y qué ocurre cuando esa sociedad atraviesa cambios fundamentales periódicos, rápidos o graduales? Imaginemos, por ejemplo, el algoritmo que se habría creado cuando la esclavitud era generalizada, ser homosexual era inaceptable y las mujeres no tenían derecho al voto. Por eso, claro está, elegimos gobiernos que basen sus decisiones no en tendencias históricas, sino en visiones que respalda la mayoría de los votantes y que a menudo se han afinado mediante compromisos.
Gran parte de la labor de las sociedades civiles consiste en establecer un consenso en constante evolución sobre cómo queremos vivir. Y eso no es algo que podamos delegar por completo en una máquina inteligente.
Establecer algunas reglas básicas
Pese a todos estos problemas, hay pocas dudas de que habrá algún tipo de gobierno impulsado por IA. Entonces, ¿cómo podemos evitar que parezca sacado de una mala novela de ciencia ficción?
Para empezar, deberíamos aprovechar la IA para explorar alternativas positivas, en vez de limitarnos a aplicarla para respaldar las soluciones tradicionales a los problemas sociales percibidos. En lugar de dedicarnos simplemente a encontrar delincuentes y encarcelarlos más rápido para proteger al público, ¿por qué no utilizar la IA para determinar la eficacia de otras posibles soluciones? Ofrecer a los jóvenes adultos formación en alfabetización, aritmética y otras habilidades bien podría ser una solución a la delincuencia muy superior y más rentable que una aplicación más agresiva de la ley.
Además, la IA siempre debería utilizarse a escala poblacional y no individual, para evitar estigmatizar a las personas por sus antecedentes, sus genes y el lugar donde viven. Lo mismo se aplica a la selección de personas basada en datos, más sutil pero aún más generalizada, por parte de posibles empleadores, aseguradoras de salud, empresas de tarjetas de crédito y prestamistas hipotecarios. Aunque el incentivo comercial para clasificar mediante IA es evidente, cuando se dirige a personas concretas equivale a elaborar perfiles, con la consecuencia inevitable de que sectores enteros de la sociedad quedan excluidos de las oportunidades.
Desde luego, no todas las empresas utilizan los datos en contra de sus clientes. Cuando un estudio de 2015 de la Escuela de Negocios de Harvard y una revisión posterior de Airbnb revelaron un sesgo sistemático contra los inquilinos negros y de minorías étnicas que utilizaban la plataforma de alojamiento compartido, los directivos de Airbnb tomaron medidas para atajar el problema. Sin embargo, Airbnb podría haber evitado por completo la necesidad del estudio y de su revisión, porque una aplicación realmente inteligente de algoritmos de IA a los datos de la plataforma podría haber detectado la discriminación mucho antes y quizá también haber sugerido formas de prevenirla. Este enfoque aprovecharía la tecnología para ayudar a las personas a tomar mejores decisiones, en vez de sustituirlas como responsables de decidir.
Para aprovechar el potencial de este enfoque en el sector público, los gobiernos deben diseñar una metodología que comience con un debate sobre los resultados deseados de implementar algoritmos, a fin de comprender y acordar exactamente con qué criterios queremos medir su rendimiento.
En segundo lugar —y aquí los políticos tendrían que ponerse al día—, debería haber un flujo constante de datos en tiempo real sobre el rendimiento de los algoritmos en cada caso en que se utilicen, para que puedan adaptarse continuamente a las circunstancias y necesidades cambiantes.
En tercer lugar, toda propuesta de regulación o legislación basada en la aplicación de la IA debería someterse a pruebas rigurosas frente a un enfoque humano tradicional antes de convertirse en ley.
Por último, toda empresa con fines de lucro que utilice datos del sector público para reforzar o mejorar su propio algoritmo debería compartir las ganancias futuras con el Gobierno o acordar que, en un principio, el algoritmo se conceda en arrendamiento y que, con el tiempo, pase a ser propiedad del Gobierno.
No nos engañemos: la regulación algorítmica está en camino. Pero la introducción más amplia de la IA en el Gobierno debe gestionarse con cuidado para garantizar que se utilice por los motivos adecuados —para mejorar la sociedad— y de la manera correcta. La alternativa entraña el riesgo de un caos de consecuencias imprevistas y, en última instancia, quizá de la propia democracia.
