Cuando Netflix te hace una recomendación de películaequivocada, probablemente pienses que no es para tanto. Del mismo modo, cuando tus zapatillas favoritas no aparecen en la lista de productos recomendados de Amazon, probablemente no sea el fin del mundo. Pero cuando un algoritmo te asigna una puntuación de amenaza de 1 a 500 que se utiliza para decidir una pena de cárcel, quizá te preocupe este uso de la analítica predictiva.
La inteligencia artificial (IA) ya impregna casi todos los aspectos de nuestra vida. Naturalmente, las predicciones de las máquinas no siempre pueden ser 100 % precisas. Pero el coste del error aumenta drásticamente cuando la IA se aplica en contextos de alto riesgo. Esto puede incluir la medicina, para recomendar nuevos tratamientos contra el cáncer, o la justicia penal, para ayudar a los jueces a evaluar la probabilidad de que un sospechoso reincida. De hecho, uno de los usos más controvertidos de la IA en los últimos años ha sido la predicción policial.
Para el público general, los métodos de predicción policial probablemente sean más conocidos por la película de ciencia ficción de 2002 Minority Report, protagonizada por Tom Cruise. Basada en un relato corto de Philip K. Dick, la película presenta una visión del futuro en la que los delitos pueden predecirse y prevenirse. Puede parecer un escenario utópico inverosímil. Sin embargo, la justicia predictiva ya existe. Gracias a sistemas avanzados de aprendizaje automático, está surgiendo una oleada de nuevas empresas que ofrecen servicios predictivos a los tribunales; por ejemplo, en forma de algoritmos de evaluación de riesgos que calculan la probabilidad de reincidencia de los delincuentes.
¿Pueden las máquinas identificar a futuros delincuentes?
Tras su arresto en 2013, Eric Loomis fue condenado a seis años de prisión, en parte sobre la base de una predicción algorítmica opaca según la cual cometería más delitos. Equivant (antes Northpointe), la empresa responsable del software propietario utilizado en el caso de Eric Loomis, afirma haber proporcionado una visión integral del acusado para ofrecer asistencia algorítmica detallada en la toma de decisiones judiciales.
Esta empresa es una de muchas que operan en el ámbito de la justicia predictiva en Estados Unidos. Un informe reciente del Electronic Privacy Information Center señala que los algoritmos se utilizan cada vez más en los tribunales para «fijar la fianza, determinar las penas e incluso contribuir a decidir la culpabilidad o inocencia». Este giro hacia una mayor inteligencia artificial en los tribunales, que permite a la IA complementar el juicio humano, podría ser sumamente beneficioso para el sistema judicial en su conjunto.
Sin embargo, una investigación de ProPublica concluyó que estos algoritmos tienden a reforzar el sesgo racial presente en los datos policiales. Las evaluaciones algorítmicas tienden a señalar falsamente a los acusados negros como futuros delincuentes casi el doble de veces que a los acusados blancos. Además, los jueces que se basaban en estas evaluaciones de riesgos normalmente no entendían cómo se calculaban las puntuaciones.
Esto es problemático, porque los modelos de aprendizaje automático solo son tan fiables como los datos con los que se entrenan. Si los datos subyacentes presentan algún tipo de sesgo, existe el riesgo de que las desigualdades estructurales y los sesgos injustos no solo se reproduzcan, sino que también se amplifiquen. En este sentido, los ingenieros de IA deben estar especialmente atentos a sus puntos ciegos y a sus suposiciones implícitas; no solo importa la elección de las técnicas de aprendizaje automático, sino también todas las pequeñas decisiones relacionadas con la búsqueda, organización y etiquetado de datos de entrenamiento para los modelos de IA.
Los datos sesgados alimentan algoritmos sesgados
Incluso pequeñas irregularidades y sesgos pueden producir una diferencia apreciable en la evaluación de riesgos final. El problema fundamental es que problemas como el sesgo racial y la discriminación estructural están arraigados en el mundo que nos rodea.
Por ejemplo, hay pruebas de que, pese a que las tasas de consumo de drogas son similares, los estadounidenses negros son arrestados por delitos relacionados con drogas a una tasa cuatro veces mayor que los estadounidenses blancos. Aunque los ingenieros recopilaran estos datos fielmente y entrenaran con ellos un modelo de aprendizaje automático, la IA seguiría incorporando el sesgo inherente al modelo.
Los patrones sistemáticos de desigualdad están por todas partes. Basta con observar las películas más taquilleras de 2014/2015 para ver que los personajes femeninos están muy infrarrepresentados tanto en el tiempo en pantalla como en el tiempo de diálogo. Los nuevos modelos de aprendizaje automático pueden cuantificar estas desigualdades, pero quedan muchas preguntas abiertas sobre cómo pueden los ingenieros atenuarlas de forma proactiva.
El reciente experimento de Google «Quick, Draw!» demuestra con claridad por qué es importante abordar los sesgos. El experimento invitó a usuarios de internet de todo el mundo a participar en un divertido juego de dibujo. En cada ronda, se retaba a los usuarios a dibujar un objeto en menos de 20 segundos. Luego, el sistema de IA intentaba adivinar qué representaba el dibujo. Más de 20 millones de personas de 100 países participaron en el juego, que dio lugar a más de 2.000 millones de dibujos diversos de todo tipo de objetos, como gatos, sillas, postales, mariposas, panorámicas urbanas, etc.
Pero cuando los investigadores examinaron los dibujos de zapatos del conjunto de datos, se dieron cuenta de que se enfrentaban a un fuerte sesgo cultural. Muchos de los primeros usuarios dibujaron zapatos que se parecían a las zapatillas Converse. Esto llevó al modelo a captar los atributos visuales típicos de las zapatillas como ejemplo prototípico de cómo debía ser un «zapato». Por consiguiente, los zapatos que no se parecían a las zapatillas, como los de tacón, las bailarinas o los zuecos, no se reconocían como zapatos.
Estudios recientes muestran que, si no se controlan, los modelos de aprendizaje automático aprenden estereotipos de género obsoletos, como que los «médicos» sean hombres y las «recepcionistas», mujeres. De forma similar, se ha demostrado que los modelos de IA entrenados con imágenes de expresidentes de Estados Unidos predicen que los candidatos exclusivamente masculinos serán los probables ganadores de la carrera presidencial.
Diseñar una IA justa
En octubre de 2018, la Conferencia Internacional de Comisionados de Protección de Datos y Privacidad publicó la Declaración sobre Ética y Protección en la Inteligencia Artificial, uno de los primeros pasos hacia un conjunto de principios internacionales de gobernanza de la IA. La declaración afirma que «deben reducirse y mitigarse los sesgos o las discriminaciones ilícitos que puedan derivarse del uso de datos en la inteligencia artificial». Esta idea implica que la IA debe evaluarse según un conjunto más amplio de criterios éticos y jurídicos, y no solo en función de la precisión de clasificación y las matrices de confusión. A partir de este argumento, propongo los siguientes principios de equidad de la IA para la justicia predictiva:
1. Representación
Para prevenir los sesgos injustos, todas las personas deben tener las mismas posibilidades de estar representadas en los datos. A veces, esto significa que es necesario incorporar cuidadosamente a las poblaciones infrarrepresentadas a los conjuntos de datos de entrenamiento. También puede significar que haya que volver a entrenar de manera sustancial un modelo de aprendizaje automático sesgado con fuentes de datos diversas. En el caso del experimento de Google Quick, Draw!, el equipo de ingeniería tuvo que buscar deliberadamente ejemplos adicionales de entrenamiento de otros tipos de zapatos, como zapatos de tacón y Crocs, para compensar las carencias de representación. Además, investigaciones recientes ofrecen nuevas técnicas algorítmicas para medir la representación insuficiente y ayudar a mitigar los sesgos no deseados en el aprendizaje automático.
2. Protección
Los sistemas de aprendizaje automático deben evitar causar efectos injustos en las personas, especialmente impactos relacionados con vulnerabilidades sociales y físicas, así como con otros atributos sensibles. Entre estos se pueden incluir la raza, la etnia, el género, la nacionalidad, la orientación sexual, la religión y las creencias políticas. La equidad general de un algoritmo debe juzgarse por el impacto que tiene en las personas más vulnerables a las que afecta.
Sin embargo, omitir simplemente las variables sensibles de los modelos de aprendizaje automático no resolvería el problema, debido a la variedad de factores de confusión que pueden estar correlacionados con ellas. En cuanto a la justicia penal, la investigación muestra que omitir la raza de un conjunto de datos sobre antecedentes penales sigue dando lugar a predicciones racialmente dispares. En cambio, hay indicios preliminares de que las disparidades raciales y otros datos sensibles pueden eliminarse de los conjuntos de datos mediante un algoritmo complementario de aprendizaje automático. Se espera que, en el futuro, este enfoque ayude a los ingenieros a crear un sistema de IA «neutral en cuanto a la raza» para predecir la reincidencia.
3. Custodia responsable
La equidad algorítmica significa mucho más que la ausencia de injusticia: representa la responsabilidad activa de esforzarse continuamente por lograr la equidad en el diseño de sistemas de aprendizaje automático. En este sentido, el espíritu de la custodia responsable solo puede encarnarlo un equipo diverso que cuestione las suposiciones implícitas de sus integrantes.
En los ejercicios periódicos de eliminación de sesgos inconscientes, por ejemplo, los equipos pueden aprender a valorar la diversidad de perspectivas. Varias ONG, entre ellas ProPublica y Privacy International, también han empezado a promover la custodia responsable de la diversidad en las empresas que crean modelos de IA a gran escala. Por tanto, solo mediante la creación de una cultura inclusiva pueden las empresas generar las condiciones adecuadas para que sus equipos aborden los sesgos injustos en el aprendizaje automático.
4. Autenticidad
El último principio se refiere no solo a la autenticidad de los datos de entrenamiento, sino también a la autenticidad de las predicciones de la IA cuando se utilizan para orientar la toma de decisiones humanas. Por ejemplo, pese a los esfuerzos continuos por limitar las aplicaciones potencialmente dañinas o abusivas, en el pasado el aprendizaje automático se ha utilizado, lamentablemente, para distorsionar la realidad mediante ultrafalsificaciones. En este contexto, el uso indebido generalizado de la IA podría ayudar a actores malintencionados a generar vídeos falsos de personas diciendo cosas que nunca dijeron, o imágenes falsas de situaciones que nunca ocurrieron en la vida real. En el caso extremo, esto podría conducir a un mundo en el que los jueces ya no pudieran determinar si los medios o las pruebas representados se corresponden con la verdad. Por eso, algunos comentaristas de los medios han llegado aconcluir que “la mayor víctima de la IA no serán los empleos, sino la erradicación total y definitiva de la confianza en todo lo que ves o escuchas”. Afortunadamente, los investigadores de IA ya están trabajando en medidas de contrapeso eficaces y escalables para detectar diversas formas de medios manipulados.
Máquinas contra el sesgo de las máquinas
Estos cuatro principios pueden ayudar a iniciar una conversación sobre la equidad de la IA, especialmente cuando se utiliza para la justicia predictiva. La equidad nunca es la opción predeterminada en el aprendizaje automático. Por ello, los ingenieros deben tomar medidas proactivas para cambiar esta opción predeterminada. Si no diseñamos activamente para promover la equidad de la IA, corremos el riesgo de perpetuar sesgos y estereotipos perjudiciales.
Sin embargo, una de las cosas más impresionantes de la IA es que los algoritmos también pueden utilizarse eficazmente para medir y mitigar los sesgos injustos. De cara al futuro, cabe esperar que los ingenieros amplíen estas técnicas para ayudar de forma significativa a quienes toman decisiones humanas, ofreciéndoles predicciones libres de prejuicios.
