El software predictivo utilizado para automatizar la toma de decisiones a menudo discrimina a los grupos desfavorecidos. Las entidades prestamistas tienen un 80 % más de probabilidades de rechazar a los solicitantes negros que a los solicitantes blancos con perfiles similares.
Un nuevo enfoque ideado por Soheil Ghili, de la Yale SOM, y sus colegas podría reducir significativamente el sesgo y, al mismo tiempo, seguir ofreciendo resultados precisos.
El nuevo algoritmo evita la discriminación latente y, además, garantiza que dos solicitantes que difieran en género o raza, pero que por lo demás sean idénticos, reciban el mismo trato.
Las organizaciones recurren cada vez más a los algoritmos para fundamentar sus decisiones, ya sea al evaluar a solicitantes de préstamos o al estimar la probabilidad de que un delincuente reincida. Sin embargo, en estos programas informáticos aparentemente «objetivos» acechan sesgos ocultos. Una investigación reciente de The Markup concluyó que las entidades prestamistas tienen un 80 % más de probabilidades de rechazar a los solicitantes negros que a los solicitantes blancos con perfiles similares, una disparidad atribuida en gran medida a los algoritmos de aprobación de hipotecas de uso habitual.
Podría parecer que la solución obvia consiste en indicar al algoritmo que ignore la raza, es decir, eliminarla literalmente de la ecuación. Sin embargo, esta estrategia puede introducir un sesgo más sutil denominado «discriminación latente». Por ejemplo, es posible que las personas negras estén más concentradas en determinadas zonas geográficas. Así, el software vinculará la probabilidad de devolución del préstamo con la ubicación, utilizando esencialmente ese factor como indicador indirecto de la raza.
Los algoritmos pueden absorber el sesgo presente en la sociedad en general y, después, reforzarlo, afirma el profesor Soheil Ghili. «Se obtiene un modelo que implícitamente dice: “Quienes trataron con discriminación a este grupo tenían razón”».
En un nuevo estudio, Soheil Ghili, profesor adjunto de marketing en la Yale SOM, y sus colegas propusieron otra solución. En el sistema que proponen, los atributos sensibles, como el género o la raza, se incluyen cuando el software se «entrena» para reconocer patrones en datos antiguos. Sin embargo, al evaluar nuevos casos, esos atributos se enmascaran. Según Ghili, este enfoque «reducirá la discriminación de forma considerable sin reducir demasiado la precisión».
A medida que los algoritmos se utilizan para tomar decisiones cada vez más importantes, es necesario abordar el sesgo en los algoritmos, afirma Ghili. Si un algoritmo de reincidencia predice que las personas de determinada raza tienen más probabilidades de reincidir, pero la razón real es que esas personas son detenidas con más frecuencia aunque sean inocentes, entonces «se obtiene un modelo que implícitamente dice: “Quienes trataron con discriminación a este grupo tenían razón”», afirma Ghili.
Y si el resultado de un algoritmo provoca que se retengan recursos a los grupos desfavorecidos, este proceso injusto contribuye a crear un «círculo vicioso», afirma. Esas personas «van a quedar aún más marginadas».
El proceso de predicción que llevan a cabo los algoritmos de aprendizaje automático se desarrolla en dos etapas. En primer lugar, el algoritmo recibe datos de entrenamiento para que pueda «aprender» cómo se vinculan determinados atributos con ciertos resultados. Por ejemplo, un software que predice la reincidencia podría entrenarse con datos que contengan los datos demográficos y el historial de los delincuentes. En segundo lugar, el algoritmo recibe información sobre nuevos casos y predice, a partir de similitudes con casos anteriores, lo que sucederá.
Dado que eliminar los datos sensibles de los datos de entrenamiento puede dar lugar a discriminación latente, los investigadores deben buscar enfoques alternativos para reducir el sesgo. Una posibilidad consiste en aumentar las puntuaciones de las personas de grupos desfavorecidos, intentando al mismo tiempo maximizar la precisión de las predicciones.
En este escenario, sin embargo, dos solicitantes que sean idénticos salvo por su raza o género podrían recibir puntuaciones diferentes. Y este tipo de resultado «normalmente tiene el potencial de generar una reacción adversa», afirma Ghili.
Ghili colaboró con Amin Karbasi, profesor asociado de ingeniería eléctrica e informática en Yale, y con Ehsan Kazemi, actualmente en Google, para encontrar otra solución. Los investigadores desarrollaron un algoritmo al que denominaron «entrenar y enmascarar».
Durante el entrenamiento, el software recibe toda la información sobre casos anteriores, incluidos los atributos sensibles. Este paso garantiza que el algoritmo no asigne incorrectamente una importancia indebida a factores no relacionados, como la ubicación, que podrían actuar como indicadores indirectos de atributos sensibles. En el ejemplo del préstamo, el software identificaría la raza como un factor significativo que influye en la devolución del préstamo.
Pero en la segunda etapa, los atributos sensibles quedan ocultos. A todos los casos nuevos se les asigna el mismo valor para esos atributos. Por ejemplo, a efectos de la predicción, cada solicitante de préstamo podría considerarse un hombre blanco. Esto obligaría al algoritmo a fijarse más allá de la raza (y de los indicadores indirectos de la raza) al comparar a las personas.
«Para ser claros, entrenar y enmascarar no es, ni mucho menos, el único método existente que propone abordar el problema del sesgo algorítmico mediante la “conciencia” de los atributos sensibles, como el género o la raza, en lugar de la “inconsciencia”», afirma Ghili. «Pero a diferencia de la mayoría de los métodos propuestos, entrenar y enmascarar hace hincapié en ayudar a los grupos desfavorecidos, a la vez que garantiza que quienes sean idénticos en relación con todos los demás atributos no sensibles reciban el mismo trato.»
Los investigadores probaron su algoritmo con tres tareas: predecir la situación de ingresos de una persona, determinar si un solicitante de crédito pagaría sus facturas a tiempo y determinar si un delincuente reincidiría. Entrenaron el software con datos del mundo real y compararon los resultados con los de otros algoritmos.
El enfoque «entrenar y enmascarar» fue casi tan preciso como un algoritmo «sin restricciones», es decir, uno que no se había modificado para reducir la injusticia. Por ejemplo, el software sin restricciones predijo correctamente la situación de ingresos en el 82,5 % de los casos, mientras que la precisión del algoritmo «entrenar y enmascarar» en esa tarea fue del 82,3 %.
Otra ventaja de este enfoque es que evita lo que Ghili denomina «doble injusticia». Consideremos una situación con un grupo mayoritario y otro minoritario. Supongamos que, si todo fuera perfectamente justo, el grupo minoritario obtendría mejores resultados que el mayoritario en determinadas métricas, por ejemplo, porque tiende a tener un nivel educativo más alto. Sin embargo, debido a la discriminación, el grupo minoritario obtiene los mismos resultados que el mayoritario.
Ahora imaginemos que un algoritmo predice el rendimiento de las personas a partir de rasgos demográficos. Si los diseñadores del software intentan eliminar el sesgo simplemente minimizando la diferencia media de resultados entre grupos, este enfoque penalizará al grupo minoritario. El resultado correcto daría al grupo minoritario una puntuación media más alta que la del mayoritario, y no la misma puntuación.
El algoritmo «entrenar y enmascarar» no minimiza explícitamente la diferencia de resultados entre grupos, afirma Ghili. Por lo tanto, este problema de «doble injusticia» no surgiría.
Algunas organizaciones podrían priorizar que las puntuaciones medias de los grupos se mantengan lo más cercanas posible entre sí. En ese caso, el algoritmo «entrenar y enmascarar» podría no ser la opción adecuada.
Ghili afirma que la estrategia de su equipo podría no ser adecuada para todas las tareas, dependiendo de qué tipos de sesgo considere la organización más importantes de contrarrestar. Pero, a diferencia de otros enfoques, el nuevo algoritmo evita la discriminación latente y, además, garantiza que dos solicitantes que difieran en género o raza, pero que por lo demás sean idénticos, reciban el mismo trato.
«Si quieren conseguir estas dos cosas al mismo tiempo, creo que esto es para ustedes», afirma Ghili.
