La inteligencia artificial está adquiriendo un papel cada vez más central en la toma de decisiones de alto impacto dentro de nuestras instituciones sociales más importantes. Ha llegado a nuestros hospitales, tribunales y oficinas de empleo, y decide quién obtiene un seguro, quién recibe la libertad condicional, y quién consigue un empleo. Aunque en muchos casos se pretende que el uso de la IA aumente la eficiencia y la eficacia al superar errores y sesgos inherentes a la toma de decisiones humanas, los riesgos del sesgo algorítmico—cuando un algoritmo adopta los prejuicios de sus creadores o de los datos con los que se alimenta— pueden amplificar la discriminación, en lugar de corregirla.
Debemos reconocer que los algoritmos no son neutrales. Reflejan los datos y los supuestos inherentes a sus cálculos. Si se introducen datos prejuiciosos en un algoritmo o se priorizan factores que reflejan sesgos sociales existentes, se obtendrán resultados discriminatorios. Los algoritmos funcionan dando prioridad a ciertos factores: identifican patrones estadísticos a partir de variables observadas y latentes y, posteriormente, ofrecen conclusiones del tipo «si ocurre esto, entonces aquello». Al suponer que ciertos factores predicen adecuadamente un resultado y que las tendencias históricas se repetirán, un algoritmo puede presentar un sesgo que se refuerza a sí mismo. Para quienes están sobrerrepresentados, infrarrepresentados o representados de forma inexacta en los datos y los cálculos, las decisiones que se toman en su nombre pueden perpetuar la desigualdad.
A la gente le preocupa que las computadoras se vuelvan demasiado inteligentes y dominen el mundo, pero el verdadero problema es que son demasiado estúpidas y ya han dominado el mundo.
undefined
- Pedro Domingos, The Master Algorithm
Para ponerlo en contexto, veamos los modelos de policía predictiva y las predicciones de riesgo de los seguros médicos. Los modelos de policía predictiva utilizan registros históricos de delitos, incluidos la fecha, la hora y el lugar, para generar mapas de zonas donde es probable que se cometan delitos. Como es mucho más probable que la policía haya vigilado a las comunidades minoritarias y de bajos ingresos que a los barrios blancos prósperos, los datos históricos sobre delitos que constituyen la base de la policía predictiva ofrecerán una imagen sesgada y mostrarán índices de delincuencia más altos en las comunidades que han sido objeto de más patrullas. Como resultado, la policía predictiva puede amplificar los sesgos raciales al perpetuar la vigilancia de las comunidades minoritarias y de bajos ingresos.
En el caso de los seguros médicos, las aseguradoras ahora pueden predecir los riesgos futuros para la salud de una persona mediante la combinación de miles de fuentes de datos «de terceros» no tradicionales, como el historial de compras y la salud de sus vecinos. Aunque el uso de estos datos puede permitir a la aseguradora predecir con precisión el riesgo, también significa que a las personas en riesgo podrían cobrarles primas que no pueden pagar o podrían denegarles por completo la cobertura. Para quienes viven en comunidades que han afrontado problemas de salud sistémicos, estos modelos predictivos pueden perpetuar las desigualdades en materia de salud.
A medida que se recurre cada vez más a la IA para tomar decisiones trascendentales que afectan los derechos sociales, políticos y económicos, es imperativo garantizar que estos sistemas se diseñen y utilicen de manera que respeten los principios de equidad, rendición de cuentas y transparencia. Hay dos formas de garantizar mejor que estos principios estén integrados en la IA y conduzcan a una toma de decisiones más eficiente y también más equitativa.
Aplicar el «análisis de sistemas sociales»
En términos generales, los sesgos se incorporan a los algoritmos mediante la integración de datos cargados de valores y la priorización de factores subjetivos. Los conjuntos de datos incompletos, no estandarizados o recopilados con herramientas de medición defectuosas pueden ofrecer una imagen falsa de la realidad. Además, es probable que los datos recopilados sobre un proceso que refleja por sí mismo una desigualdad social arraigada la perpetúen.
Por ejemplo, un algoritmo entrenado con un conjunto de datos de un sector que tendía a contratar y ascender a hombres caucásicos podría dar lugar a que se priorice sistemáticamente a esos candidatos frente a otros. Al analizar los datos y los supuestos mediante un enfoque de «análisis de sistemas sociales»—en el que quienes desarrollan los sistemas cuestionan y corrigen el impacto de las desigualdades sociales sistémicas en los datos con los que se entrenan los sistemas de IA—, es posible identificar y corregir los sesgos antes, reduciendo el riesgo de afianzar la discriminación mediante la IA. Esto lleva a la siguiente recomendación: los equipos más diversos estarán mejor preparados para identificar los sesgos.
Incorporar la diversidad en cada etapa
La diversidad debe incorporarse en cada etapa del proceso de IA, desde el diseño y la implementación hasta el cuestionamiento de sus efectos en la toma de decisiones. Las investigaciones han demostrado que los equipos más diversos resuelven problemas con mayor eficiencia, independientemente del coeficiente intelectual acumulado. Prestar atención explícita a la inclusión en el diseño, la aplicación y la evaluación de los efectos de la toma de decisiones asistida por IA no solo minimizará los efectos discriminatorios involuntarios, sino que también puede convertir el diseño y la aplicación de la IA en una fuerza impulsora de una mayor inclusión social, económica y política.
La inteligencia artificial se encuentra en un punto de inflexión. Su desarrollo y aplicación pueden aportar beneficios sin precedentes frente a desafíos mundiales como el cambio climático, la inseguridad alimentaria, la atención sanitaria y la educación. Sin embargo, su aplicación debe gestionarse con cuidado para garantizar que conduzca a una economía y una sociedad digitales más equitativas, y no más discriminatorias.
