Un estudio concluye que los algoritmos utilizados por los sistemas modernos de IA producen resultados discriminatorios porque se entrenan con datos en los que están arraigados los sesgos sociales.
Estos resultados de búsqueda pueden fomentar el sesgo de género entre los usuarios e influir potencialmente en las decisiones de contratación, informan los investigadores.
Los hallazgos del estudio reclaman un modelo ético de IA que combine la psicología humana con los algoritmos de búsqueda en internet para poner de manifiesto y mitigar los sesgos.
Según un nuevo estudio, las búsquedas en internet con términos neutrales respecto al género arrojan resultados en los que, aun así, predominan los hombres.
Estos resultados de búsqueda afectan a los usuarios al fomentar el sesgo de género e influir potencialmente en las decisiones de contratación, informan los investigadores.
El trabajo, publicado en la revista Proceedings of the National Academy of Sciences, es uno de los estudios más recientes que revelan cómo la inteligencia artificial (IA) puede alterar nuestras percepciones y acciones.
«Crece la preocupación por que los algoritmos utilizados por los sistemas modernos de IA produzcan resultados discriminatorios, presumiblemente porque se entrenan con datos que incorporan los sesgos sociales», afirma Madalina Vlasceanu, investigadora posdoctoral del Departamento de Psicología de la Universidad de Nueva York y autora principal del artículo.
«Estos hallazgos reclaman un modelo de IA ética que combine la psicología humana con enfoques computacionales y sociológicos para poner de manifiesto la formación y el funcionamiento de los sesgos algorítmicos, y mitigarlos», afirma el autor David Amodio, profesor del Departamento de Psicología de la Universidad de Nueva York y de la Universidad de Ámsterdam.
Los expertos en tecnología han expresado su preocupación por que los algoritmos utilizados por los sistemas modernos de IA produzcan resultados discriminatorios, presumiblemente porque se entrenan con datos en los que están arraigados los sesgos sociales.
«Algunas ideas sobre el género propias de la década de 1950 siguen arraigadas en nuestros sistemas de bases de datos», dijo Meredith Broussard, autora de Artificial Unintelligence: How Computers Misunderstand the World (MIT Press, 2018) y profesora del Instituto de Periodismo Arthur L. Carter de la Universidad de Nueva York, a Markup a principios de este año.
El uso de la IA por parte de quienes toman decisiones puede propagar las disparidades existentes, en lugar de reducirlas, afirman Vlasceanu y Amodio.
Para abordar esta posibilidad, realizaron estudios con el fin de determinar si el grado de desigualdad en una sociedad guarda relación con los patrones de sesgo en los resultados algorítmicos y, de ser así, si la exposición a esos resultados podría influir en quienes toman decisiones para que actúen de acuerdo con dichos sesgos.
En primer lugar, recurrieron al Índice Global de Brecha de Género (GGGI), que incluye clasificaciones de la desigualdad de género en más de 150 países. El GGGI refleja la magnitud de la desigualdad de género en la participación y las oportunidades económicas, el nivel educativo, la salud y la supervivencia, y el empoderamiento político en 153 países, y ofrece así puntuaciones de desigualdad de género social para cada país.
A continuación, para evaluar el posible sesgo de género en los resultados de búsqueda, o resultados algorítmicos, examinaron si se suele asumir que palabras que deberían referirse con la misma probabilidad a un hombre o a una mujer, como «persona», «estudiante» o «ser humano», aluden más a menudo a un hombre. Para ello, realizaron búsquedas de imágenes de Google con la palabra «persona» en el idioma local predominante de 37 países. Los resultados mostraron que la proporción de imágenes de hombres obtenidas en esas búsquedas era mayor en los países con más desigualdad de género, lo que reveló que el sesgo de género algorítmico refleja la desigualdad de género social.
Los investigadores repitieron el estudio tres meses después con una muestra de 52 países, 31 de los cuales habían participado en el primer estudio. Los resultados coincidieron con los del estudio inicial y confirmaron que las disparidades de género a nivel social se reflejan en los resultados algorítmicos (es decir, en las búsquedas en internet).
Vlasceanu y Amodio se propusieron entonces determinar si la exposición a esos resultados algorítmicos —los resultados de los motores de búsqueda— puede moldear las percepciones y decisiones de las personas de formas acordes con las desigualdades sociales preexistentes.
Para ello, realizaron una serie de experimentos con cerca de 400 participantes estadounidenses, mujeres y hombres en total.
En estos experimentos, se dijo a los participantes que estaban viendo resultados de búsquedas de imágenes de Google de cuatro profesiones con las que probablemente no estaban familiarizados: fabricante de velas, pañero, fabricante de pelucas y lapidario. La composición por género del conjunto de imágenes de cada profesión se eligió para representar los resultados de búsqueda de imágenes de Google de la palabra clave «persona» en países con altos niveles de desigualdad de género a escala mundial (aproximadamente un 90 % de hombres y un 10 % de mujeres en Hungría o Turquía), así como en países con niveles bajos (aproximadamente un 50 % de hombres y un 50 % de mujeres en Islandia o Finlandia), según el estudio de 52 países mencionado anteriormente. Esto permitió a los investigadores imitar los resultados de las búsquedas en internet en distintos países.
Antes de ver los resultados de búsqueda, los participantes hicieron juicios sobre la prototipicidad de cada profesión (por ejemplo, «¿Quién tiene más probabilidades de ser fabricante de pelucas, un hombre o una mujer?»), que sirvieron como evaluación de referencia de sus percepciones. En esta etapa, tanto las mujeres como los hombres participantes juzgaron que era más probable que quienes ejercían estas profesiones fueran hombres que mujeres.
Sin embargo, al plantearles las mismas preguntas después de que vieran los resultados de búsqueda de imágenes, los participantes en las condiciones de baja desigualdad invirtieron sus prototipos sesgados hacia los hombres con respecto a la evaluación de referencia. En cambio, quienes estaban en la condición de alta desigualdad mantuvieron sus percepciones, reforzando así sus percepciones de estos prototipos.
A continuación, los investigadores evaluaron cómo los sesgos impulsados por las búsquedas en internet podrían influir en las decisiones de contratación. Para ello, pidieron a los participantes que juzgaran la probabilidad de que contrataran a un hombre o a una mujer en cada profesión («¿Qué tipo de persona tiene más probabilidades de ser contratada como fabricante de pelucas?») y que, al mostrarles imágenes de dos candidatos al puesto —una mujer y un hombre— en esa profesión, eligieran a quién contratar (por ejemplo, «Elija a uno de estos candidatos para un puesto de fabricante de pelucas»).
En consonancia con los demás resultados experimentales, la exposición a imágenes en la condición de baja desigualdad produjo juicios más igualitarios sobre las tendencias a contratar hombres frente a mujeres en una profesión, así como una mayor probabilidad de elegir a una candidata, en comparación con la exposición a conjuntos de imágenes de la condición de alta desigualdad.
«Estos resultados sugieren un ciclo de propagación del sesgo entre la sociedad, la IA y los usuarios», escriben Vlasceanu y Amodio. Añaden que los «hallazgos demuestran que los niveles de desigualdad social se reflejan en los algoritmos de búsqueda en internet y que la exposición a estos resultados algorítmicos puede llevar a los usuarios a pensar y, potencialmente, actuar de formas que refuercen la desigualdad social».
