El sesgo humano existente se transfiere con demasiada frecuencia a la inteligencia artificial.
Estos son cinco tipos de sesgo y cómo abordarlos.
¿Puede imaginar un mundo justo y equitativo en el que todas las personas, independientemente de su edad, género o clase social, tengan acceso a una atención sanitaria excelente, a alimentos nutritivos y a otras necesidades humanas básicas? ¿Son capaces las tecnologías basadas en datos, como la inteligencia artificial y la ciencia de datos, de lograrlo, o el sesgo que ya impulsa los resultados en el mundo real acabará por extenderse también al mundo digital?
El sesgo representa una injusticia contra una persona o un grupo. Gran parte del sesgo humano existente puede transferirse a las máquinas, porque las tecnologías no son neutrales: son tan buenas o tan malas como las personas que las desarrollan. Para explicar cómo el sesgo puede dar lugar a prejuicios, injusticias y desigualdades en organizaciones empresariales de todo el mundo, destacaré dos ejemplos reales en los que se identificó un sesgo en la inteligencia artificial y se mitigó el riesgo ético.
En 2014, un equipo de ingenieros de software de Amazon estaba desarrollando un programa para revisar los currículos de los solicitantes de empleo. Por desgracia, en 2015 se dieron cuenta de que el sistema discriminaba a las mujeres en los puestos técnicos. Los reclutadores de Amazon no utilizaron el software para evaluar a los candidatos debido a estos problemas de discriminación y equidad. Mientras tanto, en 2019, los legisladores de San Francisco votaron en contra del uso del reconocimiento facial, al considerar que era propenso a errores cuando se utilizaba con personas de piel oscura o con mujeres.
El Instituto Nacional de Estándares y Tecnología (NIST) de Estados Unidos llevó a cabo una investigación en la que evaluó algoritmos de reconocimiento facial de unos 100 desarrolladores pertenecientes a 189 organizaciones, entre ellas Toshiba, Intel y Microsoft. Al referirse a las alarmantes conclusiones, uno de los autores, Patrick Grother, afirma: «Aunque por lo general es incorrecto hacer afirmaciones sobre todos los algoritmos, encontramos evidencia empírica de la existencia de diferencias demográficas en la mayoría de los algoritmos que estudiamos.”
Entre las fuentes de riesgos para la equidad y la no discriminación en el uso de la inteligencia artificial se encuentran: el sesgo implícito, el sesgo de muestreo, el sesgo temporal, el sobreajuste a los datos de entrenamiento y los casos límite y los valores atípicos.
Sesgo implícito
El sesgo implícito es una discriminación o un prejuicio contra una persona o un grupo de la que la persona que lo tiene no es consciente. Es peligroso porque quien lo sufre desconoce el sesgo, ya sea por motivos de género, raza, discapacidad, orientación sexual o clase social.
Sesgo de muestreo
Se trata de un problema estadístico en el que los datos aleatorios seleccionados de la población no reflejan la distribución de esta. Los datos de la muestra pueden estar sesgados hacia algún subconjunto del grupo.
Sesgo temporal
Este sesgo se basa en nuestra percepción del tiempo. Podemos crear un modelo de aprendizaje automático que funcione bien en este momento, pero que falle en el futuro porque no tuvimos en cuenta posibles cambios futuros al construir el modelo.
Sobreajuste a los datos de entrenamiento
Esto ocurre cuando el modelo de IA puede predecir con precisión valores del conjunto de datos de entrenamiento, pero no puede predecir con precisión datos nuevos. El modelo se ajusta en exceso al conjunto de datos de entrenamiento y no se generaliza a una población más amplia.
Casos límite y valores atípicos
Se trata de datos situados fuera de los límites del conjunto de datos de entrenamiento. Los valores atípicos son puntos de datos situados fuera de la distribución normal de los datos. Los errores y el ruido se clasifican como casos límite: los errores son valores ausentes o incorrectos en el conjunto de datos; el ruido son datos que afectan negativamente al proceso de aprendizaje automático.
Cómo identificar los riesgos para la equidad y la no discriminación
Técnicas analíticas
Las técnicas analíticas exigen una evaluación minuciosa de los datos de entrenamiento para detectar sesgos de muestreo y representaciones desiguales de grupos en dichos datos. Puede investigar la fuente y las características del conjunto de datos. Compruebe el equilibrio de los datos. Por ejemplo, ¿está representado un género o una raza más que el otro? ¿Es el volumen de datos suficientemente grande para el entrenamiento? ¿Se ignoran algunos grupos?
Un estudio reciente sobre los préstamos hipotecarios reveló que los modelos predictivos utilizados para conceder o denegar préstamos no son precisos para las minorías. Scott Nelson, investigador de la Universidad de Chicago, y Laura Blattner, economista de la Universidad de Stanford, descubrieron que la razón de la diferencia en la aprobación de hipotecas entre el grupo mayoritario y el minoritario es que los grupos de bajos ingresos y minoritarios tienen menos datos documentados en sus historiales crediticios. Sin un análisis sólido de los datos, la causa del sesgo pasará desapercibida y seguirá siendo desconocida.
Pruebe el modelo en distintos entornos
¿Qué ocurre si el entorno en el que se entrenaron los datos no es adecuado para una población más amplia? Exponga su modelo a entornos y contextos variados para obtener nuevos conocimientos. Lo que se quiere es asegurarse de que el modelo pueda generalizarse a un conjunto más amplio de escenarios.
Una revisión de un algoritmo de predicción de riesgos basado en la atención sanitaria que se utilizó con unos 200 millones de ciudadanos estadounidenses mostró sesgo racial. El algoritmo predice qué pacientes deben recibir atención médica adicional. Se descubrió que el sistema favorecía a los pacientes blancos frente a los negros. El problema del desarrollo del algoritmo es que no se sometió a pruebas adecuadas con todas las principales razas antes de su implementación.
Estrategias para mitigar los riesgos para la equidad y la no discriminación
Diseño inclusivo y previsión
El diseño inclusivo pone énfasis en la inclusión en el proceso de diseño. El producto de IA debe diseñarse teniendo en cuenta a grupos diversos, como los definidos por género, raza, clase y cultura. La previsión consiste en anticipar el impacto que tendrá el sistema de IA en el presente y a lo largo del tiempo.
Una investigación reciente publicada por el Journal of the American Medical Association (JAMA) revisó más de 70 publicaciones académicas basadas en la capacidad diagnóstica de los médicos frente a sus «dobles digitales» en varias áreas de la medicina clínica. Gran parte de los datos utilizados para entrenar los algoritmos procedían de solo tres estados: Massachusetts, California y Nueva York. ¿Se generalizará bien el algoritmo a una población más amplia?
Muchos investigadores están preocupados por los algoritmos para la detección del cáncer de piel. La mayoría de ellos no funcionan bien para detectar el cáncer de piel en personas de piel más oscura, porque se entrenaron principalmente con individuos de piel clara. Los desarrolladores del modelo de detección del cáncer de piel no aplicaron los principios del diseño inclusivo en el desarrollo de sus modelos.
Realice pruebas con usuarios
Las pruebas son una parte importante del desarrollo de un nuevo producto o servicio. En este caso, las pruebas con usuarios consisten en que representantes de los diversos grupos que utilizarán su producto de IA lo prueben antes de su lanzamiento.
Análisis STEEPV
Se trata de un método para realizar un análisis estratégico de los entornos externos. Es un acrónimo de social (es decir, actitudes sociales, cultura y demografía), tecnológico, económico (es decir, tipos de interés, crecimiento e inflación), ambiental, político y de valores. Realizar un análisis STEEPV le ayudará a detectar en la práctica riesgos para la equidad y la no discriminación.
¿Qué está haciendo el Foro Económico Mundial en materia de diversidad, equidad e inclusión?
El Centro para la Nueva Economía y la Sociedad conecta a líderes para comprender cómo el cambio económico y tecnológico está transformando los empleos, las competencias y las oportunidades.
Mediante el intercambio de conocimientos y la colaboración, el Centro permite a sus socios explorar modelos económicos inclusivos que apoyen a las personas y las sociedades durante la transición.
Es muy fácil que el sesgo existente en nuestra sociedad se transfiera a los algoritmos. Vemos cómo la discriminación por raza y género se perpetúa con facilidad en el aprendizaje automático. Las organizaciones empresariales necesitan con urgencia ser más proactivas para garantizar la equidad y la no discriminación a medida que aprovechan la IA para mejorar la productividad y el rendimiento. Una posible solución es contar con un especialista en ética de la IA en su equipo de desarrollo que detecte y mitigue los riesgos éticos desde el inicio del proyecto, antes de invertir mucho tiempo y dinero.
