Construyendo sistemas de datos más justos: lecciones a partir del sesgo racial en la atención médica

En una era en la que la toma de decisiones basada en datos determina cada vez más nuestro mundo, garantizar la justicia y la equidad en estos sistemas nunca ha sido más crítico. El entrenamiento de los modelos de IA y otros sistemas de datos ha sido, en ocasiones, responsable de perpetuar sesgos históricos en los resultados de los últimos sistemas de datos.

Un informe del Global Future Council on Data Equity, del Foro Económico Mundial propone un nuevo marco para definir y aplicar la equidad de datos como respuesta al riesgo de perpetuar viejos sesgos en la nueva tecnología.

Un ejemplo sorprendente de este sesgo se produjo con el análisis de un algoritmo utilizado en el sistema de atención médica estadounidense. La investigación reveló que el algoritmo había estado desfavoreciendo sistemáticamente a los pacientes negros que necesitaban atención compleja.

La causa radicaba en los datos utilizados para entrenar el algoritmo, que reflejaban el hecho de que los pacientes negros históricamente recibían tratamientos menos costosos debido a la desigualdad de ingresos y otras barreras de acceso a la atención médica.

El estudio concluyó que corregir este sesgo podría aumentar el porcentaje de pacientes negros que reciben atención adicional del 17,7% al 46,5%. Este caso subraya la necesidad crítica de una auditoría rigurosa de los algoritmos y la colaboración entre sectores para eliminar tales sesgos en los procesos de toma de decisiones.

Actualmente no existe un estándar o definición de equidad de datos acordado a nivel mundial. Para avanzar en la resolución del problema del sesgo, el Global Future Council on Data Equity del Foro ha elaborado una definición integral:

"La equidad de datos se puede definir como la responsabilidad compartida de prácticas de datos justas que respetan y promueven los derechos humanos, las oportunidades y la dignidad. La equidad de datos es una responsabilidad fundamental que requiere una acción estratégica, participativa, inclusiva y proactiva, colectiva y coordinada, para crear un mundo donde los sistemas basados ​​en datos promuevan resultados justos, equitativos y beneficiosos para todos los individuos, grupos y comunidades. Reconoce que las prácticas de datos - incluida la recopilación, curación, procesamiento, retención, análisis, administración y aplicación responsable de la información resultante - impactan significativamente los derechos humanos y el consiguiente acceso a los recursos y oportunidades sociales, económicos, naturales y culturales".

Esta definición destaca un punto crucial: la equidad de datos no es sólo cuestión de números. Se trata de cómo esos números impactan la vida de personas reales. Abarca todo el recorrido de los datos, desde cómo se recopilan y procesan hasta cómo se utilizan y quién se beneficia de su información.

Implementar la equidad de datos requiere un enfoque estructurado. El marco de equidad de datos, desarrollado por el Global Future Council, ofrece una herramienta para la reflexión, la investigación y la acción. Se basa en tres pilares principales: datos, personas y propósito.

Los tres pilares centrales del marco se desglosan de la siguiente manera:

La naturaleza de los datos: Este pilar se enfoca en cuán sensible es la información y quién puede acceder a ella. Por ejemplo, los registros de salud son altamente sensibles y requieren una protección estricta.

El propósito del uso de datos: Este pilar apunta a considerar factores como la confiabilidad, el valor, la originalidad y la aplicación. ¿Se están utilizando los datos éticamente? ¿Proporcionan un valor genuino a la sociedad?

Las personas involucradas: Esto aborda las relaciones entre los recopiladores de datos, los procesadores y los sujetos y las responsabilidades que vienen con el manejo de los datos. También considera la pericia de quienes manejan los datos y, crucialmente, quién es responsable de su uso.

Si volvemos al ejemplo anterior de los datos problemáticos de atención médica, podemos ver cómo se podrían aplicar estos principios. El informe del Global Future Council contiene las siguientes recomendaciones iniciales para eliminar el sesgo.

Etapa de entrada: Recopilar datos de salud más completos, incluidas medidas directas del estado de salud y las barreras para el acceso a la atención médica. Auditar las variables de entrada para detectar posibles discriminaciones indirectas.

Etapa de proceso: Mantener la transparencia en los procesos de recopilación de datos y puntuación algorítmica.

Etapa de salida: Auditar regularmente el impacto de las decisiones algorítmicas en los resultados de los pacientes en diferentes grupos raciales. Empoderar a los médicos para que señalen predicciones potencialmente sesgadas o incorrectas.

Construir sistemas de datos más justos no es una solución puntual: es un viaje continuo que exige supervisión, colaboración y un compromiso continuo e inquebrantable con la equidad en cada paso. Las lecciones que estamos aprendiendo al abordar el sesgo racial en los algoritmos de atención médica pueden y deben informar cómo abordamos la equidad de datos en otros sectores.

Autores colaboradores: Simon Torkington, Jornalista Senior, Agenda, y Stephanie Teeuwen, Especialista, Política de Datos e IA, Centro para la Cuarta Revolución Industrial, Foro Económico Mundial.