El aprendizaje automático y la inteligencia artificial pueden mejorar considerablemente la salud; sin embargo, siguen requiriendo aportaciones humanas que pueden introducir sesgos inconscientes y sistémicos.
Para garantizar la equidad y mitigar posibles sesgos, las empresas deben tener en cuenta las limitaciones de la base de evidencia, de los conjuntos de datos y los algoritmos, así como el posible impacto en los grupos marginados.
Todas las empresas deberían invertir en comprender mejor la ciencia de datos en todos los niveles para prevenir los sesgos algorítmicos.
El aprendizaje automático y la inteligencia artificial forman cada vez más parte de la vida cotidiana. Esta tecnología emergente puede mejorar los procesos y hacerlos más precisos. Sin embargo, también puede agravar las desigualdades existentes al incorporar los sesgos inconscientes de quienes diseñan los sistemas y utilizar datos generados en sistemas inequitativos.
El aprendizaje automático es el proceso por el cual se introduce información en una computadora para que identifique patrones mediante algoritmos. Los patrones reconocidos se denominan modelos, que describen la información de forma metódica y permiten hacer predicciones sobre el mundo más allá de los datos iniciales. Cuando el producto es inteligencia artificial, la computadora puede aprender continuamente mientras realiza tareas basadas en los modelos iniciales.
Por ejemplo, si el objetivo es conocer las preferencias de compra de las personas, proporcionar a la computadora datos sobre sus historiales de compra puede permitirle identificar patrones en compras similares mediante algoritmos de agrupamiento. Puede crear modelos de preferencias y, en última instancia, recomendar artículos similares a las personas cuando busquen productos la próxima vez.
Incluso en esta explicación simplificada, surgen dos fuentes de sesgo algorítmico: los datos originales y el algoritmo, ambos creados por seres humanos. Entonces, ¿qué determina cuán justa o sesgada es la tecnología?
3 consideraciones para limitar los sesgos algorítmicos en las tecnologías sanitarias
1. Limitaciones de la base de evidencia
La primera fase para limitar los sesgos en la tecnología consiste en comprender el contexto en el que se opera. A menudo, los algoritmos incluyen supuestos derivados de investigaciones y publicaciones. Existe la suposición inherente de que la ciencia es concluyente, objetiva y libre de sesgos; sin embargo, la ciencia es un proceso. Para establecer bases sólidas de evidencia y construir su conjunto de evidencia, se necesitan múltiples estudios realizados por distintos investigadores en diversos grupos representativos de la población, cuyos resultados sean similares a lo largo del tiempo. Por desgracia, históricamente no se han priorizado la diversidad, la equidad ni la justicia, y una base de evidencia limitada no es realmente generalizable a todas las personas. Por eso es fundamental evaluar críticamente la literatura existente en cuanto a exhaustividad, equidad y aplicabilidad antes de aplicar cualquier supuesto.
Por ejemplo, los ensayos clínicos farmacéuticos han reclutado principalmente a hombres adultos blancos; sin embargo, sus resultados se generalizan a toda la población. Los algoritmos basados en estos resultados a menudo no representan con precisión a todos los grupos infrarrepresentados y pueden dar lugar a tecnologías sesgadas involuntariamente.
2. Limitaciones de los conjuntos de datos y los algoritmos
En la segunda fase, deben considerarse las limitaciones de 1) los datos con los que aprenderá la computadora y 2) los algoritmos utilizados. Aunque estas parezcan preguntas detalladas destinadas a especialistas en ciencia de datos, la decisión tiene un enorme impacto en el resultado; por ello, las áreas de negocio deben, como mínimo, conocer los métodos y poder comunicar los resultados teniendo presentes sus limitaciones.
Por ejemplo, las puntuaciones crediticias se determinan mediante modelos que intentan detectar comportamientos financieramente riesgosos y malos hábitos. Sin embargo, históricamente se han ofrecido productos abusivos a grupos marginados, lo que provoca una acumulación cada vez mayor de deuda que luego queda reflejada en los datos. Este es uno de muchos ejemplos que amplifican el sesgo sistémico en los datos mediante modelos y siguen perjudicando a una población mientras benefician a otra, especialmente a través de un sistema de puntuación de uso tan frecuente y generalizado.
Comprender el contexto y las limitaciones, y moderar la interpretación de los resultados, es un paso importante en el que deben participar la unidad de negocio y los líderes de la empresa.
3. Impacto de las nuevas tecnologías en las comunidades marginadas
El impacto negativo de la tecnología y los sesgos algorítmicos quizá no sea intencional; sin embargo, la solución a las desigualdades sanitarias sí debe serlo. Por lo tanto, en la tercera fase, las áreas de desarrollo y de negocio deben ser diversas y multidisciplinarias, e incluir especialistas en la materia y representantes de las comunidades para contextualizar los resultados y reflexionar críticamente sobre los posibles desenlaces. Además, es fundamental evaluar la evidencia posterior a la comercialización y del mundo real una vez que las tecnologías lleven cierto tiempo en uso, y ser transparentes y rendir cuentas por esos resultados.
Por ejemplo, existen algoritmos basados en la raza para la toma de decisiones médicas. En teoría, los algoritmos reducen las disparidades, aunque históricamente no ha sido así. Por ejemplo, hay modelos que estiman la tasa de filtración renal para determinar si los pacientes necesitan tratamiento especializado o cumplen los requisitos para recibir un trasplante. Antes, el modelo predecía tasas de filtración más altas para los pacientes negros (es decir, parecerían menos enfermos).
Por desgracia, las políticas resultantes provocaron una mayor progresión de la enfermedad y retrasaron las derivaciones para trasplantes de las personas negras. Un estudio estima que, si los modelos siguieran utilizándose, aproximadamente 68.000 adultos negros no serían derivados a atención especializada (las estimaciones poblacionales se calcularon a partir de la publicación de Diao et al. y del conjunto de datos de la Encuesta sobre la Comunidad Estadounidense ACSDT5Y2020). Al mismo tiempo, otras 16.000 personas no cumplirían los requisitos para entrar en la lista de espera de trasplantes. Este resultado es especialmente indeseable, dado que la incidencia de la enfermedad renal terminal es tres veces mayor en las personas negras que en las blancas.
Se podrían haber tomado medidas antes para evitar que la atención inequitativa empeorara tras la implementación de estas prácticas clínicas, pero ese no es el tema central. La cuestión es que ni la aplicación del algoritmo ni su posible impacto se analizaron a fondo o se contextualizaron en el marco de la epidemiología y la inequidad de la insuficiencia renal.
Más allá de los sesgos algorítmicos
A medida que la ciencia de datos se convierte en una herramienta generalizada, las organizaciones deben asegurarse de que esas tecnologías no se limiten a automatizar los sesgos algorítmicos existentes. Al abordar estas tres consideraciones clave, contar con equipos multidisciplinarios y mantener la rendición de cuentas tras la puesta en uso de la tecnología, las organizaciones pueden ayudar a mitigar los sesgos algorítmicos, evitar que se agraven las desigualdades existentes y contribuir a crear un entorno más equitativo.
Y, sobre todo, la ciencia de datos ha llegado para quedarse en todos los sectores. Por lo tanto, para maximizar su uso con miras a lograr resultados transformadores y evitar errores de principiante, todas las empresas deberían invertir en comprender mejor la ciencia de datos en todos los niveles.
