Los algoritmos ocultos que funcionan como “armas de destrucción matemática”

Algunos algoritmos -vitales para decidir cosas que nos afectan directamente (como la cesión de un préstamo o la obtención de un trabajo)- se basan enestadísticas falsas o sesgadas que fomentan la desigualdad y la discriminación en el mundo. Al menos, así lo asegura Cathy O'Neil.

La exprofesora del prestigioso Barnard College de la Universidad de Columbia, en EE.UU., quien trabajó como analista de datos en Wall Street, dejó el mundo académico y financiero para convertirse en uno de los miembros más activos del movimiento Ocuppy Wall Street (OWS), que denunció los excesos del sistema financiero a partir de 2011.

Cinco años después de que naciera aquel movimiento intelectual, O'Neil acaba de publicar su libro, "Weapons of Math Destruction"(Armas de destrucción matemática), en el que describe cómo los algoritmos gobiernan nuestras vidas (y tienden a desfavorecer a los más desfavorecidos).

"Cada vez en mayor medida, las decisiones que afectan nuestras vidas -a qué escuela ir, si podemos o no obtener un préstamo o cuánto pagamos por nuestro seguro sanitario- no están tomadas por humanos, sino por modelos matemáticos".

En teoría, explica la especialista, esto debería conducir a una mayor equidad, de forma que todo el mundo fuera juzgado bajo las mismas reglas y se eliminara el sesgo. Pero, según O'Neil, lo que ocurre es exactamente todo lo contrario.

Los algoritmos funcionan a modo de "recetas" creadas por computadoras para analizar grandes cantidades de datos.

Hay ciertos algoritmos que O'Neil define como "opacos, desregulados e irrefutables". Pero lo más preocupante, asegura, es que refuerzan la discriminación.

La primera característica de estos algoritmos, le cuenta O'Neil al Servicio Mundial de la BBC, es que "toman decisiones muy importantes en la vida de las personas".

Por ejemplo, si un estudiante pobre en EE.UU. trata de pedir un préstamo, el sistema lo rechazará por ser demasiado "arriesgado" (en virtud de su raza o vecindario) y será aislado de un sistema educativo que podría sacarle de la pobreza, quedando atrapado en un círculo vicioso.

Este es tan sólo un ejemplo de cómo esos algoritmos respaldan a los más afortunados y castigan a los más oprimidos,creandoun "cóctel tóxico para la democracia", explica O'Neil.

Pero, además, la académica dice que "(esos algortimos) son, en cierto sentido, opacos: la gente no comprende cómo son computarizados. Y, a veces, son secretos".

"Una de las cosas que más me preocupa es que estas puntuaciones -los algoritmos nos avalúan y puntúan- no son visibles para nosotros", explica.

"Por ejemplo, cuando llamamos al servicio al cliente (de una empresa) a veces nos puntúan según nuestro número de teléfono y el perfil que tienen registrado de nosotros. Y deciden si somos un cliente de alto o de bajo valor. Si somos de valor reducido, puede que nos hagan esperar más tiempo".

De acuerdo con la matemática, esos modelos ocultos manejan nuestras vidasdesde que empezamos la escuela primaria hasta que nos jubilamos.

Los modelos están presentes en infinitos aspectos de nuestra vida personal y profesional: controlan resultados académicos de estudiantes y alumnos, clasifican currículos vitae, conceden o deniegan becas, evalúan a trabajadores, determinan votantes, establecen penas de libertad condicional y vigilan nuestra salud.

Y todos ellos, dice O'Neil, esconden bucles de retroalimentación perjudiciales. Pero ¿qué quiere decir eso?

Simplemente, no describen la realidad tal y como es, sino que la modifican,expandiendo o limitando nuestras oportunidades en la vida.

"Estos algoritmos son destructivos y debilitan su propio objetivo original, como la mejora del sistema educativo, por ejemplo", dice O'Neil.

"Uno de mis ejemplos favoritos es el modelo de puntuación de valor agregado del profesor, y está muy extendido en Estados Unidos. Tiene que ver con el esfuerzo para librarse de los malos profesores".

"Los resultados de los alumnos están informatizados, y los maestros ganan puntos si sus estudiantes obtienen mejores resultados de lo esperado (y viceversa). El verdadero problema es que nadie entiende (este sistema) realmente, lo cual estaría bien si funcionara a la perfección. Pero no es el caso", advierte la exanalista.

Lo que ocurre, asegura, es que tienen "mucho ruido estadístico" y son "inconsistentes". De hecho, algunos profesores han sido despedidos por fallas en esta tecnología, señala.

O'Neil dice que las personas encargadas de la modelación (y fabricación) de esos algoritmos deberían asumir una mayor responsabilidad sobre cómo se están usando estos modelos matemáticos.

Pero, al final, está en nuestras manos informarnos más sobre ello, hacernos las preguntas adecuadas y comprender mejor cómo funcionan los modelos matemáticos que rigen nuestras vidas.

"Es muy difícil luchar contra sistemas de puntuación que ni siquiera sabes que existen. Por eso, una de las cosas que reivindico en mi libro es que la gente los rebata".

"Hay muchas formas de adelantarnos al sistema. Por ejemplo, si hago una búsqueda en internet sobre un problema de salud siempre lo hago desde una ventana de incógnito", dice O'Neil.

La clave, advierte, es "asegurarse de que las personas (y los algoritmos) que recopilan información sobre ti en internet no obtienen 'malas noticias'".