Palabra de dios. Por mandato real. Es la economía, estúpido. La historia ofrece constantemente ejemplos de cómo las personas recurrimos al mito de la autoridad superior para revestir de una supuesta justicia objetiva nuestras decisiones. Para Cathy O'Neil, los algoritmos son el siguiente mito en esa lista.
O'Neil, matemática doctorada en Harvard, posdoctorada en el MIT, fue una de las primeras en señalar que nuestro nuevo emperador también está desnudo. Un algoritmo (o la celebrada Inteligencia Artificial, que "no es más que un término de marketing para nombrar a los algoritmos") es tan machista, racista o discriminador como aquel que lo diseña. Mal programados, pueden llegar a ser Armas de Destrucción Matemática (Capitán Swing), como detalla en su libro sobre el peligro que representan para la democracia.
Defiende que se ha creado una diferencia entre lo que la gente piensa que es un algoritmo y lo que realmente es un algoritmo. ¿Cuál es?
La gente piensa que un algoritmo es un método para tratar de llegar a una verdad objetiva. Hemos desarrollado una fe ciega en ellos porque pensamos que hay una autoridad científica detrás de ellos.
En la realidad es algo tonto, básicamente un sistema de perfiles demográficos generado a partir del big data. Averigua si eres un cliente que paga o cuáles son tus posibilidades para comprar una casa en base a pistas que has ido dejando cuál es tu clase social, tu riqueza, tu raza, tu etnia…
¿Qué es un arma de destrucción matemática?
Es un algoritmo importante, secreto y destructivo. Injusto para los individuos que evalúa.
Normalmente son un sistema de puntuación. Si tienes una puntuación lo suficientemente elevada se te da una opción, pero si no la consigues se te deniega. Puede ser un puesto de trabajo o la admisión en la universidad, una tarjeta de crédito o una póliza de seguros. Te asigna una puntuación de manera secreta, no puedes entenderla, no puedes plantear un recurso. Utiliza un método de decisión injusto.
Sin embargo, no solo es algo injusto para el individuo, sino que normalmente este sistema de decisión es algo destructivo también para la sociedad. Con los algoritmos estamos tratando de trascender el prejuicio humano, estamos tratando de poner en marcha una herramienta científica. Si fracasa para los individuos hace que la sociedad entre un bucle destructivo, porque aumenta la desigualdad progresivamente.
Pero también puede ser algo más preciso. Puede ser un algoritmo para decidir quién accede a la libertad condicional racista, uno que determina qué barrios sufren una mayor presión policial en función de la presencia de minorías...
¿A quién le pedimos cuentas cuando un algoritmo discrimina?
Es una buena pregunta. La semana pasada salió a la luz que luz que Amazon tenía un algoritmo de selección de personal sexista. Cada vez que ocurre algo así, las empresas se muestran sorprendidas, toda la comunidad tecnológica se muestra sorprendida. En realidad es una reacción fingida, hay ejemplos de algoritmos discriminatorios por todas partes.
Si admitieran que los algoritmos son imperfectos y que potencialmente pueden ser racistas o sexistas, ilegales, entonces tendrían que abordar este problema para todos los algoritmos que están utilizando. Si hacen como si nadie supiera nada pueden seguir sosteniendo esta fe ciega en los algoritmos, que ellos no tienen, pero que saben que el resto del público tiene.
Por eso escribí el libro, para que la gente deje de estar intimidada por los modelos matemáticos. No hay que abandonar la automatización ni dejar de confiar en los algoritmos, pero sí exigir que rindan cuentas. Sobre todo cuando actúan en un campo en el que hay una definición clara de qué es "éxito". Ese es el tipo de algoritmo que me preocupa. Quien controle el algoritmo controla la definición de éxito. Los algoritmos siempre funcionan bien para la gente que los diseña, pero no sabemos si funcionan bien para la gente objetivo de esos algoritmos. Pueden ser tremendamente injustos para ellos.
¿La próxima revolución política será por el control de los algoritmos?
En cierto sentido, sí. Creo que los algoritmos reemplazarán todos los procesos burocráticos humanos porque son más baratos, más fáciles de mantener y mucho más fáciles de controlar. Así que, sí: la cuestión sobre quién tiene el control está relacionada con quién despliega ese algoritmo. Espero que nosotros tengamos un control con rendición de cuentas sobre ellos.
Pero si nos fijamos en un lugar como China, donde hay sistemas de puntuaciones sociales que son intentos explícitos de controlar a los ciudadanos, no tengo tanta esperanza sobre que los ciudadanos chinos puedan ser los propietarios de esos algoritmos. en estos casos estamos hablando de una distopía futura, una sociedad de vigilancia en la que el Gobierno controla y vigila a los ciudadanos con los algoritmos, como una amenaza real. Es algo que puede pasar.
De momento el poder político no ha hecho mucho por mejorar la transparencia de los algoritmos.
Sí, es un problema real. Piensa que desde su posición tendrán en su mano controlar los algoritmos, así que los políticos no quieren renunciar a este poder, aunque sea malo para la democracia.
Es una consideración muy seria. Como digo en el libro, Obama, que fue adorado por la izquierda por su uso del big data para aumentar las donaciones o mejorar la segmentación de mensajes. Pero eso fue un precedente muy peligroso: en las últimas elecciones hemos visto como la campaña de Trump logró suprimir el voto de afroamericanos gracias a esa misma segmentación de mensajes a través de los algoritmos de Facebook.
Publicó su libro en 2016. ¿Ha cambiado algo desde entonces?
Cuando escribí el libro yo no conocía a nadie preocupado por este tema. Eso sí ha cambiado. Vengo de Barcelona, donde he visto a 300 personas, mayoritariamente jóvenes, preocupadas por este tema. Es un fenómeno emergente a nivel mundial, la gente está empezando a ver el daño, el mal que hay aquí. La mayor parte de este daño algorítmico no se ve, no es visible. Que la gente sea más consciente hace que podamos esperar que haya una demanda de rendición de cuentas. Espero que eso ocurra.
