“Este programa no tenía absolutamente nada que ver con la raza… sino con ecuaciones de múltiples variables.”
Así lo expresó Brett Goldstein, exoficial de policía del Departamento de Policía de Chicago (CPD) y actual Urban Science Fellow de la Escuela de Políticas Públicas de la Universidad de Chicago, al referirse a un algoritmo de vigilancia predictiva que implementó en el CPD en 2010. Su algoritmo indica a la policía dónde buscar delincuentes a partir de los lugares en los que las personas han sido arrestadas con anterioridad. Es un “mapa de calor” de Chicago, y el CPD afirma que le ayuda a asignar los recursos de forma más eficaz.
La policía de Chicago también colaboró recientemente con Miles Wernick, profesor de ingeniería eléctrica en el Illinois Institute of Technology, para generar algorítmicamente una “lista de calor” de 400 personas que, según afirma, tienen lamayor probabilidad de cometer un delito violento. Ante las críticas, Wernick afirmó que el algoritmo no utiliza “ninguna información racial, de barrio ni de otro tipo similar” y que el enfoque es “imparcial” y “cuantitativo”. Al delegar las decisiones en algoritmos poco comprendidos, los profesionales del sector se desligan de forma efectiva de la responsabilidad por los efectos negativos de su código.
¿Discriminan estos algoritmos y tratan de forma injusta a los barrios de bajos ingresos y de población negra, así como a sus habitantes? Es el tipo de pregunta que muchos investigadores empiezan a plantearse a medida que cada vez más sectores recurren a algoritmos para tomar decisiones. Es cierto que un algoritmo es en sí mismo cuantitativo: se reduce a una secuencia de pasos aritméticos para resolver un problema. El peligro es que estos algoritmos, entrenados con datos generados por personas, pueden reflejar los sesgos presentes en esos datos y perpetuar el racismo estructural y los prejuicios negativos hacia las minorías.
Existen muchos retos para determinar si un algoritmo encarna sesgos. Ante todo, muchos profesionales y “expertos en informática” todavía no admiten públicamente que los algoritmos pueden discriminar con facilidad.Cada vez hay más pruebas que respaldan que no solo es posible, sino que ya está ocurriendo. La legislación no es clara sobre la legalidad de los algoritmos sesgados, e incluso los investigadores en algoritmos no entienden con precisión lo que significa que un algoritmo discrimine.
Ser cuantitativo no protege frente al sesgo
Tanto Goldstein como Wernick aseguran que sus algoritmos son justos apoyándose en dos argumentos. En primer lugar, a los algoritmos no se les introducen explícitamente características protegidas, como la raza o el barrio, en forma de atributo. En segundo lugar, afirman que los algoritmos no están sesgados porque son “cuantitativos”. Su argumento es una apelación a la abstracción. Las matemáticas no son humanas, y por tanto el uso de las matemáticas no puede ser inmoral.
Lamentablemente, Goldstein y Wernick repiten un error común sobre la minería de datos y, en general, sobre las matemáticas cuando se aplican a problemas sociales. El propósito fundamental de la minería de datos es descubrir correlaciones ocultas. Así, si la raza está representada de forma desproporcionada (aunque no explícitamente) en los datos introducidos en un algoritmo de minería de datos, el algoritmo puede inferir la raza y utilizarla de forma indirecta para tomar una decisión final.
Aquí tienes un ejemplo sencillo de cómo los algoritmos pueden dar lugar a un resultado sesgado a partir de lo que aprenden de las personas que los usan. Observa cómo Google sugiere completar la búsqueda de una consulta que comienza con la frase “transgenders are”:
Tomado de Google.com el 2015-08-10.
Las funciones de autocompletado son, en general, un recuento. Se cuentan todas las búsquedas realizadas y se muestran las terminaciones más habituales de una consulta parcial dada. Aunque la mayoría de los algoritmos pueden parecer neutrales en apariencia, están diseñados para encontrar tendencias en los datos que reciben. Confiar de forma descuidada en un algoritmo permite que las tendencias dominantes provoquen una discriminación dañina o, como mínimo, resultados de mal gusto.
Más allá de los datos sesgados, como los autocompletados de Google, existen otros escollos. Moritz Hardt, investigador de Google, describe lo que él llama la disparidad por tamaño de muestra. La idea es la siguiente: si se quiere predecir, por ejemplo, si una persona hará clic en un anuncio, la mayoría de los algoritmos se optimizan para reducir el error a partir de la actividad previa de los usuarios.
Pero si una pequeña fracción de los usuarios pertenece a una minoría racial que tiende a comportarse de manera distinta a la mayoría, el algoritmo puede decidir que es mejor equivocarse con todos los usuarios minoritarios y clasificarlos en la categoría de “error” para ser más precisos con la mayoría. Así, un algoritmo con un 85 % de precisión entre los participantes estadounidenses podría fallar con toda la subpoblación negra y seguir pareciendo muy bueno.
Hardt añade que es difícil determinar por qué los puntos de datos se clasifican erróneamente. Los algoritmos rara vez vienen acompañados de una explicación de por qué se comportan como lo hacen, y la opción fácil (y peligrosa) es no hacer preguntas.
Alcance del problema
Aunque los investigadores comprenden claramente los peligros teóricos de la discriminación algorítmica, resulta difícil medir con precisión el alcance del problema en la práctica. Ninguna empresa ni institución pública está dispuesta a publicar sus datos y algoritmos por temor a que se le tache de racista o sexista o, quizá algo peor, a que un competidor le robe un algoritmo excelente.
Incluso cuando el Departamento de Policía de Chicago fue objeto de una solicitud al amparo de la Ley de Libertad de Información, no publicó sus algoritmos ni la lista de calor, alegando una amenaza creíble para los agentes y para las personas incluidas en la lista. Esto dificulta que los investigadores identifiquen problemas y, potencialmente, aporten soluciones.
Obstáculos legales
La legislación antidiscriminatoria vigente en Estados Unidos no ayuda. En el mejor de los casos, no está claro cómo se aplica a los algoritmos; en el peor, es un caos. Solon Barocas, investigador posdoctoral en Princeton, y Andrew Selbst, letrado del Tribunal de Apelaciones del Tercer Circuito de EE. UU., sostuvieron conjuntamente que la legislación estadounidense en materia de contratación no aborda las reclamaciones sobre algoritmos discriminatorios en los procesos de selección de personal.
El núcleo de la argumentación es la llamada defensa de la “necesidad empresarial”, según la cual el empleador sostiene que una práctica con efecto discriminatorio está justificada por estar directamente relacionada con el desempeño laboral. Según Barocas y Selbst, si una empresa decide algorítmicamente a quién contratar, y ese algoritmo es descaradamente racista pero incluso mínimamente eficaz para predecir el desempeño laboral, esto contaría como necesidad empresarial, y no como discriminación ilegal. En otras palabras, la ley parece respaldar el uso de algoritmos sesgados.
¿Qué es la equidad?
Quizá un problema aún más profundo sea que nadie ha acordado qué significa que un algoritmo sea justo. Los algoritmos son objetos matemáticos, y las matemáticas son mucho más precisas que el derecho. No podemos aspirar a diseñar algoritmos justos sin la capacidad de demostrar matemáticamente la equidad. Una buena definición matemática de equidad debe modelar la toma de decisiones sesgada en cualquier contexto y para cualquier subgrupo, no solo en la discriminación en la contratación o por razón de género.
Y la equidad parece tener dos aspectos en conflicto cuando se aplica a una población frente a un individuo. Por ejemplo, supongamos que hay un grupo de candidatos para cubrir 10 puestos de trabajo y que un algoritmo decide contratarlos al azar. Desde la perspectiva de la población, esto es lo más justo posible: todas las razas, géneros y orientaciones tienen las mismas probabilidades de ser seleccionados.
Pero desde el nivel individual, es lo más injusto posible, porque es poco probable que se elija a una persona extremadamente talentosa a pesar de sus cualificaciones. Por otro lado, contratar únicamente en función de las cualificaciones refuerza las brechas en la contratación. Nadie sabe si estos dos conceptos son inherentemente incompatibles o si existe una forma de definir la equidad que recoja razonablemente ambos. Cynthia Dwork, científica distinguida de Microsoft Research, y sus colegas llevan estudiando la relación entre ambos, pero incluso Dwork reconoce que apenas han arañado la superficie.
Lograr que empresas e investigadores estén en sintonía
Existen enormes lagunas en todos los frentes de la cuestión de la equidad algorítmica. Cuando se preguntó a un panel de expertos en el Workshop on Fairness, Accountability, and Transparency in Machine Learning de este año cuáles eran los avances más fáciles de conseguir, les costó encontrar una respuesta. En mi opinión, si queremos el mayor progreso con el menor esfuerzo, las empresas deberían empezar a compartir sus datos con los investigadores. Incluso con los algoritmos “justos” propuestos empiezan a aparecer en la literatura, pero sin referencias bien comprendidas no podemos aspirar a evaluarlos de forma justa.
Este artículo se publica en colaboración con The Conversation. La publicación no implica el respaldo del Foro Económico Mundial a las opiniones expresadas.
Para estar al día con Agenda suscríbase a nuestro boletín semanal.
Autor: Jeremy Kun es estudiante de doctorado en Matemáticas en la Universidad de Illinois en Chicago.
Imagen: Una fotografía muestra cables en la parte posterior de una supercomputadora del Centro Konrad-Zuse de Matemáticas Aplicadas e Informática, en Berlín. REUTERS/Thomas Peter
