Nueva York es la primera gran ciudad que quiere combatir la "discriminación algorítmica"

Humanos revisando que las decisiones que toman las máquinas sean justas para... ¿los humanos? Sí, Nueva York se está convirtiendo en la primera ciudad de los Estados Unidos, y del mundo, en aprobar una leyque permite auditar las decisiones automatizadas que toman los algoritmos.

Se trata de una especie de transparencia y responsabilidad ante el uso de algoritmos, los cuales son los responsables de tomar medidas que afectan directamente a los neoyorquinos, esto con el objetivo de evitar y combatir algo que han llamado la "discriminación algorítmica".

Nueva York, y gran parte de las grandes ciudades de los Estados Unidos, han adoptado el uso de algoritmos para muchas de las decisiones administrativas y operativas de la ciudad, como la distribución de policías por barrio, la imposición de sanciones a personas, las fianzas, entre otras más.

El punto es que nadie sabe quién programó dichos algoritmos y en base a qué, lo que ha llevado a ciertas polémicas donde se cree que dicho algoritmo ha favorecido, y afectado, a ciertos grupos, discriminando a personas de acuerdo a la edad, raza, religión, sexo u orientación sexual. Y es que el problema es que muchos creen que existe un sesgos inherente relacionado con los datos que llevaron al entrenamiento y programación de los algoritmos.

Uno de los objetivos de esta ley es que los ciudadanos conozcan en qué consiste esta toma de decisiones, e incluso podrán solicitar una revisión a fondo de los casos y conocer los procesos, para así poder compararlos con otros similares y no existan controversias que a día de hoy eran imposibles de resolver o estudiar.

La ley contempla la creación de un equipo de trabajo, que deberá estar listos en los próximos tres meses, el cual estará integrado por "personas con experiencia en las áreas de imparcialidad, responsabilidad y transparencia, que deberán estar relacionadas con sistemas de decisión automatizados y personas afiliadas a corporaciones benéficas, que puedan representar a las personas en la ciudad afectada por los sistemas de decisión automatizados de la dependencia". Es decir, están buscando principalmente trabajadores sociales y defensores de los derechos humanos, y no están contemplando expertos en machine learning u otra rama tecnológica. Interesante.

A pesar de que todo podría sonar bien en pro de la transparencia, hay algunos detalles que se desconocen de dicha ley y que han levantado dudas en la comunidad. El más claro y preocupante es la privacidad de los datos y la ciberseguridad, ya que la ley ordena a que todas las agencias publiquen el código fuente de los algoritmos para que puedan ser revisados entre dependencias, así como por ciudadanos con una orden emitida por un juez.

Al hacer pública toda esta información, se podrán ver los nombres y datos completos de los afectados, por ejemplo dentro de un juicio, así como los niveles de criminalidad en ciertas zonas de la ciudad, lo que podría afectar el valor de las viviendas, incluso las sanciones impuestas, incluidas la de libertad bajo fianza, de ciertos sectores de la población.

Ahora mismo el debate está en transparentar las decisiones automatizadasde los algoritmos, por ello se aprobó la ley por unanimidad. Pero ahora que han empezado a surgir los análisis a fondo de dicha ley, hay muchas cosas que no están claras y que se deberán resolver en los próximos meses de forma urgente.