Erica Kochi es directora de Innovación de UNICEF y también dirige el Consejo Global sobre el Futuro del Foro Económico Mundial
Las oportunidades que la inteligencia artificial (IA) puede abrir para nuestro mundo —desde descubrir curas para enfermedades que matan a millones de personas cada año hasta reducir significativamente las emisiones de carbono— se amplían cada día. Esto incluye un subconjunto de la IA llamado aprendizaje automático, que aprovecha la capacidad de las máquinas para aprender de enormes cantidades de datos y usar esas lecciones para hacer predicciones. El aprendizaje automático ya está abriendo caminos hacia la inclusión financiera, la participación ciudadana, una atención sanitaria más asequible y muchos otros sistemas y servicios esenciales. Los sistemas de aprendizaje automático pueden destacar una publicación en tu sección de noticias de Facebook según tu actividad en línea o seleccionar candidatos durante un proceso de contratación. El aprendizaje automático es una de las herramientas más poderosas que ha creado la humanidad, y nunca ha sido más importante aprender a aprovechar su poder para el bien.
La atención pública suele centrarse en las amenazas existenciales que la superinteligencia artificial plantea a la humanidad («los robots vienen a matarnos») o en la narrativa opuesta, la de la salvación («la IA resolverá todos nuestros problemas»). Pero cuando las máquinas toman decisiones existe un riesgo más inmediato y menos visible: el posible refuerzo de los prejuicios sistémicos y la discriminación. Las tecnologías de aprendizaje automático ya toman a diario decisiones que cambian la vida de las personas. Como escribió Jim Dwyer en el New York Times: «Los algoritmos pueden decidir a qué escuela van los niños, con qué frecuencia se recoge la basura, qué comisarías reciben más agentes, dónde deben centrarse las inspecciones de los códigos de construcción e incluso qué indicadores se utilizan para evaluar a un docente»
Aprender a no discriminar
A medida que damos a las máquinas la capacidad de tomar decisiones críticas sobre quién puede acceder a oportunidades esenciales, debemos evitar resultados discriminatorios. Al fin y al cabo, el aprendizaje automático es solo una herramienta. La responsabilidad recae en las personas que la usan con prudencia, especialmente en quienes lideran su avance, desde los directivos de empresas hasta los ingenieros de sistemas. En otras palabras, debemos diseñar y utilizar aplicaciones de aprendizaje automático de forma que no solo mejoren la eficiencia empresarial, sino que también promuevan y protejan los derechos humanos. El uso de la tecnología para automatizar decisiones no es una práctica nueva. Sin embargo, las características de la tecnología de aprendizaje automático —su ubicuidad, complejidad, exclusividad y opacidad— pueden amplificar problemas arraigados relacionados con el acceso desigual a las oportunidades. Los resultados discriminatorios del aprendizaje automático pueden socavar los derechos humanos y también erosionar la confianza pública en las empresas que utilizan esta tecnología. Debemos abordar estos riesgos evaluando de qué maneras puede introducirse la discriminación en los sistemas de aprendizaje automático y haciendo que estos «aprendan» a no discriminar.
¿Qué ocurre cuando las máquinas aprenden a discriminar?
La mayoría de las historias que hemos oído sobre discriminación en el aprendizaje automático provienen de Estados Unidos y Europa. Casos como un mecanismo de Google Fotos que etiquetó por error como gorilas la imagen de dos amigos negros, y las herramientas policiales predictivas que han demostrado amplificar los prejuicios raciales, han recibido una amplia e importante cobertura mediática. En muchas partes del mundo, particularmente en los países de ingresos medios y bajos, utilizar el aprendizaje automático para tomar decisiones sin adoptar precauciones adecuadas para evitar la discriminación probablemente tendrá consecuencias de gran alcance, duraderas y potencialmente irreversibles. Veamos, por ejemplo, cualquiera de los siguientes casos:
En Indonesia, el desarrollo económico ha avanzado de manera desigual según las divisiones geográficas y, en consecuencia, étnicas. Aunque el acceso a la educación superior es relativamente uniforme en todo el país, las 10 mejores universidades están todas en la isla de Java y la gran mayoría de sus estudiantes proviene de Java. Cuando las empresas que contratan para puestos administrativos entrenan sistemas de aprendizaje automático para filtrar candidatos según factores como el nivel educativo alcanzado, podrían excluir sistemáticamente a personas de islas más pobres, como Papúa.
Hoy en día, las compañías de seguros pueden predecir los futuros riesgos para la salud de una persona. México es uno de los países donde, para la mayoría de la población, la atención sanitaria de calidad solo está disponible mediante seguros privados. Al menos dos aseguradoras multinacionales privadas que operan en México ya utilizan el aprendizaje automático para maximizar su eficiencia y rentabilidad, lo que podría afectar al derecho humano a un acceso justo a una atención sanitaria adecuada. Imaginemos que las compañías de seguros utilizan el aprendizaje automático para extraer datos, como el historial de compras, y reconocer patrones asociados con clientes de alto riesgo para cobrarles más: las personas más pobres y enfermas serían quienes menos podrían costear el acceso a los servicios de salud.Hoy en día, las compañías de seguros pueden predecir los futuros riesgos para la salud de una persona. México es uno de los países donde, para la mayoría de la población, la atención sanitaria de calidad solo está disponible mediante seguros privados. Al menos dos aseguradoras multinacionales privadas que operan en México ya utilizan el aprendizaje automático para maximizar su eficiencia y rentabilidad, lo que podría afectar al derecho humano a un acceso justo a una atención sanitaria adecuada. Imaginemos que las compañías de seguros utilizan el aprendizaje automático para extraer datos, como el historial de compras, y reconocer patrones asociados con clientes de alto riesgo para cobrarles más: las personas más pobres y enfermas serían quienes menos podrían costear el acceso a los servicios de salud.
Aunque hay pocos detalles disponibles públicamente, los informes sugieren que China está creando un modelo para asignar puntuaciones a sus ciudadanos mediante el análisis de una amplia variedad de datos, desde registros bancarios, fiscales, profesionales y de rendimiento hasta información de teléfonos inteligentes, comercio electrónico y redes sociales. The Washington Post describió esto como un intento «de usar los datos para imponer una autoridad moral diseñada por el Partido Comunista». ¿Qué significará en el futuro que los gobiernos actúen basándose en puntuaciones calculadas a partir de datos incompletos o sesgados históricamente, mediante modelos que no se diseñaron para ser justos?Aunque hay pocos detalles disponibles públicamente, los informes sugieren que China está creando un modelo para asignar puntuaciones a sus ciudadanos mediante el análisis de una amplia variedad de datos, desde registros bancarios, fiscales, profesionales y de rendimiento hasta información de teléfonos inteligentes, comercio electrónico y redes sociales. The Washington Post describió esto como un intento «de usar los datos para imponer una autoridad moral diseñada por el Partido Comunista». ¿Qué significará en el futuro que los gobiernos actúen basándose en puntuaciones calculadas a partir de datos incompletos o sesgados históricamente, mediante modelos que no se diseñaron para ser justos?
Estos escenarios nos muestran que, aunque el aprendizaje automático puede beneficiar enormemente al mundo, también hay riesgos importantes que debemos considerar. Tenemos que examinar de cerca de qué maneras puede infiltrarse la discriminación en los sistemas de aprendizaje automático y qué pueden hacer las empresas para evitarlo.
Si, como sostiene Klaus Schwab en su libro, La cuarta revolución industrial, queremos colaborar para «dar forma a un futuro que funcione para todos poniendo a las personas en primer lugar, empoderándolas y recordándonos constantemente que todas estas nuevas tecnologías son, ante todo, herramientas creadas por personas para las personas», debemos diseñar y utilizar el aprendizaje automático para prevenir la discriminación, no para profundizarla.
