Los algoritmos de aprendizaje automático trabajan a ciegas para alcanzar el objetivo matemático fijado por sus diseñadores. Es fundamental que esta tarea incluya la necesidad de actuar de forma ética.
Estos sistemas están ganando popularidad rápidamente. Las empresas los utilizan para decidir qué noticias ves y con quién te encuentras en las aplicaciones de citas en línea. Los gobiernos están empezando a implementar el aprendizaje automático para ayudar a prestar servicios gubernamentales y seleccionar a personas para someterlas a auditorías.
Sin embargo, los algoritmos que impulsan estos sistemas son mucho más sencillos de lo que quizá imagines: se parecen más a una calculadora de bolsillo que a un robot de una novela de ciencia ficción de Isaac Asimov. Por defecto, no entienden el contexto en el que actúan ni las consecuencias éticas de sus decisiones.
Las predicciones de un algoritmo de aprendizaje automático se basan en generalizar a partir de datos de ejemplo, en lugar de recurrir al conocimiento experto. Por ejemplo, un algoritmo podría utilizar tu situación financiera para predecir la probabilidad de que no pagues un préstamo. El algoritmo se «entrenaría» con los datos financieros de clientes anteriores que dejaron de pagar o que sí pagaron.
Por esta razón, la ética de un sistema de aprendizaje automático debe expresarse mediante una fórmula matemática explícita. Y no es una tarea sencilla.
Aprender de los datos
Data61, donde trabajo, ha diseñado y creado sistemas de aprendizaje automático para el gobierno, así como para empresas locales e internacionales. Esto ha incluido varios proyectos en los que el comportamiento del producto tiene implicaciones éticas.
Imaginemos una universidad que decide adoptar un enfoque prospectivo para admitir estudiantes: en lugar de basar su selección en las calificaciones anteriores, la universidad admite a estudiantes que predice que obtendrán buenos resultados.
La universidad podría usar un algoritmo de aprendizaje automático para hacer esta predicción, entrenándolo con información histórica sobre los solicitantes anteriores y su desempeño posterior.
Este entrenamiento se lleva a cabo de una manera muy específica. El algoritmo tiene muchos parámetros que controlan su comportamiento, y el entrenamiento consiste en optimizarlos para alcanzar un objetivo matemático concreto relacionado con los datos.
El objetivo más sencillo y habitual es poder predecir con precisión, en promedio, los datos de entrenamiento. En el caso de la universidad, el algoritmo tendría como objetivo predecir las calificaciones de los solicitantes anteriores con la mayor precisión posible.
Objetivos éticos
Pero un objetivo predictivo sencillo, como «cometer el menor número posible de errores», puede dar lugar involuntariamente a decisiones poco éticas.
Consideremos algunos de los muchos aspectos importantes que este objetivo tan utilizado pasa por alto:
1. Personas diferentes, errores diferentes
Como al algoritmo solo le importa el tamaño promedio de sus errores en todos los datos de entrenamiento, su «precisión» podría variar mucho según el tipo de persona.
Este efecto suele darse en los grupos minoritarios: hay menos personas de esos grupos en los datos de entrenamiento, por lo que el algoritmo apenas se ve penalizado si predice mal sus calificaciones. Por ejemplo, en una universidad que predice las calificaciones de una carrera dominada por hombres, el algoritmo podría tener una precisión general del 90 %, pero de solo el 50 % para las mujeres.
Para abordar este problema, la universidad tendría que cambiar el objetivo del algoritmo para que otorgue la misma importancia a la precisión tanto para los hombres como para las mujeres.
2. El algoritmo no está seguro
Los algoritmos sencillos de aprendizaje automático ofrecen una predicción «más probable», pero los algoritmos más sofisticados también pueden evaluar cuánta confianza tienen en ella.
Garantizar que esa confianza sea acertada también puede ser una parte importante del objetivo del algoritmo. Por ejemplo, la universidad podría querer aplicar un principio ético como el «beneficio de la duda» a los solicitantes cuyas calificaciones previstas sean inciertas.
3. Sesgo histórico
El algoritmo de la universidad ha aprendido a predecir basándose exclusivamente en datos históricos. Pero si los profesores que asignaron las calificaciones de esos datos tenían prejuicios (por ejemplo, contra una minoría en particular), las nuevas predicciones reproducirían esos mismos prejuicios.
La universidad tendría que eliminar este sesgo de sus futuras admisiones cambiando el objetivo del algoritmo para compensarlo.
4. Prioridades contrapuestas
El factor más difícil al crear un objetivo matemático adecuado es que las consideraciones éticas suelen entrar en conflicto. En el caso de la universidad, aumentar la precisión del algoritmo para un grupo minoritario reducirá su precisión para otro. Ningún sistema de predicción es perfecto, y sus limitaciones siempre afectarán más a algunos estudiantes que a otros.
Equilibrar estos factores contrapuestos dentro de un único objetivo matemático es una cuestión compleja de criterio, sin una respuesta única.
Crear algoritmos éticos
Estos son solo algunos de los muchos y complejos aspectos éticos de un problema que parece sencillo. Entonces, ¿cómo pueden esta universidad, una empresa o un gobierno garantizar que sus sistemas reales de aprendizaje automático se comporten éticamente?
Como primer paso, podrían designar a una persona responsable de la ética de los algoritmos. Su trabajo consistiría en obtener de los diseñadores los requisitos éticos del sistema, traducirlos en un objetivo matemático y, después, supervisar la capacidad del algoritmo para cumplir ese objetivo al pasar a producción.
Por desgracia, esta función se ha incluido dentro del ámbito general de la ciencia de datos (si es que existe), y no recibe la atención que merece.
Crear un sistema ético de aprendizaje automático no es una tarea sencilla: exige equilibrar prioridades contrapuestas, comprender las expectativas sociales y tener en cuenta distintos tipos de desventaja. Pero es la única manera de que los gobiernos y las empresas se aseguren de mantener los estándares éticos que la sociedad espera de ellos.
