Los sistemas de inteligencia artificial son herramientas poderosas para que las empresas y los gobiernos procesen datos y respondan a situaciones cambiantes, ya sea en el mercado bursátil o en un campo de batalla. Pero todavía hay algunas cosas para las que la IA no está preparada.
Somos investigadores de informática trabajando para comprender y mejorar las formas en que los algoritmos interactúan con la sociedad. Los sistemas de IA funcionan mejor cuando el objetivo está claro y los datos son de alta calidad, como cuando se les pide distinguir entre distintos rostros tras aprender de muchas imágenes de personas correctamente identificadas.
A veces los sistemas de IA funcionan tan bien que los usuarios y observadores se sorprenden de lo perspicaz que es la tecnología. Sin embargo, a veces el éxito es difícil de medir o se define incorrectamente, o los datos de entrenamiento no se ajustan a la tarea en cuestión. En estos casos, los algoritmos de IA tienden a fallar de formas impredecibles y espectaculares, aunque no siempre resulta evidente de inmediato que algo ha salido mal. Por ello, es importante desconfiar del bombo y la emoción sobre lo que la IA puede hacer, y no asumir que la solución que encuentra es siempre correcta.
Cuando los algoritmos están en funcionamiento, debe existir una red de seguridad humana para evitar perjudicar a las personas. Nuestra investigación demostró que, en algunas situaciones, los algoritmos pueden reconocer problemas en su funcionamiento y pedir ayuda humana. En concreto, demostramos que pedir ayuda humana puede ayudar a aliviar el sesgo algorítmico en algunos contextos.
¿Qué tan seguro está el algoritmo?
Los sistemas de inteligencia artificial se utilizan en la determinación de penas en el ámbito penal, la elaboración de perfiles de personalidad basada en el rostro, la selección de currículums, la inscripción en la atención sanitaria y otras tareas complejas en las que están en juego la vida y el bienestar de las personas. Las agencias del gobierno de EE. UU. están empezando a intensificar su exploración y uso de sistemas de IA, en respuesta a una reciente orden ejecutiva del presidente Donald Trump.
Conviene recordar, sin embargo, que la IA puede consolidar conceptos erróneos sobre cómo abordar una tarea, o magnificar desigualdades existentes. Esto puede ocurrir incluso cuando nadie ha indicado explícitamente al algoritmo que trate a alguien de forma diferente.
Por ejemplo, muchas empresas tienen algoritmos que intentan determinar características de una persona a partir de su rostro, por ejemplo, para adivinar su género. Los sistemas desarrollados por empresas estadounidenses tienden a funcionar significativamente mejor al clasificar a hombres blancos que a mujeres y personas de piel más oscura; funcionan peor con mujeres de piel oscura. Los sistemas desarrollados en China, en cambio, tienden a funcionar peor con rostros blancos.
La diferencia no se debe a que un grupo tenga rostros más fáciles de clasificar que otros. Más bien, ambos algoritmos suelen entrenarse con una gran colección de datos que no es tan diversa como la población humana en su conjunto. Si el conjunto de datos está dominado por un tipo particular de rostro (hombres blancos en EE. UU. y rostros chinos en China), es probable que el algoritmo analice mejor esos rostros que los demás.
Independientemente de cómo surja la diferencia, el resultado es que los algoritmos pueden sesgarse al ser más precisos con un grupo que con otro.
Mantener una mirada humana sobre la IA
En situaciones de alto riesgo, la confianza del algoritmo en su propio resultado (su estimación de la probabilidad de que el sistema haya dado con la respuesta correcta) es tan importante como el resultado en sí. Las personas que reciben el resultado de los algoritmos deben saber hasta qué punto deben tomarse en serio los resultados, en lugar de asumir que son correctos porque intervino un ordenador.
Solo recientemente los investigadores han empezado a desarrollar formas de identificar, y mucho menos de intentar corregir, desigualdades en algoritmos y datos. Los algoritmos pueden programarse para reconocer sus propias deficiencias y, a partir de ese reconocimiento, emitir una solicitud para que una persona ayude con la tarea.
Muchos tipos de algoritmos de IA ya calculan un nivel de confianza interno: una predicción de lo bien que realizaron el análisis de una determinada entrada. En el análisis facial, muchos algoritmos de IA tienen menor confianza en los rostros más oscuros y femeninos que en los rostros masculinos blancos. No está claro hasta qué punto las fuerzas del orden han tenido esto en cuenta en los usos de alto riesgo de estos algoritmos.
El objetivo es que la propia IA localice las áreas en las que no alcanza la misma precisión para distintos grupos. En estas entradas, la IA puede delegar su decisión en un moderador humano. Esta técnica es especialmente adecuada para tareas con mucho contexto, como la moderación de contenidos.
Los moderadores humanos de contenidos no pueden dar abasto con la avalancha de imágenes publicadas en las redes sociales. Pero la moderación de contenidos mediante IA es conocida por no tener en cuenta el contexto de una publicación: por ejemplo, identifica debates sobre orientación sexual como contenido explícito, o identifica la Declaración de Independencia como discurso de odio. Esto puede acabar censurando de forma imprecisa a un grupo demográfico o político frente a otro.
Para obtener lo mejor de ambos mundos, nuestra investigación sugiere puntuar todo el contenido de forma automatizada, usando los mismos métodos de IA ya habituales hoy en día. Después, nuestro enfoque emplea técnicas recién propuestas para localizar automáticamente posibles desigualdades en la precisión del algoritmo entre distintos grupos protegidos de personas, y para transferir a una persona las decisiones sobre determinados individuos. Como resultado, el algoritmo puede ser completamente imparcial con respecto a aquellas personas sobre las que realmente decide. Y las personas deciden sobre aquellos individuos en los que la decisión algorítmica habría generado inevitablemente sesgo.
Este enfoque no elimina el sesgo: simplemente “concentra” el potencial de sesgo en un conjunto más reducido de decisiones, que luego son gestionadas por personas, con sentido común humano. La IA aún puede realizar la mayor parte del trabajo de toma de decisiones.
Esta es una demostración de una situación en la que un algoritmo de IA que trabaja junto con una persona puede aprovechar los beneficios y la eficiencia de las buenas decisiones de la IA, sin quedar atado a sus malas decisiones. Las personas tendrán entonces más tiempo para dedicarse a las decisiones complejas y difusas que son fundamentales para garantizar la equidad y la igualdad.
