“Lo siento, no sé eso.” Alexa, Cortana, e incluso los anuncios automatizados del transporte público: todos tienen algo en común, una voz femenina o un avatar femenino.
Trabajo en sistemas de diálogo desde la primera generación de proyectos, a principios de la década de 1990. Hacia el final de esa década, muchos centros de llamadas estadounidenses eran atendidos por “asistentes” robotizados que saludaban alegremente a los clientes con “¿En qué puedo ayudarle?” y gestionaban sus diversas solicitudes, como la reserva de vuelos, la compra de entradas de cine, etc.
Propuse el concepto de “máquinas empáticas”, es decir, sistemas de diálogo capaces de detectar las emociones humanas además de consultar contenidos. En 2015, mis estudiantes y yo preparamos una demostración para el Foro Económico Mundial con la que mostrar nuestro trabajo en sistemas de diálogo interactivos.
Para dar un avatar a nuestra máquina empática, nos fijamos en dibujos animados robóticos como Wall-E o Big Hero 6, pero parecían demasiado inhumanos y difíciles de los que los usuarios pudieran sentirse identificados. Recordé al asistente “clip” de Windows de hace años y que pocos usuarios sentían inclinación a interactuar con ese “asistente virtual”.
Nunca imaginé que la creación del avatar “empático” sumergiría a mis estudiantes y a mí en la historia de los robots, los asistentes virtuales, la ciencia ficción y los roles de género en el mundo de la IA.
El mundo virtual
El primer “chatbot” se llamó Eliza, aunque es un programa informático silencioso, sin voz ni forma física. Cuando cursé la asignatura “Introducción a la Inteligencia Artificial” en la Universidad de Columbia, una de nuestras primeras tareas de programación fue crear nuestra propia versión de Eliza.
En 2016, Microsoft creó un chatbot llamado Tay, con el estilo de tuits de una “adolescente de 16 años”, que aprendió a tuitear a partir de millones de usuarios de Twitter en línea. Microsoft Xiaoice, que tiene más de 100 millones de usuarios en WeChat, también es un avatar femenino.
Sophia, de Hanson Robotics, y Erica, de Hiroshi Ishiguro, son quizá las “celebridades” humanoides más famosas. Sophia habló en el programa 60 Minutes con Charlie Rose, apareció en The Tonight Show con Jimmy Fallon, fue cubierta por los principales periódicos y tuvo una cita en pantalla con Will Smith. Arabia Saudí le concedió la ciudadanía.
El profesor Ishiguro, creador de Erica, dijo en una ocasión que trataba de crear “la mujer más hermosa” en Erica. Existen distintas versiones de Erica, desde “recatadamente conservadora” hasta “descarada y elegante”. Cuando unos hombres japoneses tuvieron una “cita” con Erica, se sonrojaban mientras coqueteaban con ella, aunque eran plenamente conscientes de que “ella” era en realidad una máquina.
Sophia y Erica tienen en común que ambas son compañeras de conversación. ¿Son los asistentes virtuales y los compañeros de conversación femeninos por la creencia social de que las mujeres son mejores en estos roles?
Mientras tanto, robots físicos como Hermes, el robot de rescate del MIT, y Atlas, el robot capaz de hacer parkour, de Boston Dynamics, tienen una forma y una figura claramente masculinas. ¿Es porque son más fuertes con una forma de aspecto masculino?
Los grandes tractores y elevadores de vehículos son, sin duda, fuertes, pero no adoptan ninguna forma de género humano. Los drones creados por DJI, empresa fundada por uno de nuestros estudiantes, Frank Wang, y por mi colega, el profesor Zexiang Li, son robots con navegación autónoma, pero no tienen aspecto de ninguno de los dos géneros.
En su artículo sobre los estereotipos de género en los robots, Florian Dufour y Céline Ehrwein Nihan afirman: “Cuando no se conocen características objetivas (congruentes con el éxito en una tarea) de los robots, las creencias sociales sobre el género ejercerán una fuerte influencia en los juicios del observador”. ¿Se construyen los robots de búsqueda y rescate con forma masculina por las creencias sociales sobre el género de los rescatadores humanos? ¿Reflejan simplemente los roles de género de la IA y la robótica los del mundo físico?
El mundo físico
Según datos del Centro de Estudios sobre la Fuerza Laboral de la Asociación Estadounidense de Psicología, las mujeres representan el 76 % de los nuevos doctorados en psicología, el 74 % de los psicólogos en las primeras etapas de su carrera y el 53 % de la fuerza laboral en psicología. Según el Departamento de Trabajo de Estados Unidos, el 94,6 % de los secretarios y asistentes administrativos son mujeres, mientras que el 96,5 % de los bomberos son hombres.
Si nos fijamos más en la IA, el Foro Económico Mundial identificó la brecha de género en el grupo de talento mediante una encuesta a usuarios de LinkedIn que se identificaban a sí mismos como poseedores de competencias en IA. Se comprobó que el 78 % de ellos son hombres. Element.ai tomó una muestra de investigadores de IA de tres conferencias sobre aprendizaje automático y visión artificial celebradas en 2017 y comprobó que, en 23 países, el 88 % de los investigadores son hombres.
Según este artículo de WIRED: “En Google, el 21 % de los puestos técnicos están ocupados por mujeres, según las cifras de la empresa publicadas en junio". Cuando WIRED revisó las páginas de investigación en IA de Google a principios de este mes, figuraban 641 personas que trabajaban en “inteligencia de máquinas”, de las cuales solo el 10 % eran mujeres.
Facebook afirmó el mes pasado que el 22 % de sus trabajadores técnicos son mujeres. Las páginas del grupo de investigación en IA de la compañía incluían a 115 personas a principios de este mes, de las cuales el 15 % eran mujeres.
El artículo también señalaba: “La escasez de mujeres entre los investigadores de aprendizaje automático apenas sorprende. El campo más amplio de la informática está bien documentado como dominado por hombres. Las cifras oficiales muestran que la proporción de mujeres que obtienen títulos de grado en informática en Estados Unidos ha descendido de forma significativa en los últimos 30 años, lo contrario de la tendencia en las ciencias físicas y biológicas.”
Del genio precoz al hacedor de reyes
Este descenso de la participación femenina coincidió con el auge de la industria informática: Apple salió a bolsa en 1980 y Microsoft en 1986. La era de internet vio el ascenso de Amazon, eBay, Google, Facebook, PayPal y otras empresas.
Uno de los indicadores importantes de los roles de género en la tecnología de los últimos 30 años, y en la informática y la IA en particular, es la imagen del “genio precoz” que trabajaba en un garaje y cambió el mundo. Desde Bill Gates hasta Steve Jobs, Jeff Bezos, Jack Ma de Alibaba y Pony Ma de Tencent, los “reyes” de la era digital y de la era de la IA son hombres. Pero ¿quiénes son los hacedores de reyes?
La inversión de capital riesgo impulsó el crecimiento de estas empresas. Para triunfar, todos los emprendedores tecnológicos necesitan inversión de capitalistas de riesgo, y todos los fundadores mencionados anteriormente recibieron inversión de estos “hacedores de reyes” en una etapa crítica de crecimiento.
Sin embargo, solo entre el 1 y el 2 % de las startups que reciben financiación de capital riesgo están dirigidas por fundadoras, aunque las empresas dirigidas por mujeres obtienen un rendimiento de la inversión del 200 %. Este es el segmento más sesgado por género de la industria tecnológica.
Las razones son complejas. Los capitalistas de riesgo son, en su gran mayoría, hombres, y los inversores confían en personas que se les parecen.
Además, las investigaciones han demostrado que los hombres son promocionados por su potencial, mientras que las mujeres son promocionadas por sus logros. La inversión de capital riesgo consiste en apostar por el potencial del fundador.
A medida que se financian más empresas dirigidas por hombres, hay más historias de éxito entre ellas, y más capitalistas de riesgo optan por financiar empresas dirigidas por hombres. Los roles de género se refuerzan y la representación de las mujeres sigue disminuyendo.
La ficción refuerza los estereotipos
Los medios de comunicación populares refuerzan aún más esta imagen del “genio precoz” o “niño prodigio”. Las series de televisión, desde “Silicon Valley” hasta “The Big Bang Theory”, y las películas, desde “The Matrix” hasta “Iron Man”, están repletas de representaciones de magnates masculinos de la tecnología.
Aun así, se podría argumentar que el arte simplemente refleja la vida. Elon Musk es ampliamente presentado como el “Iron Man” de la vida real; de hecho, tuvo un papel de cameo en la película Iron Man 2.
Parece que, en el imaginario popular, las superestrellas de la era de internet y de la IA son todas masculinas. Los personajes ficticios de tecnólogos masculinos suelen retratarse como “adorables empollones”, frikis socialmente torpes que son inteligentes y, al final, consiguen a la chica.
En nuestra reciente investigación sobre el análisis del lenguaje de los personajes masculinos en los medios populares, hemos descubierto que los personajes tecnólogos masculinos de estas series hacen comentarios sexistas de forma constante, a menudo presentados como parte de su “torpeza social”.
Este estereotipo es tan fuerte que, cuando los inversores o los clientes empresariales conocen a la poco frecuente fundadora tecnológica, expresan de inmediato su incredulidad, y cuando los estudiantes conocen a investigadoras de IA cuyos artículos habían leído previamente, también muestran sorpresa al descubrir el género de la autora.
También vemos que la IA está sujeta a estereotipos de género en la ciencia ficción. Desde la primera película de ciencia ficción, “Metrópolis”, hasta la más reciente “Ex Machina”, pasando por series de televisión populares como Humans y Westworld, vemos androides femeninas creadas por hombres en una forma sexualizada, que comienzan en una servidumbre sumisa o se convierten en femmes fatales rebeldes.
Estamos acostumbrados a que los héroes y villanos con poder físico en la ciencia ficción sean masculinos: Terminator, Nero en Matrix, Ultrón, etc. Pero ha habido pocos intentos de crear robots femeninos con poder físico, como T-X en Terminator.
Los asistentes virtuales de películas de ciencia ficción, como Samantha en “Her”, tienen en su mayoría voz femenina. Las excepciones son Jarvis, el sabio gurú de Iron Man, al que se le asigna más que un papel de simple asistente, y el amenazante HAL en 2001: Odisea del espacio.
Agentes virtuales
Al diseñar nuestro avatar para el sistema de diálogo, estudiamos la historia de los agentes virtuales, intentando evitar los estereotipos de la ciencia ficción.
Psicólogos de una de las dos principales empresas de tecnología de voz de los años noventa en Estados Unidos constataron que los consumidores prefieren la voz de una mujer cuando intentan obtener ayuda de un operador de centro de llamadas.
Desde entonces, los asistentes virtuales se han diseñado con un tipo de personalidad sumisa, con una voz femenina tranquila, cortés y, en ocasiones, entusiasta y alegre.
Para diseñar nuestro sistema, estudiamos las preferencias de los usuarios hacia distintas personalidades percibidas en un agente virtual, desde sumisa y autoritaria hasta neutral, y descubrimos que los usuarios no tenían una preferencia clara por el tipo sumiso.
Nuestro equipo decidió elegir un avatar femenino y crearle una personalidad feminista. Se trata de Zara the Super Girl, que conversa con el usuario para detectar su personalidad y ofrecer reacciones empáticas a sus historias.
También detecta el lenguaje sexista y responde con una réplica. Nuestro equipo sigue trabajando para que los chatbots sean más personalizados, detectando y adaptándose automáticamente al interlocutor humano. Dotamos a nuestros chatbots de mejor memoria y de una mayor capacidad para detectar las emociones humanas y responder con empatía. Y, lo que es más importante, evitamos codificar estas capacidades de forma fija en los chatbots, permitiéndoles aprender de conversaciones entre personas, prestando atención a la personalidad, el efecto y los rasgos emocionales.
El lenguaje sexista y racista es habitual en internet. El chatbot Tay, de Microsoft, aprendió ese lenguaje a partir de tuits en línea. En 2018, nuestro equipo trabajó en la detección de lenguaje sexista y racista en tuits en línea mediante un esquema de clasificación en dos pasos: primero se evalúa cada tuit como abusivo o no, y después, dentro del conjunto de los abusivos, nuestro sistema detecta si es sexista o racista.
Este esquema en dos pasos fue un intento de mitigar el problema de los datos de entrenamiento insuficientemente etiquetados. De hecho, la falta de grandes cantidades de datos etiquetados provoca el fenómeno común del sesgo de los datos y de las máquinas hacia el grupo demográfico dominante.
Equipos de investigación de todo el mundo trabajan para resolver este problema. Cabe destacar que hemos visto talleres especializados en la detección del lenguaje abusivo y del sexismo en la principal conferencia de procesamiento del lenguaje natural. Facebook AI cuenta con un grupo que trabaja en cuestiones de “integridad de las máquinas”. Google ha hecho esfuerzos por reducir el sesgo de búsqueda, el sesgo de selección, el sesgo de datos y el sesgo latente en el aprendizaje automático.
Partnership on AI
En 2017, empresas estadounidenses de IA, entre ellas Google, Microsoft, Facebook y Amazon, pusieron en marcha la Partnership on AI to Benefit People and the Society. Desde entonces, esta alianza ha crecido hasta contar con 80 socios de 13 países, entre ellos la china Baidu. Más del 50 % de los socios son organizaciones sin ánimo de lucro.
Es uno de los grupos más grandes, con una representación sustancial de ingenieros de IA que trabajan junto con no expertos para elaborar buenas prácticas y directrices en distintos ámbitos de la IA.
Formo parte del grupo que trabaja en las interacciones entre humanos y máquinas, y nuestro trabajo incluye el estudio de las buenas prácticas para diseñar agentes virtuales justos y precisos. Uno de los líderes del grupo es Hiroaki Kitano, padre de AIBO, un perro robot que cautivó a decenas de miles de ancianos japoneses sin recurrir a estereotipos de género concretos. Este enfoque está ganando terreno. Los usuarios de Siri, por ejemplo, pueden elegir el género de su voz.
Para crear un mundo de IA con igualdad de género, necesitamos un trabajo riguroso por parte de la comunidad investigadora en IA para captar y promover más talento femenino; necesitamos encontrar soluciones técnicas para una IA justa y responsable; los inversores deben apoyar a más fundadoras; y necesitamos crear más imágenes de la IA y de los robots libres de estereotipos de género en los medios.
