Mediante el razonamiento deductivo, el bot identifica quién es aliado o enemigo para asegurar la victoria sobre los humanos en determinados juegos en línea.
Investigadores del MIT han desarrollado un bot dotado de inteligencia artificial capaz de vencer a jugadores humanos en complejos juegos multijugador en línea en los que los roles y las motivaciones de los jugadores se mantienen en secreto.
Se han desarrollado muchos bots para jugar a videojuegos y mantenerse al nivel de los jugadores humanos. A principios de este año, un equipo de la Universidad Carnegie Mellon creó el primer bot del mundo capaz de vencer a profesionales en el póquer multijugador. AlphaGo, de DeepMind, acaparó titulares en 2016 al derrotar a un jugador profesional de Go. También se han creado varios bots para vencer a jugadores profesionales de ajedrez o para unirse en juegos cooperativos, como la captura de la bandera en línea. Sin embargo, en estos juegos el bot conoce desde el inicio a sus oponentes y compañeros de equipo.
En la Conferencia sobre Sistemas de Procesamiento de Información Neuronal del próximo mes, los investigadores presentarán DeepRole, el primer bot para videojuegos capaz de ganar partidas multijugador en línea en las que la pertenencia de los participantes a un equipo no está clara al principio. El bot incorpora un novedoso «razonamiento deductivo» a un algoritmo de IA que se utiliza habitualmente para jugar al póquer. Esto le ayuda a razonar sobre acciones parcialmente observables, con el fin de determinar la probabilidad de que un jugador concreto sea compañero o adversario. Así, aprende rápidamente con quién debe aliarse y qué acciones debe emprender para garantizar la victoria de su equipo.
Los investigadores enfrentaron a DeepRole con jugadores humanos en más de 4000 partidas del juego en línea «The Resistance: Avalon». En este juego, los jugadores intentan deducir los roles secretos de sus compañeros a medida que avanza la partida, mientras ocultan simultáneamente el suyo propio. Tanto como compañero como adversario, DeepRole superó de forma constante a los jugadores humanos.
«Si sustituyes a un compañero humano por un bot, puedes esperar un mayor porcentaje de victorias para tu equipo. Los bots son mejores compañeros», afirma el primer autor, Jack Serrino, licenciado en 2018, que cursó ingeniería eléctrica e informática en el MIT y es un ávido jugador en línea de «Avalon».
Este trabajo forma parte de un proyecto más amplio para modelizar mejor cómo los seres humanos toman decisiones informadas desde el punto de vista social. Hacerlo podría ayudar a construir robots que comprendan mejor a los humanos, aprendan de ellos y trabajen con ellos.
«Los humanos aprenden de los demás y cooperan con ellos, y eso nos permite lograr juntos cosas que ninguno de nosotros podría conseguir por sí solo», afirma el coautor Max Kleiman-Weiner, investigador posdoctoral del Center for Brains, Minds and Machines y del Departamento de Ciencias Cerebrales y Cognitivas del MIT, así como de la Universidad de Harvard. «Juegos como “Avalon” reproducen mejor los dinámicos entornos sociales que los humanos experimentan en la vida cotidiana. Tienes que averiguar quién está en tu equipo y quién va a colaborar contigo, ya sea en tu primer día de jardín de infancia o en otro día de tu oficina».
Junto a Serrino y Kleiman-Weiner, en el artículo también participan David C. Parkes, de Harvard, y Joshua B. Tenenbaum, profesor de ciencia cognitiva computacional y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT y del Center for Brains, Minds and Machines.
Bot deductivo
En «Avalon», tres jugadores son asignados de forma aleatoria y secreta al equipo de la «resistencia», y dos jugadores, al equipo de los «espías». Ambos jugadores espías conocen los roles de todos. En cada ronda, un jugador propone un subconjunto de dos o tres jugadores para llevar a cabo una misión. Todos los jugadores votan de forma simultánea y pública para aprobar o rechazar dicho subconjunto. Si la mayoría lo aprueba, el subconjunto determina en secreto si la misión tendrá éxito o fracasará. Si se eligen dos cartas de «éxito», la misión tiene éxito; si se selecciona una de «fracaso», la misión fracasa. Los jugadores de la resistencia deben elegir siempre el éxito, mientras que los espías pueden elegir cualquiera de los dos resultados. El equipo de la resistencia gana tras tres misiones exitosas; el equipo de los espías gana tras tres misiones fallidas.
Ganar la partida se reduce, básicamente, a deducir quién es de la resistencia o espía y a votar por tus colaboradores. Pero, en realidad, esto es computacionalmente más complejo que jugar al ajedrez y al póquer. «Es un juego de información imperfecta», afirma Kleiman-Weiner. «Al principio ni siquiera estás seguro de a quién te enfrentas, así que hay una fase adicional de descubrimiento para averiguar con quién cooperar».
DeepRole utiliza un algoritmo de planificación de juegos llamado «minimización del arrepentimiento contrafactual» (CFR), que aprende a jugar repitiendo partidas contra sí mismo, y lo combina con razonamiento deductivo. En cada punto de la partida, CFR anticipa el futuro para crear un «árbol de juego» de decisiones, formado por líneas y nodos que describen las posibles acciones futuras de cada jugador. Los árboles de juego representan todas las acciones posibles (líneas) que cada jugador puede realizar en cada punto de decisión futuro. Al simular potencialmente miles de millones de partidas, CFR registra qué acciones han aumentado o disminuido sus probabilidades de ganar y revisa iterativamente su estrategia para incluir más buenas decisiones. Finalmente, planifica una estrategia óptima que, en el peor de los casos, empata frente a cualquier oponente.
CFR funciona bien en juegos como el póquer, con acciones públicas, como apostar dinero o retirarse de una mano, pero tiene dificultades cuando las acciones son secretas. El CFR de los investigadores combina las acciones públicas y las consecuencias de las acciones privadas para determinar si los jugadores son de la resistencia o espías.
El bot se entrena jugando contra sí mismo, tanto como miembro de la resistencia como espía. Al jugar una partida en línea, utiliza su árbol de juego para estimar lo que hará cada jugador. El árbol de juego representa una estrategia que ofrece a cada jugador la mayor probabilidad de ganar con el rol asignado. Los nodos del árbol contienen «valores contrafactuales», que son, básicamente, estimaciones de la recompensa que obtiene un jugador si sigue esa estrategia concreta.
En cada misión, el bot compara cómo ha jugado cada persona con respecto al árbol de juego. Si, a lo largo de la partida, un jugador toma suficientes decisiones que no concuerdan con lo que espera el bot, es probable que esté jugando con el otro rol. Finalmente, el bot asigna una probabilidad alta al rol de cada jugador. Estas probabilidades se utilizan para actualizar la estrategia del bot y aumentar sus posibilidades de victoria.
Al mismo tiempo, utiliza esta misma técnica para estimar cómo podría interpretar un observador externo sus propias acciones. Esto le ayuda a prever cómo podrían reaccionar los demás jugadores, lo que le permite tomar decisiones más inteligentes. «Si está en una misión de dos jugadores que fracasa, los demás jugadores saben que uno de ellos es espía. Es probable que el bot no proponga el mismo equipo en misiones futuras, ya que sabe que los demás jugadores piensan que es malo», afirma Serrino.
Lenguaje: la próxima frontera
Curiosamente, el bot no necesitó comunicarse con los demás jugadores, algo que suele ser un componente clave del juego. «Avalon» permite a los jugadores chatear mediante un módulo de texto durante la partida. «Pero resulta que nuestro bot pudo trabajar bien con un equipo de otros humanos solo observando las acciones de los jugadores», afirma Kleiman-Weiner. «Esto es interesante, porque podría pensarse que juegos como este requieren estrategias de comunicación complejas».
«Me entusiasmó ver este artículo cuando se publicó», afirma Michael Bowling, profesor de la Universidad de Alberta, cuya investigación se centra, en parte, en entrenar a computadoras para jugar a juegos. «Es realmente emocionante ver cómo las ideas de DeepStack encuentran aplicación más allá del póquer. [DeepStack] ha sido tan central para la IA en el ajedrez y el Go en situaciones de información imperfecta. Pero aun así no esperaba que se extendiera tan rápido a una situación como la de un juego de roles ocultos como Avalon. Poder desenvolverse en un escenario de deducción social, que resulta tan esencialmente humano, es un paso realmente importante. Todavía queda mucho trabajo por hacer, sobre todo cuando la interacción social es más abierta, pero seguimos viendo que muchos de los algoritmos fundamentales de IA con aprendizaje por autojuego pueden llegar muy lejos».
A continuación, los investigadores podrían permitir que el bot se comunique durante las partidas mediante texto sencillo, por ejemplo, indicando que un jugador es bueno o malo. Eso implicaría asignar texto a la probabilidad correlacionada de que un jugador sea de la resistencia o espía, que el bot ya utiliza para tomar sus decisiones. Más allá de eso, un bot futuro podría estar dotado de capacidades de comunicación más complejas, lo que le permitiría jugar a juegos de deducción social con un fuerte componente lingüístico, como el popular juego «Hombres lobo», que implican varios minutos de discusiones y de persuasión de otros jugadores sobre quién pertenece a los equipos buenos y malos.
«El lenguaje es, sin duda, la próxima frontera», afirma Serrino. «Pero hay muchos desafíos que abordar en esos juegos, en los que la comunicación es tan clave».
