Desde los primeros días del ajedrez y el solitario virtuales, los videojuegos han sido un campo de pruebas para el desarrollo de la inteligencia artificial (IA). Cada victoria de la máquina sobre el ser humano ha contribuido a que los algoritmos sean más inteligentes y eficientes. Pero para abordar problemas del mundo real, como la automatización de tareas complejas, entre ellas la conducción y la negociación, estos algoritmos deben navegar en entornos más complejos que los juegos de mesa y aprender a trabajar en equipo. Enseñar a la IA a trabajar e interactuar con otros jugadores para tener éxito había sido una tarea insuperable hasta ahora.
En un nuevo estudio, los investigadores describieron un método para entrenar algoritmos de IA para alcanzar niveles de rendimiento humanos en un popular juego multijugador 3D: una versión modificada de Quake III Arena en el modo Capture the Flag.
Aunque la tarea de este juego es sencilla – dos equipos rivales compiten por capturar las banderas del equipo contrario navegando por un mapa – ganar exige una toma de decisiones compleja y la capacidad de anticipar y responder a las acciones de otros jugadores.
Es la primera vez que una IA alcanza habilidades similares a las humanas en un videojuego en primera persona. ¿Cómo lo lograron los investigadores?
La curva de aprendizaje de los robots
En 2019 se alcanzaron varios hitos en la investigación sobre IA en otros juegos de estrategia multijugador. Cinco “bots” (jugadores controlados por una IA) – derrotaron a un equipo profesional de deportes electrónicos en una partida de DOTA 2. Los jugadores humanos profesionales también fueron derrotados por una IA en una partida de StarCraft II. En todos los casos se aplicó una forma de aprendizaje por refuerzo, mediante la cual el algoritmo aprende por ensayo y error e interactuando con su entorno.
Los cinco bots que vencieron a humanos en DOTA 2 no aprendieron observando a jugadores humanos, sino que se entrenaron exclusivamente jugando partidas contra clones de sí mismos. La mejora que les permitió vencer a jugadores profesionales provino de escalar algoritmos existentes. Gracias a la velocidad del ordenador, la IA podía jugar en pocos segundos una partida que a los humanos les lleva minutos o incluso horas. Esto permitió a los investigadores entrenar su IA con 45.000 años de partidas en diez meses de tiempo real.
El bot de Capture the Flag del estudio reciente también comenzó a aprender desde cero. Pero en lugar de jugar contra su clon idéntico, un grupo de 30 bots fue creado y entrenado en paralelo con su propia señal de recompensa interna. Cada bot de esta población jugaría luego junto a los demás y aprendería de ellos. Como señala David Silver, uno de los científicos investigadores implicados, la IA está empezando a “eliminar las limitaciones del conocimiento humano… y crear el conocimiento en sí mismo”.
La velocidad de aprendizaje de los humanos sigue siendo mucho más lenta que la de los algoritmos más avanzados de aprendizaje profundo por refuerzo. Tanto los bots de OpenAI como AlphaStar de DeepMind (el bot que juega a StarCraft II) consumieron miles de años de partidas antes de poder alcanzar un nivel de rendimiento humano. Este entrenamiento tiene un coste estimado en varios millones de dólares. Aun así, una IA autodidacta capaz de vencer a los humanos en su propio juego es un avance apasionante que podría cambiar la forma en que vemos las máquinas.
El futuro de los humanos y las máquinas
A menudo se representa a la IA sustituyendo o complementando las capacidades humanas, pero rara vez como un miembro de equipo de pleno derecho que realiza la misma tarea que los seres humanos. Como estos experimentos con videojuegos implican la colaboración entre máquinas y humanos, ofrecen un atisbo del futuro.
Los jugadores humanos de Capture the Flag valoraron a los bots como más colaborativos que a otros humanos, pero los jugadores de DOTA 2 tuvieron una reacción mixta ante sus compañeros de IA. Algunos se mostraron muy entusiastas, afirmando que se sentían apoyados y que aprendían jugando junto a ellos. Sheever, jugadora profesional de DOTA 2, habló de su experiencia formando equipo con bots:
En realidad fue agradable; [el compañero de IA] dio su vida por mí en algún momento. Intentó ayudarme, pensando “seguro que ella sabe lo que hace”, y luego, obviamente, no lo sabía. Pero, ya sabes, creyó en mí. No me pasa tanto con compañeros [humanos].
Otros se mostraron menos entusiastas, pero como la comunicación es el pilar de cualquier relación, mejorar la comunicación entre humanos y máquinas será crucial en el futuro. Los investigadores ya han adaptado algunas características para que los bots resulten más “amigables para los humanos”, por ejemplo haciendo que los bots esperen artificialmente antes de elegir su personaje durante la selección de personajes del equipo antes de la partida, para evitar presionar a los humanos.
¿Pero debería la IA aprender de nosotros o seguir enseñándose a sí misma? El autoaprendizaje sin imitar a los humanos podría dotar a la IA de más eficiencia y creatividad, pero también podría dar lugar a algoritmos más adecuados para tareas que no implican colaboración humana, como los robots de almacén.
Por otra parte, se podría argumentar que tener una máquina entrenada a partir de humanos sería más intuitivo: las personas que usan esa IA podrían entender por qué una máquina hizo lo que hizo. A medida que la IA se vuelve más inteligente, nos esperan muchas más sorpresas.
