Un equipo de investigadores ha enseñado nuevas habilidades a robots usando técnicas que normalmente se emplean para adiestrar perros.
Mediante el refuerzo positivo, lograron enseñar a un robot a aprender cosas nuevas en unos días, en lugar de lo que suele llevar un mes.
El equipo cree que estos hallazgos podrían ayudar a adiestrar robots domésticos y coches autónomos.
Con una técnica de adiestramiento que suele usarse para enseñar a los perros a sentarse y quedarse quietos, los investigadores mostraron a un robot cómo enseñarse por sí mismo varios trucos nuevos, entre ellos apilar bloques.
Con este método, el robot, llamado Spot, pudo aprender en unos días lo que normalmente lleva un mes.
Al utilizar el refuerzo positivo, un enfoque conocido por cualquiera que haya usado premios para cambiar el comportamiento de un perro, el equipo mejoró notablemente las habilidades del robot y lo hizo con la suficiente rapidez para que adiestrar robots para tareas en el mundo real resulte más viable.
«He tenido perros, así que sé que las recompensas funcionan, y eso me inspiró a diseñar el algoritmo de aprendizaje»
«La pregunta aquí era cómo conseguir que el robot aprendiera una habilidad», dice el autor principal, Andrew Hundt, estudiante de doctorado que trabaja en el Laboratorio de Interacción Computacional y Robótica de la Universidad Johns Hopkins. «He tenido perros, así que sé que las recompensas funcionan, y eso me inspiró a diseñar el algoritmo de aprendizaje».
La investigación se publica en IEEE Robotics and Automation Letters.
Enseñar a un robot a aprender
A diferencia de los seres humanos y los animales, que nacen con cerebros muy intuitivos, los ordenadores son como pizarras en blanco y deben aprenderlo todo desde cero. Sin embargo, el aprendizaje auténtico suele lograrse mediante ensayo y error, y los especialistas en robótica todavía están tratando de averiguar cómo pueden aprender los robots de sus errores de manera eficiente.
El equipo lo consiguió diseñando un sistema de recompensas que funciona para un robot como los premios para un perro. Mientras que un perro podría recibir una galleta por hacer bien una tarea, el robot ganaba puntos numéricos.
Hundt recordó cómo una vez enseñó a Leah, su cachorra mestiza de terrier, la orden «déjalo» para que ignorara a las ardillas durante los paseos. Usó dos tipos de premios: los premios de adiestramiento habituales y algo aún mejor, como queso.
Cuando Leah estaba excitada y olfateaba los premios, no recibía nada. Pero cuando se calmaba y apartaba la mirada, obtenía lo mejor. «Entonces le di el queso y dije: “¡Déjalo! ¡Muy bien, Leah!”»
Del mismo modo, para apilar bloques, Spot necesitaba aprender a concentrarse en acciones constructivas. Mientras exploraba los bloques, el robot aprendió rápidamente que las conductas correctas para apilarlos daban muchos puntos, pero las incorrectas no daban ninguno. ¿Extender la pata sin agarrar un bloque? Ningún punto. ¿Derribar una pila? Desde luego, ningún punto. Spot obtenía la mayor puntuación al colocar el último bloque sobre una pila de cuatro bloques.
¡Récord de puntos!
La táctica de adiestramiento no solo funcionó, sino que bastaron unos días para enseñar al robot lo que antes llevaba semanas. El equipo logró reducir el tiempo de práctica adiestrando primero un robot simulado, parecido a un videojuego, y luego haciendo pruebas con Spot.
«El robot quiere obtener la puntuación más alta», dice Hundt. «Aprende rápidamente la conducta adecuada para conseguir la mejor recompensa. De hecho, antes el robot necesitaba un mes de práctica para alcanzar una precisión del 100 %. Logramos hacerlo en dos días».
El refuerzo positivo no solo ayudó al robot a aprender por sí mismo a apilar bloques; con el sistema de puntos, el robot también aprendió con la misma rapidez varias otras tareas—incluso a jugar a un juego simulado de navegación. La capacidad de aprender de los errores en todo tipo de situaciones es fundamental para diseñar un robot que pueda adaptarse a nuevos entornos.
«Al principio, el robot no tiene ni idea de lo que hace, pero mejora cada vez más con cada práctica. Nunca se rinde, sigue intentando apilar y puede completar la tarea el 100 % de las veces», dice Hundt.
El equipo cree que estos hallazgos podrían ayudar a adiestrar domésticos robots para lavar la ropa y los platos; tareas que podrían tener buena acogida en el mercado abierto y ayudar a las personas mayores a vivir de forma independiente. También podrían contribuir al diseño de mejores coches autónomos.
«Nuestro objetivo es desarrollar, con el tiempo, robots capaces de realizar tareas complejas en el mundo real, como ensamblar productos, cuidar a personas mayores y practicar cirugía», dice el coautor Gregory D. Hager, profesor de informática.
«Actualmente no sabemos cómo programar tareas así: el mundo es demasiado complejo. Pero trabajos como este muestran que hay motivos para confiar en que los robots pueden aprender a realizar tareas del mundo real de forma segura y eficiente», dice Hager.
Fuente: Universidad Johns Hopkins
