Este ordenador convierte texto en animación

Los científicos han logrado avances enormes en la comprensión del lenguaje natural por parte de los ordenadores, así como en la generación de una serie de posturas físicas para crear animaciones realistas. Sin embargo, estas capacidades podrían existir en mundos separados, ya que faltaba el vínculo entre el lenguaje natural y las posturas físicas.

Los investigadores trabajan para unir esos mundos mediante una arquitectura neuronal que denominan Joint Language-to-Pose, o JL2P. El modelo JL2P permite a los investigadores incorporar conjuntamente oraciones y movimientos físicos, de modo que puede aprender cómo se relacionan el lenguaje, la acción, los gestos y el movimiento.

«Creo que estamos en una fase temprana de esta investigación, pero desde la perspectiva del modelado, la inteligencia artificial y la teoría, es un momento muy emocionante», afirma Louis-Philippe Morency, profesor asociado del Instituto de Tecnologías del Lenguaje de la Universidad Carnegie Mellon. «Ahora mismo hablamos de animar personajes virtuales. Con el tiempo, este vínculo entre el lenguaje y los gestos podría aplicarse a robots; quizá podamos simplemente decirle a un robot asistente personal lo que queremos que haga.

«También podríamos, con el tiempo, recorrer el camino inverso: utilizar este vínculo entre el lenguaje y la animación para que un ordenador pueda describir lo que ocurre en un vídeo», añade.

Para crear JL2P, el doctorando del LTI Chaitanya Ahuja empleó un enfoque de aprendizaje curricular que consiste en que el modelo aprenda primero secuencias cortas y sencillas («Una persona camina hacia delante») y, después, secuencias más largas y complejas («Una persona da un paso al frente, luego se da la vuelta y vuelve a dar un paso al frente», o «Una persona salta un obstáculo mientras corre»).

Los verbos y los adverbios describen la acción y su velocidad o aceleración, mientras que los sustantivos y los adjetivos describen ubicaciones y direcciones. El objetivo final es animar secuencias complejas con múltiples acciones que ocurran simultáneamente o en sucesión, afirma Ahuja. Por ahora, las animaciones son de figuras de palo.

Lo que lo complica aún más es que muchas cosas ocurren al mismo tiempo, incluso en secuencias simples, explica Morency.

«La sincronía entre las partes del cuerpo es muy importante», afirma Morency. «Cada vez que mueves las piernas, también mueves los brazos, el torso y, posiblemente, la cabeza. Las animaciones corporales deben coordinar estos distintos componentes y, al mismo tiempo, lograr acciones complejas. Incorporar la narrativa lingüística en este complejo entorno de animación es a la vez un desafío y algo emocionante. Este es un camino hacia una mejor comprensión del habla y los gestos.»

Ahuja presentará el trabajo en la Conferencia Internacional sobre Visión 3D, en la ciudad de Quebec (Canadá).