Su algoritmo, Photo Wake-Up, puede llevar a una persona desde una foto 2D o una obra de arte y hacer que corra, camine o salte fuera del marco.
El sistema también permite a los usuarios ver la animación en tres dimensiones mediante herramientas de realidad aumentada. Los investigadores presentarán sus resultados el 19 de junio en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones, en Long Beach, California. Esta investigación captó por primera vez la atención de los medios cuando apareció en forma de preprint en diciembre en ArXiv.
“Es un problema fundamental muy difícil en la visión por computador”, afirma la coautora Ira Kemelmacher-Shlizerman, profesora asociada de la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería de la Universidad de Washington. “El gran desafío aquí es que la entrada procede de una única posición de cámara, por lo que parte de la persona es invisible. Nuestro trabajo combina un avance técnico en un problema abierto del campo con una visualización creativa artística.”
Anteriormente, los investigadores pensaban que sería imposible animar a una persona que sale corriendo de una sola fotografía.
“Existen trabajos previos que intentan crear un personaje 3D utilizando múltiples puntos de vista”, afirma el coautor Brian Curless, profesor de la Escuela Allen. “Pero aun así no se podía dar vida a alguien y hacer que saliera corriendo de una escena, ni incorporar la RA en ello. Fue realmente sorprendente que pudiéramos obtener resultados convincentes usando solo una fotografía.”
Los investigadores prevén que Photo Wake-Up podría dar lugar a una nueva forma de que los jugadores creen avatares que realmente se parezcan a ellos, un método para que los visitantes interactúen con pinturas en un museo de arte —por ejemplo, sentarse a tomar el té con la Mona Lisa— o algo que permita a los niños dar vida a sus dibujos.
Entre los ejemplos del artículo de investigación figuran animar a Stephen Curry, de los Golden State Warriors, para que salga corriendo de la cancha; a Paul McCartney para que salte de la portada del álbum “Help!”, y el “Icarus” (1944) de Matisse para que abandone su marco.
Para hacer realidad esa magia, Photo Wake-Up comienza identificando a una persona en una imagen y creando una máscara del contorno del cuerpo. A partir de ahí, ajusta una plantilla 3D a la posición corporal del sujeto. Luego, el algoritmo hace algo sorprendente: para deformar la plantilla de forma que realmente parezca la persona de la fotografía, proyecta de nuevo la persona 3D en 2D.
“Es muy difícil manipular con precisión en 3D”, afirma el coautor Chung-Yi Weng, estudiante de doctorado en la Escuela Allen. “Quizá se pueda hacer de forma aproximada, pero cualquier error será evidente al animar el personaje. Por eso tenemos que encontrar la manera de manejar las cosas a la perfección, y es más fácil hacerlo en 2D.”
Photo Wake-Up almacena información 3D para cada píxel: su distancia a la cámara o al artista y la forma en que las articulaciones de una persona están conectadas entre sí. Una vez que la plantilla se ha deformado para ajustarse a la forma de la persona, el algoritmo aplica la textura, es decir, los colores de la imagen. También genera la parte posterior de la persona utilizando información de la imagen y de la plantilla 3D. Después, la herramienta une ambos lados para crear una persona 3D que podrá girarse.
Una vez que el personaje 3D está listo para correr, el algoritmo necesita preparar el fondo para que el personaje no deje un espacio en blanco detrás. Photo Wake-Up rellena el hueco que queda detrás de la persona tomando información de otras partes de la imagen.
En este momento, Photo Wake-Up funciona mejor con imágenes de personas de frente, y puede animar tanto creaciones artísticas como fotografías de personas reales. El algoritmo también puede tratar algunas fotos en las que los brazos de las personas bloquean parte de su cuerpo, pero aún no es capaz de animar a personas con las piernas cruzadas o que se bloquean en gran parte de sí mismas.
“Photo Wake-Up es una nueva forma de interactuar con las fotos”, afirma Weng. “Todavía no puede hacerlo todo, pero esto es solo el principio.”
