Millones de personas se comunican mediante la lengua de signos, pero hasta ahora los proyectos para captar sus complejos gestos y traducirlos al habla verbal han tenido un éxito limitado. Un nuevo avance en el seguimiento de manos en tiempo real, procedente de los laboratorios de IA de Google, sin embargo, podría ser el avance que algunos llevaban tiempo esperando.
La nueva técnica utiliza unos cuantos atajos ingeniosos y, por supuesto, la creciente eficiencia general de los sistemas de aprendizaje automático para generar, en tiempo real, un mapa muy preciso de la mano y de todos sus dedos, utilizando únicamente un teléfono inteligente y su cámara.
«Mientras que los enfoques más avanzados actuales dependen principalmente de potentes entornos de escritorio para la inferencia, nuestro método logra un rendimiento en tiempo real en un teléfono móvil e incluso se adapta a varias manos», escriben los investigadores de Google Valentin Bazarevsky y Fan Zhang en una entrada de blog. «La percepción robusta de las manos en tiempo real es una tarea de visión artificial claramente desafiante, ya que las manos a menudo se ocultan a sí mismas o entre sí (por ejemplo, oclusiones de dedos/palma y temblores de manos) y carecen de patrones de alto contraste».
No solo eso, sino que los movimientos de las manos suelen ser rápidos, sutiles, o ambas cosas, y no son necesariamente el tipo de cosa que los ordenadores captan bien en tiempo real. Básicamente, es sumamente difícil hacerlo bien, y hacerlo bien es difícil de hacer con rapidez. Incluso con equipos de detección de profundidad y varias cámaras, como los que utiliza SignAll, tienen dificultades para seguir cada movimiento. (Pero eso no les impide seguir adelante).
El objetivo de los investigadores en este caso, al menos en parte, era reducir la cantidad de datos que los algoritmos necesitaban analizar. Menos datos significa un procesamiento más rápido.
Por un lado, abandonaron la idea de que un sistema detectara la posición y el tamaño de toda la mano. En su lugar, hicieron que el sistema solo localizara la palma, que no solo es la parte más distintiva y de forma más fiable de la mano, sino que además es cuadrada, lo que significa que no tuvieron que preocuparse de que el sistema pudiera manejar imágenes rectangulares altas, bajas, etc.
Una vez reconocida la palma, por supuesto, los dedos salen de uno de sus extremos y pueden analizarse por separado. Un algoritmo independiente examina la imagen y le asigna 21 coordenadas, que corresponden aproximadamente a los nudillos y las puntas de los dedos, incluida la distancia probable a la que se encuentran (puede estimarla a partir del tamaño y el ángulo de la palma, entre otros factores).
Para realizar esta parte del reconocimiento de los dedos, primero tuvieron que añadir manualmente esos 21 puntos a unas 30 000 imágenes de manos en diversas posturas y condiciones de iluminación, para que el sistema de aprendizaje automático las procesara y aprendiera de ellas. Como de costumbre, la inteligencia artificial depende de un arduo trabajo humano para ponerse en marcha.
Una vez determinada la postura de la mano, esta se compara con un conjunto de gestos conocidos, desde los símbolos de la lengua de signos para letras y números hasta gestos como «paz» y «rock».
El resultado es un algoritmo de seguimiento de manos que es rápido y preciso, y que funciona en un teléfono inteligente normal en lugar de en un ordenador de escritorio sofisticado o en la nube (es decir, en el ordenador de escritorio sofisticado de otra persona). Todo se ejecuta dentro del marco MediaPipe, que quizá ya resulte familiar a los expertos en tecnología multimedia.
Con suerte, otros investigadores podrán aprovechar esto y avanzar, quizá mejorando los sistemas existentes que necesitaban hardware más potente para realizar el tipo de reconocimiento de manos necesario para reconocer gestos. Sin embargo, aún queda un largo camino hasta comprender realmente la lengua de signos, que utiliza ambas manos, las expresiones faciales y otras señales para constituir un modo de comunicación rico y sin igual.
Esto aún no se utiliza en ningún producto de Google, por lo que los investigadores pudieron ofrecer su trabajo de forma gratuita. El código fuente está disponible aquí para que cualquiera pueda utilizarlo y desarrollarlo.
«Esperamos que poner a disposición de la comunidad investigadora y de desarrollo en general esta funcionalidad de percepción de manos dé lugar a la aparición de casos de uso creativos, estimulando nuevas aplicaciones y nuevas vías de investigación», escriben.
