Las lenguas de signos no son fáciles de aprender y son aún más difíciles de enseñar. No solo utilizan gestos de las manos, sino también movimientos de los labios, expresiones faciales y la postura corporal para transmitir significado. Esta complejidad hace que los programas de enseñanza profesionales sigan siendo escasos y, a menudo, caros. Pero todo esto podría cambiar pronto, con un poco de ayuda de la inteligencia artificial (IA).
Mis colegas y yo estamos trabajando en un software para aprender lenguas de signos por cuenta propia de forma automatizada e intuitiva. Actualmente, esta herramienta puede analizar la forma en que un estudiante realiza una seña en la lengua de signos suiza alemana y ofrecer retroalimentación detallada sobre cómo mejorar la forma de la mano, el movimiento, la ubicación y la sincronización. Pero nuestra esperanza es utilizar la IA que hay detrás de la herramienta para crear un software que pueda enseñar diversas lenguas de signos de todo el mundo y tener en cuenta rasgos más complejos de estas lenguas, como la gramática de las oraciones y los elementos de la comunicación que no dependen de las manos.
La IA se ha utilizado anteriormente para el reconocimiento, la traducción o la interpretación de la lengua de signos. Pero creemos que somos los primeros en intentar evaluar las señas que realiza una persona. Y, lo más importante, queremos aprovechar la tecnología de IA para proporcionar al usuario retroalimentación sobre sus errores.
Practicar y evaluar la lengua de signos es difícil porque no se puede leer ni escribir. Por ello, hemos creado un juego de ordenador. Para practicar una seña, el juego te muestra un vídeo de esa seña realizada, o te ofrece la palabra hablada más cercana que la describe (o ambas cosas). Después graba tu intento de reproducir la seña con una cámara de vídeo y te indica cómo puedes hacerlo mejor. Hemos comprobado que, al convertirlo en un juego, las personas se animan a competir por obtener la mejor puntuación y a mejorar su forma de signar por el camino.
La inteligencia artificial se utiliza en todas las etapas de la evaluación del rendimiento. En primer lugar, una red neuronal convolucional (CNN) extrae del vídeo información sobre la postura de la parte superior de tu cuerpo. Una CNN es un tipo de IA basado vagamente en el procesamiento que realiza la corteza visual del cerebro. La información sobre tu postura esquelética y el vídeo original se envían después al analizador de la forma de la mano, donde otra CNN examina el vídeo y extrae información sobre la forma de la mano en cada punto del mismo.
La información esquelética y las formas de la mano se envían después a un analizador del movimiento de la mano, que utiliza algo llamado modelo oculto de Márkov (HMM). Este tipo de IA nos permite modelar la información del esqueleto y de la forma de la mano a lo largo del tiempo. Después compara lo que ha observado con un modelo de referencia que representa la versión perfecta de esa seña y produce una puntuación que indica su grado de coincidencia.
Los resultados del analizador de la forma de la mano y del analizador del movimiento de la mano se puntúan y se presentan como retroalimentación. Así, toda la IA queda oculta tras una interfaz sencilla de usar, que te permite centrarte en el aprendizaje. Nuestra esperanza es que la retroalimentación automática y personalizada haga que los estudiantes se impliquen más en el proceso de aprender a signar.
Llevar la IA al aula
Por ahora, el software solo funciona con la lengua de signos suiza alemana. Pero nuestra investigación sugiere que la «arquitectura» del sistema no tendría que cambiar para tratar otras lenguas. Solo necesitaría más grabaciones de vídeo de cada lengua que sirvieran como datos con los que entrenarlo.
Una línea de investigación que nos gustaría explorar es cómo podríamos utilizar lo que la IA ya sabe para ayudarla a aprender lenguas nuevas. También nos gustaría ver cómo podemos añadir otros aspectos de la comunicación al usar la lengua de signos, como las expresiones faciales.
Por el momento, el software funciona mejor en un entorno sencillo, como un aula. Pero si logramos que tolere más variaciones en el fondo de las imágenes de vídeo que analiza, podría llegar a parecerse a las numerosas aplicaciones populares que permiten aprender un idioma en cualquier lugar, sin la ayuda de un experto. Con el desarrollo de este tipo de tecnología, pronto será posible que aprender lenguas de signos sea tan accesible para todos como aprender sus equivalentes habladas.
