Investigadores del MIT han desarrollado una interfaz informática que puede transcribir palabras que el usuario se concentra en verbalizar pero no pronuncia en voz alta.
El sistema consta de un dispositivo portátil y un sistema informático asociado. Los electrodos del dispositivo captan señales neuromusculares de la mandíbula y la cara que se activan con verbalizaciones internas —decir palabras «en tu cabeza»—, pero que son indetectables para el ojo humano. Las señales se envían a un sistema de aprendizaje automático que ha sido entrenado para correlacionar señales particulares con palabras particulares.
El dispositivo también incluye un par de auriculares de conducción ósea, que transmiten vibraciones a través de los huesos de la cara hasta el oído interno. Como no obstruyen el conducto auditivo, los auriculares permiten al sistema transmitir información al usuario sin interrumpir la conversación ni interferir de otro modo en su experiencia auditiva.
Así, el dispositivo forma parte de un sistema completo de computación silenciosa que permite al usuario plantear y recibir de forma indetectable respuestas a problemas computacionales complejos. En uno de los experimentos de los investigadores, por ejemplo, los sujetos usaron el sistema para informar en silencio de los movimientos de sus oponentes en una partida de ajedrez y recibir, igualmente en silencio, respuestas recomendadas por el ordenador.
«La motivación fue construir un dispositivo de IA, un dispositivo de aumento de la inteligencia», explica Arnav Kapur, estudiante de posgrado en el MIT Media Lab, que dirigió el desarrollo del nuevo sistema. «Nuestra idea era: ¿podríamos tener una plataforma informática más interna, que fusionara en cierto modo lo humano y lo mecánico, y que se sintiera como una extensión interna de nuestra propia cognición?»
«Básicamente no podemos vivir sin nuestros teléfonos móviles, nuestros dispositivos digitales», afirma Pattie Maes, profesora de artes y ciencias de los medios y asesora de tesis de Kapur. «Pero en este momento, el uso de esos dispositivos es muy disruptivo. Si quiero buscar algo relacionado con una conversación que estoy manteniendo, tengo que encontrar mi teléfono, escribir el código de acceso, abrir una aplicación y escribir alguna palabra clave de búsqueda, y todo el proceso exige que desvíe por completo mi atención de mi entorno y de las personas con las que estoy, para centrarla en el propio teléfono. Así que mis estudiantes y yo llevamos mucho tiempo experimentando con nuevos formatos y nuevos tipos de experiencia que permitan a las personas seguir beneficiándose de todo el maravilloso conocimiento y de los servicios que nos ofrecen estos dispositivos, pero de un modo que les permita seguir presentes.»
Los investigadores describen su dispositivo en un artículo presentado en la conferencia de Interfaces de Usuario Inteligentes de la ACM (Association for Computing Machinery). Kapur es el primer autor del artículo, Maes es la autora principal, y se les une Shreyas Kapur, estudiante de grado en ingeniería eléctrica e informática.
Señales sutiles
La idea de que las verbalizaciones internas tienen correlatos físicos existe desde el siglo XIX, y se investigó seriamente en la década de 1950. Uno de los objetivos del movimiento de lectura rápida de los años sesenta era eliminar la verbalización interna, o «subvocalización», como se la conoce.
Pero la subvocalización como interfaz informática está en gran medida sin explorar. El primer paso de los investigadores fue determinar qué ubicaciones del rostro son las fuentes de las señales neuromusculares más fiables. Así, realizaron experimentos en los que se pidió a los mismos sujetos subvocalizar la misma serie de palabras cuatro veces, con una matriz de 16 electrodos en distintas ubicaciones faciales en cada ocasión.
Los investigadores escribieron código para analizar los datos resultantes y descubrieron que las señales de siete ubicaciones concretas de electrodos podían distinguir de forma consistente las palabras subvocalizadas. En el artículo de la conferencia, los investigadores presentan un prototipo de interfaz portátil de habla silenciosa, que se coloca alrededor de la parte posterior del cuello como un auricular telefónico y tiene apéndices curvos con forma de tentáculo que tocan la cara en siete puntos a cada lado de la boca y a lo largo de las mandíbulas.
Pero en los experimentos actuales, los investigadores obtienen resultados comparables usando solo cuatro electrodos a lo largo de una mandíbula, lo que debería dar lugar a un dispositivo portátil menos invasivo.
Una vez seleccionadas las ubicaciones de los electrodos, los investigadores comenzaron a recopilar datos sobre unas pocas tareas computacionales con vocabularios limitados, de unas 20 palabras cada una. Una era aritmética, en la que el usuario subvocalizaba grandes problemas de suma o multiplicación; otra era la aplicación de ajedrez, en la que el usuario informaba de los movimientos usando el sistema estándar de numeración del ajedrez.
Luego, para cada aplicación, usaron una red neuronal para encontrar correlaciones entre señales neuromusculares particulares y palabras particulares. Como la mayoría de las redes neuronales, la que usaron los investigadores está organizada en capas de nodos de procesamiento simples, cada uno de los cuales está conectado a varios nodos de las capas superior e inferior. Los datos se introducen en la capa inferior, cuyos nodos los procesan y los pasan a la siguiente capa, cuyos nodos los procesan y los pasan a la siguiente, y así sucesivamente. La salida de la capa final produce es el resultado de alguna tarea de clasificación.
La configuración básica del sistema de los investigadores incluye una red neuronal entrenada para identificar palabras subvocalizadas a partir de señales neuromusculares, pero puede personalizarse para un usuario concreto mediante un proceso que reentrena solo las dos últimas capas.
Aspectos prácticos
Usando el prototipo de interfaz portátil, los investigadores realizaron un estudio de usabilidad en el que 10 sujetos dedicaron unos 15 minutos cada uno a personalizar la aplicación aritmética a su propia neurofisiología, y después otros 90 minutos a usarla para ejecutar cálculos. En ese estudio, el sistema tuvo una precisión media de transcripción de alrededor del 92 por ciento.
Pero, según Kapur, el rendimiento del sistema debería mejorar con más datos de entrenamiento, que podrían recopilarse durante su uso habitual. Aunque no ha hecho los cálculos, estima que el sistema, con un entrenamiento más sólido, que utiliza para las demostraciones tiene una tasa de precisión superior a la que se informó en el estudio de usabilidad.
En el trabajo en curso, los investigadores están recopilando una gran cantidad de datos sobre conversaciones más elaboradas, con la esperanza de construir aplicaciones con vocabularios mucho más amplios. «Estamos en mitad de la recopilación de datos, y los resultados son prometedores», dice Kapur. «Creo que algún día lograremos una conversación completa».
«Creo que están subestimando un poco lo que, en mi opinión, es un potencial real de este trabajo», afirma Thad Starner, profesor de la Facultad de Informática de Georgia Tech. «Por ejemplo, controlar los aviones en la pista del aeropuerto Hartsfield, aquí en Atlanta. Tienes el ruido de los reactores a tu alrededor, llevas esos grandes protectores auditivos; ¿no sería estupendo comunicarse por voz en un entorno en el que normalmente no podrías? Puedes imaginar todas esas situaciones en las que hay mucho ruido, como la cubierta de vuelo de un portaaviones, o incluso lugares con mucha maquinaria, como una central eléctrica o una imprenta. Este es un sistema que tendría sentido, sobre todo porque, en este tipo de entornos o situaciones, las personas ya llevan equipo de protección. Por ejemplo, si eres piloto de caza o bombero, ya llevas estas máscaras.»
«Lo otro en lo que esto resulta extremadamente útil son las operaciones especiales», añade Starner. «Hay muchos lugares que no son ruidosos, sino silenciosos. Muchas veces, el personal de operaciones especiales utiliza gestos con las manos, pero no siempre se pueden ver. ¿No sería estupendo disponer de habla silenciosa para la comunicación entre este personal? El último caso son las personas con discapacidades que no pueden vocalizar con normalidad. Por ejemplo, Roger Ebert perdió la capacidad de hablar porque perdió la mandíbula a causa del cáncer. ¿Podría hacer este tipo de habla silenciosa y luego contar con un sintetizador que pronunciara las palabras?»
