Investigadores del Media Lab del MIT han creado un prototipo de dispositivo que se lleva en el dedo y cuenta con una cámara integrada que convierte el texto escrito en audio para personas con discapacidad visual. El dispositivo proporciona retroalimentación —táctil o audible— que guía el dedo del usuario a lo largo de una línea de texto, y el sistema genera el audio correspondiente en tiempo real.
«Es necesario que haya un vínculo estrecho entre lo que oye la persona y la posición de la yema del dedo», afirma Roy Shilkrot, estudiante de posgrado del MIT en artes y ciencias de los medios y, junto con Jochen Huber, investigador posdoctoral del Media Lab, autor principal de un nuevo artículo que describe el dispositivo. «Para las personas con discapacidad visual, esto es una traducción. Es algo que traduce a audio lo que sea que el dedo esté “viendo”. Necesitan una retroalimentación rápida y en tiempo real para mantener esa conexión. Si se interrumpe, se rompe la ilusión».
Huber presentará el artículo en la conferencia Computer-Human Interface de la Association for Computing Machinery en abril. Los coautores de Huber y Shilkrot son Pattie Maes, profesora Alexander W. Dreyfoos de Artes y Ciencias de los Medios del MIT; Suranga Nanayakkara, profesor adjunto de desarrollo de productos de ingeniería en la Singapore University of Technology and Design, quien fue investigador posdoctoral y luego profesor visitante en el laboratorio de Maes; y Meng Ee Wong, de la Nanyang Technological University de Singapur.
El artículo también presenta los resultados de un estudio de usabilidad realizado con voluntarios con discapacidad visual, en el que los investigadores probaron varias versiones del dispositivo. Una incluía dos motores hápticos, uno sobre el dedo y el otro debajo. La vibración de los motores indicaba si la persona debía subir o bajar el dedo que seguía la línea.
Otra versión, sin motores, utilizaba retroalimentación de audio: un tono musical que aumentaba de volumen si el dedo del usuario comenzaba a desviarse de la línea de texto. Los investigadores también probaron los motores junto con el tono musical. Sin embargo, los participantes no coincidieron en qué tipos de retroalimentación eran más útiles. Por ello, en el trabajo que continúa, los investigadores se están centrando en la retroalimentación de audio, ya que permite utilizar un sensor más pequeño y ligero.
En resumen
La clave del rendimiento en tiempo real del sistema es un algoritmo para procesar la señal de video de la cámara, desarrollado por Shilkrot y sus colegas. Cada vez que el usuario coloca el dedo al comienzo de una línea nueva, el algoritmo formula numerosas estimaciones sobre la línea de base de las letras. Como la mayoría de las líneas de texto incluyen letras cuyos trazos descienden por debajo de la línea de base, y porque la inclinación del dedo puede hacer que el sistema confunda líneas cercanas, esas estimaciones difieren. Pero la mayoría tiende a agruparse, y el algoritmo selecciona el valor mediano del grupo más denso.
A su vez, ese valor restringe las estimaciones que hace el sistema con cada nuevo fotograma de video, mientras el dedo del usuario se desplaza hacia la derecha, lo que reduce la carga computacional del algoritmo.
A partir de su estimación de la línea de base del texto, el algoritmo también sigue cada palabra individual a medida que pasa frente a la cámara. Cuando reconoce que una palabra está cerca del centro del campo de visión de la cámara —lo que reduce la distorsión—, recorta únicamente esa palabra de la imagen. La estimación de la línea de base también permite al algoritmo realinear la palabra y compensar la distorsión causada por ángulos de cámara poco habituales, antes de enviarla a un software de código abierto que reconoce los caracteres y convierte las palabras reconocidas en habla sintetizada.
En el trabajo presentado en el nuevo artículo, los algoritmos se ejecutaron en una computadora portátil conectada a los dispositivos que se llevan en el dedo. Sin embargo, en el trabajo que continúa, Marcel Polanco, estudiante de maestría en informática e ingeniería, y Michael Chang, estudiante de grado en informática que participa en el proyecto a través del Programa de Oportunidades de Investigación para Estudiantes de Grado del MIT, están desarrollando una versión del software que funciona en un teléfono Android para hacer que el sistema sea más portátil.
Los investigadores también han descubierto que su dispositivo podría tener aplicaciones más amplias de lo que habían imaginado inicialmente. «Desde que empezamos a trabajar en esto, se nos hizo evidente que cualquiera que necesite ayuda para leer puede beneficiarse», afirma Shilkrot. «Recibimos muchos correos electrónicos y solicitudes de organizaciones, pero también de padres de niños con dislexia, por ejemplo».
«Es buena idea utilizar el dedo en lugar del movimiento de los ojos, porque los dedos, como los ojos, pueden moverse rápidamente con intención en los ejes x e y y explorar las cosas con rapidez», afirma George Stetten, médico e ingeniero con cargos conjuntos en el Robotics Institute de Carnegie Mellon y el Departamento de Bioingeniería de la University of Pittsburgh, quien está desarrollando un dispositivo que se lleva en el dedo que proporciona información sobre objetos distantes a personas con discapacidad visual. «Me impresiona mucho lo que hacen».
Este artículo se publica en colaboración con MIT News. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autor: Larry Hardesty es colaborador de MIT News.
Imagen: Investigadores del MIT Media Lab han creado un dispositivo que se lleva en el dedo y cuenta con una cámara integrada que puede convertir texto en habla para personas con discapacidad visual. MIT News.



