Una cocina bulliciosa es un lugar donde todos los sentidos están en alerta máxima: el cerebro procesa el sonido del aceite chisporroteando, el aroma de las especias, la estética visual de los alimentos dispuestos en un plato, y la textura y el sabor al dar un bocado. Aunque estas señales puedan parecer distintas e independientes, en realidad interactúan e se integran entre sí dentro de la red de neuronas sensoriales del cerebro.
Investigadores de Caltech han descubierto ahora que las conexiones neuronales intrínsecas, denominadas correspondencias intermodales, pueden ser utilizadas por dispositivos de asistencia para que las personas ciegas perciban su entorno sin requerir una concentración intensa ni cientos de horas de entrenamiento. Esta nueva perspectiva multisensorial sobre dichas ayudas (denominadas dispositivos de sustitución sensorial) podría facilitar mucho las tareas que antes consumían gran atención, permitiendo que las personas no videntes adquieran una nueva funcionalidad sensorial similar a la visión. El trabajo se describe en un artículo publicado en el número del 22 de octubre de la revista Scientific Reports.
“Muchos libros de texto de neurociencia dedican en realidad solo unas pocas páginas a la interacción multisensorial”, afirma Shinsuke Shimojo, catedrático Gertrude Baltimore de Psicología Experimental e investigador principal del estudio. “Pero el 99 por ciento de nuestra vida diaria depende del procesamiento multisensorial, también llamado multimodal.” Como ejemplo, explica que si hablas por teléfono con alguien a quien conoces muy bien y esa persona llora, no solo oirás el sonido, sino que visualizarás su rostro lleno de lágrimas. “Este es un ejemplo de cómo la causalidad sensorial no es unidireccional: la visión puede influir en el sonido, y el sonido puede influir en la visión.”
Shimojo y la investigadora postdoctoral Noelle Stiles han aprovechado estas correspondencias intermodales para estimular la corteza visual con señales auditivas que codifican información sobre el entorno. Explican que las correspondencias intermodales son omnipresentes; todo el mundo ya las posee. Entre ellas se encuentran la asociación intuitiva de tonos agudos con ubicaciones elevadas en el espacio o la asociación de sonidos ruidosos con luces brillantes. El procesamiento multimodal, como estas correspondencias, podría ser la clave para que los dispositivos de sustitución sensorial sean más automáticos.
Los investigadores realizaron pruebas con personas videntes y ciegas utilizando un dispositivo de sustitución sensorial, llamado dispositivo vOICe, que traduce imágenes en sonido.
El dispositivo vOICe está formado por un pequeño ordenador conectado a una cámara que se fija a unas gafas oscuras, lo que le permite “ver” lo que vería el ojo humano. Un algoritmo informático recorre cada imagen de la cámara de izquierda a derecha y, para cada columna de píxeles, genera un sonido asociado con una frecuencia y un volumen que dependen de la ubicación vertical y del brillo de los píxeles. Un gran número de píxeles brillantes en la parte superior de una columna se traduciría en un sonido fuerte y de frecuencia alta, mientras que un gran número de píxeles oscuros en la parte inferior daría lugar a un sonido más suave y de tono más grave. Una persona ciega que lleve esta cámara en unas gafas podría entonces asociar distintos sonidos con los elementos de su entorno.
En las pruebas, se pidió a personas videntes sin formación ni instrucción previa que asociaran imágenes con sonidos, mientras que a los sujetos ciegos se les pidió que palparan texturas y las asociaran con sonidos. Las texturas táctiles pueden relacionarse con texturas visuales (patrones), como en un mapa topográfico: las regiones brillantes de una imagen se traducen en una mayor altura táctil respecto a una página, mientras que las regiones oscuras son más planas. Ambos grupos mostraron una capacidad intuitiva para identificar texturas e imágenes a partir de los sonidos asociados. Sorprendentemente, el rendimiento del grupo sin entrenamiento (también llamado “ingenuo”) fue significativamente superior al azar y no muy diferente del de los participantes entrenados.
Las texturas identificadas de forma intuitiva utilizadas en los experimentos aprovecharon las correspondencias intermodales ya presentes en el algoritmo de codificación de vOICe. “Cuando invertimos las correspondencias intermodales en la traducción de sonido a imagen de vOICe, el rendimiento del grupo ingenuo disminuyó significativamente, lo que demuestra que las correspondencias son importantes para la interpretación intuitiva del sonido”, explica Stiles.
“Descubrimos que, al usar este dispositivo para observar texturas, es decir, patrones de luz y oscuridad, se ponían de manifiesto conexiones neuronales ‘intuitivas’ entre texturas y sonidos, lo que implica que existe una intermodalidad preexistente”, afirma Shimojo. Un ejemplo común de intermodalidad es una afección llamada sinestesia, en la que la activación de un sentido provoca una experiencia sensorial involuntaria distinta, como ver un color determinado al escuchar un sonido específico. “Ahora hemos descubierto que las conexiones intermodales, preexistentes en todas las personas, pueden utilizarse para que la sustitución sensorial sea intuitiva, sin instrucción ni entrenamiento.”
Los investigadores todavía no saben con exactitud qué hace cada región sensorial del cerebro al procesar estas distintas señales, pero tienen una idea aproximada. “Las regiones auditivas se activan al oír sonidos, al igual que las regiones visuales, que, creemos, procesarán el sonido por sus cualidades y elementos espaciales. La parte visual del cerebro, al procesar imágenes, asigna los objetos a una ubicación espacial, encajándolos como una pieza de un rompecabezas”, explica Stiles. Para profundizar en cómo se produce el procesamiento intermodal en el cerebro, el grupo utiliza actualmente datos de resonancia magnética funcional (fMRI) para analizar la red neuronal intermodal.
Estas conexiones neuronales preexistentes constituyen un punto de partida importante para entrenar a personas con discapacidad visual en el uso de dispositivos que les ayudarán a ver. Una persona vidente solo tiene que abrir los ojos, y el cerebro procesa automáticamente las imágenes y la información para una interacción fluida con el entorno. Los dispositivos actuales para personas ciegas y con discapacidad visual no son tan automáticos ni intuitivos de usar, y por lo general requieren la plena concentración y atención del usuario para interpretar la información sobre el entorno. El nuevo hallazgo del laboratorio de Shimojo sobre el papel del procesamiento multimodal y las correspondencias intermodales empieza a abordar este problema.
Más allá de sus implicaciones prácticas, afirma Shimojo, la investigación plantea una importante cuestión filosófica: ¿qué es ver?
“Parece una pregunta muy obvia, pero se complica”, afirma Shimojo. “¿Es ver lo que ocurre cuando abres los ojos? No, porque abrir los ojos no basta si la retina [la capa de tejido sensible a la luz del ojo] está dañada. ¿Lo es cuando se activa la corteza visual? Pero nuestra investigación ha demostrado que la corteza visual puede activarse con el sonido, lo que indica que en realidad no necesitamos los ojos para ver. Es algo muy profundo: estamos intentando dar a las personas ciegas una experiencia visual a través de otros sentidos.”
El artículo se titula “Auditory Sensory Substitution Is Intuitive and Automatic with Texture Stimuli” y ha sido financiado con subvenciones de la National Science Foundation, del Della Martin Fund for Discoveries in Mental Illness y de la Japan Science and Technology Agency, Core Research for Evolutional Science and Technology.
Este artículo se publica en colaboración con Caltech. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autora: Lori Dajose es redactora en Caltech.
Imagen: Un niño ciego camina con un bastón blanco. REUTERS/Marko Djurica.



