En el libro "Blind Assassins" (Asesinos a ciegas), de la autora canadiense Margaret Atwood," ella afirma que «el tacto precede a la vista, y a la palabra. Es el primer lenguaje y el último, y siempre dice la verdad».
Si bien el sentido del tacto nos permite percibir el mundo físico, nuestros ojos nos ayudan a comprender de inmediato el panorama completo de estas señales táctiles.
Los robots programados para ver o sentir no pueden utilizar estas señales de forma tan intercambiable. Para salvar mejor esta brecha sensorial, investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) han desarrollado una inteligencia artificial (IA) predictiva capaz de aprender a ver tocando y a sentir viendo.
El sistema del equipo puede crear señales táctiles realistas a partir de entradas visuales y predecir qué objeto y qué parte se está tocando directamente a partir de esas entradas táctiles. Utilizaron un brazo robótico KUKA con un sensor táctil especial llamado GelSight, diseñado por otro grupo del MIT.
Con una cámara web sencilla, el equipo grabó casi 200 objetos, como herramientas, productos domésticos, tejidos y otros, siendo tocados más de 12 000 veces. Al descomponer esos 12 000 clips de vídeo en fotogramas estáticos, el equipo compiló «VisGel», un conjunto de datos de más de 3 millones de imágenes visuales y táctiles emparejadas.
«Al observar la escena, nuestro modelo puede imaginar la sensación de tocar una superficie plana o un borde afilado», afirma Yunzhu Li, estudiante de doctorado del CSAIL y autor principal de un nuevo artículo sobre el sistema. «Al tocar a ciegas el entorno, nuestro modelo puede predecir la interacción con el entorno únicamente a partir de sensaciones táctiles. Reunir estos dos sentidos podría dotar al robot de capacidades y reducir los datos que podríamos necesitar para tareas que implican manipular y agarrar objetos».
Trabajos recientes para dotar a los robots de sentidos físicos más parecidos a los humanos, como el proyecto del MIT de 2016 que utilizaba el aprendizaje profundo para indicar visualmente sonidos, o un modelo que predice la respuesta de los objetos ante fuerzas físicas, ambos utilizan grandes conjuntos de datos que no están disponibles para comprender las interacciones entre la visión y el tacto.
La técnica del equipo soslaya este problema mediante el uso del conjunto de datos VisGel y de algo llamado redes generativas antagónicas (GAN, por sus siglas en inglés).
Las GAN utilizan imágenes visuales o táctiles para generar imágenes en la otra modalidad. Funcionan mediante un «generador» y un «discriminador» que compiten entre sí, donde el generador busca crear imágenes de apariencia real para engañar al discriminador. Cada vez que el discriminador «atrapa» al generador, debe exponer el razonamiento interno de la decisión, lo que permite al generador mejorar repetidamente.
De la visión al tacto
Los seres humanos pueden inferir cómo se siente un objeto simplemente viéndolo. Para dotar mejor a las máquinas de esta capacidad, el sistema primero tuvo que localizar la posición del contacto y, a continuación, deducir información sobre la forma y la textura de la región.
Las imágenes de referencia, sin ninguna interacción entre robot y objeto, ayudaron al sistema a codificar detalles sobre los objetos y el entorno. Después, cuando el brazo robótico estaba en funcionamiento, el modelo podía simplemente comparar el fotograma actual con su imagen de referencia e identificar fácilmente la ubicación y la escala del contacto.
Esto podría equivaler a introducir en el sistema una imagen de un ratón de ordenador y, a continuación, «ver» la zona donde el modelo predice que debe tocarse el objeto para recogerlo, lo que podría ayudar enormemente a las máquinas a planificar acciones más seguras y eficientes.
Del tacto a la visión
En el caso del tacto a la visión, el objetivo era que el modelo produjera una imagen visual a partir de datos táctiles. El modelo analizó una imagen táctil y, a continuación, determinó la forma y el material de la posición de contacto. Después, consultó la imagen de referencia para «alucinar» la interacción.
Por ejemplo, si durante las pruebas se introducían en el modelo datos táctiles de un zapato, este podía producir una imagen de la zona en la que era más probable que se tocara ese zapato.
Este tipo de capacidad podría resultar útil para llevar a cabo tareas en los casos en que no existen datos visuales, como cuando se apaga una luz o cuando una persona alcanza a ciegas una caja o un área desconocida.
Mirando al futuro
El conjunto de datos actual solo incluye ejemplos de interacciones en un entorno controlado. El equipo espera mejorarlo recopilando datos en áreas menos estructuradas o utilizando un nuevo "guante táctil" diseñado por el MIT,guante táctil, para aumentar mejor el tamaño y la diversidad del conjunto de datos.
Aún existen detalles difíciles de inferir al cambiar de modalidad, como identificar el color de un objeto solo con tocarlo o determinar lo blando que es un sofá sin presionarlo. Los investigadores afirman que esto podría mejorarse creando modelos más robustos para la incertidumbre, a fin de ampliar la distribución de los posibles resultados.
En el futuro, este tipo de modelo podría contribuir a una relación más armoniosa entre la visión y la robótica, especialmente en el reconocimiento de objetos, el agarre, una mejor comprensión de la escena y la integración fluida entre humanos y robots en entornos de asistencia o de fabricación.
«Este es el primer método capaz de traducir de forma convincente entre señales visuales y táctiles», afirma Andrew Owens, investigador posdoctoral de la Universidad de California en Berkeley. «Métodos como este tienen el potencial de ser muy útiles para la robótica, donde es necesario responder preguntas como “¿este objeto es duro o blando?” o “si levanto esta taza por el asa, ¿qué tan bueno será mi agarre?”. Se trata de un problema muy complejo, ya que las señales son muy diferentes, y este modelo ha demostrado una gran capacidad».
Li escribió el artículo junto con los profesores del MIT Russ Tedrake y Antonio Torralba, y con el investigador posdoctoral del MIT Jun-Yan Zhu. Se presentará la próxima semana en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones, en Long Beach, California.
