Si alguna vez queremos que los robots del futuro hagan lo que les pidamos, tendrán que comprender el mundo que los rodea de forma integral: si un robot oye un ladrido, ¿qué lo produce? ¿Qué aspecto tiene un perro y qué necesita?
La investigación en IA suele tratar la capacidad de reconocer imágenes, identificar ruidos y comprender textos como tres problemas distintos, y crea algoritmos adaptados a cada tarea. Imagina que solo pudieras usar un sentido a la vez y no pudieras relacionar nada de lo que oyes con lo que ves. Así es la IA actual, y esa es una de las razones por las que aún estamos lejos de crear un algoritmo capaz de aprender como una persona. Pero dos nuevos artículos de MIT y Google explican los primeros pasos para que la IA vea, oiga y lea de manera integral, un enfoque que podría revolucionar la forma en que enseñamos a nuestras máquinas sobre el mundo.
«Da igual que veas un coche u oigas un motor: reconoces de inmediato el mismo concepto. La información de nuestro cerebro está alineada de forma natural», afirma Yusuf Aytar, investigador posdoctoral en IA del MIT y coautor del artículo.
La palabra que usa Aytar —«alineada»— es la idea clave. Los investigadores no enseñan nada nuevo a los algoritmos, sino que crean una forma de vincular, o alinear, el conocimiento de un sentido con el de otro. Aytar pone el ejemplo de un coche autónomo que oye una ambulancia antes de verla. Saber cómo suena, qué aspecto tiene y cuál es la función de una ambulancia podría permitir que el coche autónomo se prepare para que los demás vehículos a su alrededor reduzcan la velocidad y se aparten.
Para entrenar este sistema, el equipo del MIT primero mostró a la red neuronal fotogramas de vídeo asociados con audio. Después de que la red encontrara los objetos en el vídeo y los sonidos en el audio, intentó predecir qué objetos se correspondían con qué sonidos. Por ejemplo, ¿en qué momento producen sonido las olas?
A continuación, el equipo introdujo en el mismo algoritmo imágenes con leyendas que mostraban situaciones similares, para que pudiera asociar palabras con los objetos y las acciones representados. La idea era la misma: primero, la red identificó por separado todos los objetos que pudo encontrar en las imágenes y las palabras pertinentes; después, los relacionó.
A partir de esa descripción, la red quizá no parezca especialmente impresionante; al fin y al cabo, ya tenemos IA capaz de hacer esas cosas por separado. Sin embargo, tras entrenarse con audio e imágenes, e imágenes y texto, el sistema pudo relacionar el audio con el texto, aunque nunca se le había enseñado qué palabras correspondían a distintos sonidos. Los investigadores sostienen que esto indicaba que la red había formado una idea más objetiva de lo que veía, oía o leía, una idea que no dependía por completo del medio utilizado para aprender la información.
Un algoritmo capaz de alinear su idea de un objeto entre la vista, el sonido y el texto puede transferir automáticamente lo que ha aprendido de lo que oye a lo que ve. Aytar pone como ejemplo que, si el algoritmo oye rebuznar a una cebra, supone que la cebra se parece a un caballo.
«Sabe que [la cebra] es un animal, sabe que produce este tipo de sonidos y, de alguna manera, transfiere inherentemente esta información entre modalidades», afirma Aytar. Este tipo de suposiciones permite al algoritmo establecer nuevas conexiones entre ideas y fortalecer su comprensión del mundo.
El modelo de Google funciona de manera similar, con la diferencia de que también puede traducir texto. Google se negó a proporcionar un investigador para explicar con más detalle cómo funcionaba su red. Sin embargo, el algoritmo está disponible en línea para otros investigadores.
Ninguna de estas técnicas de Google o del MIT obtuvo mejores resultados que los algoritmos de uso específico, pero Aytar afirma que esto no seguirá siendo así por mucho tiempo.
«Cuantos más sentidos tengas, mayor será la precisión», dijo.
