Este artículo se publica en colaboración con MIT News.
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han creado un algoritmo capaz de predecir con una precisión casi igual a la humana qué tan memorable o fácil de olvidar es una imagen, y planean convertirlo en una aplicación que modifique sutilmente las fotos para hacerlas más memorables.
Para cada foto, el algoritmo «MemNet» —que puede probarse en línea subiendo tus propias fotos— también genera un mapa de calor que identifica exactamente qué partes de la imagen son más memorables.
«Comprender la memorabilidad puede ayudarnos a crear sistemas que capturen la información más importante o, por el contrario, que almacenen la información que es más probable que los humanos olviden», afirma Aditya Khosla, estudiante de posgrado del CSAIL y autor principal de un artículo relacionado. «Es como tener un grupo de discusión instantáneo que te dice qué probabilidad hay de que alguien recuerde un mensaje visual.»
Los miembros del equipo imaginan una variedad de aplicaciones potenciales, desde mejorar el contenido de anuncios y publicaciones en redes sociales hasta desarrollar recursos didácticos más eficaces o crear tu propio dispositivo personal de «asistente de salud» que te ayude a recordar cosas.
Como parte del proyecto, el equipo también publicó el conjunto de datos de memorabilidad de imágenes más grande del mundo, LaMem. Con 60.000 imágenes, cada una anotada con metadatos detallados sobre cualidades como la popularidad y el impacto emocional, LaMem es el esfuerzo del equipo por impulsar más investigación sobre lo que, según ellos, a menudo ha sido un tema poco estudiado en la visión artificial.
El artículo fue coescrito por el estudiante de posgrado del CSAIL Akhil Raju, el profesor Antonio Torralba y la científica principal de investigación Aude Oliva, quien actúa como investigadora sénior del trabajo. Khosla presentará el artículo en Chile esta semana en la Conferencia Internacional sobre Visión por Computador.
Cómo funciona
El equipo desarrolló previamente un algoritmo similar para la memorabilidad facial. Lo más destacable del nuevo, además de que ahora puede rendir a niveles cercanos a los humanos, es que utiliza técnicas de «aprendizaje profundo», un campo de la inteligencia artificial que emplea sistemas llamados «redes neuronales» para enseñar a las computadoras a examinar enormes cantidades de datos y encontrar patrones por sí solas.
Estas técnicas son las que impulsan Siri de Apple, el autocompletado de Google y el etiquetado de fotos de Facebook, y las que han llevado a estos gigantes tecnológicos a gastar cientos de millones de dólares en startups de aprendizaje profundo.
«Aunque el aprendizaje profundo ha impulsado un gran progreso en el reconocimiento de objetos y la comprensión de escenas, la predicción de la memoria humana se ha considerado a menudo un proceso cognitivo de alto nivel que los informáticos nunca podrán abordar», afirma Oliva. «¡Pues podemos, y lo hicimos!»
Las redes neuronales trabajan para correlacionar datos sin ninguna orientación humana sobre cuáles podrían ser las causas o correlaciones subyacentes. Están organizadas en capas de unidades de procesamiento que, en sucesión, realizan cada una cálculos aleatorios sobre los datos. A medida que la red recibe más datos, se reajusta para producir predicciones más precisas.
El equipo alimentó su algoritmo con decenas de miles de imágenes de varios conjuntos de datos distintos, entre ellos LaMem y los conjuntos orientados a escenas SUN y Places (todos ellos desarrollados en el CSAIL). Cada imagen había recibido una «puntuación de memorabilidad» basada en la capacidad de los sujetos humanos para recordarla en experimentos en línea.
Después, el equipo enfrentó su algoritmo con sujetos humanos: el modelo predijo qué tan memorable encontraría un grupo de personas una imagen nueva que nunca antes había visto. Superó en un 30 por ciento a los algoritmos existentes y quedó a pocos puntos porcentuales del rendimiento humano promedio.
Para cada imagen, el algoritmo produce un mapa de calor que muestra qué partes de la imagen son más memorables. Al enfatizar distintas regiones, potencialmente pueden aumentar la memorabilidad de la imagen.
«Los investigadores del CSAIL han realizado este tipo de manipulaciones con rostros, pero me impresiona que hayan logrado extenderlas a imágenes genéricas», afirma Alexei Efros, profesor asociado de informática en la Universidad de California en Berkeley. «Aunque se puede cambiar la apariencia de un rostro con relativa facilidad, por ejemplo, haciéndolo más “sonriente”, es significativamente más difícil generalizar sobre todos los tipos de imagen.»
Perspectivas de futuro
La investigación también arrojó luz, de forma inesperada, sobre la naturaleza de la memoria humana. Khosla afirma que se había preguntado si los sujetos humanos recordarían todo si solo se les mostraran las imágenes más memorables.
«Podría esperarse que las personas se acostumbren y olviden tantas cosas como antes, pero nuestra investigación sugiere lo contrario», afirma. «Esto significa que potencialmente podríamos mejorar la memoria de las personas si les presentamos imágenes memorables.»
A continuación, el equipo planea intentar actualizar el sistema para poder predecir la memoria de una persona concreta, así como adaptarlo mejor a «industrias expertas» específicas, como la venta minorista de ropa y el diseño de logotipos.
«Este tipo de investigación nos proporciona una mejor comprensión de la información visual a la que prestan atención las personas», afirma Efros. «Para los responsables de marketing, los cineastas y otros creadores de contenido, poder modelar su estado mental mientras miran algo es una nueva dirección apasionante por explorar.»
El trabajo cuenta con el apoyo de subvenciones de la Fundación Nacional de Ciencias de Estados Unidos, así como del Programa de Neurotecnología del Instituto McGovern, de la Iniciativa de Big Data del MIT en el CSAIL, de premios de investigación de Google y Xerox, y de una donación de hardware de Nvidia.
La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para estar al día con la Agenda suscríbete a nuestro boletín semanal.
Autor: Adam Conner-Simons es coordinador de comunicación del Instituto Tecnológico de Massachusetts (MIT).
Imagen: La gigantesca representación del sol del artista Olafur Eliasson. REUTERS/Peter MacDiarmid.
