Hay pocas cosas que gusten más a los usuarios de las redes sociales que llenar sus feeds de fotos de comida. Sin embargo, rara vez usamos estas imágenes para algo más que echarles un vistazo rápido en el móvil.
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) creen que analizar fotos como estas podría ayudarnos a aprender recetas y a comprender mejor los hábitos alimentarios de las personas. En un nuevo artículo junto con el Instituto de Investigación Informática de Qatar (QCRI), el equipo entrenó un sistema de inteligencia artificial llamado Pic2Recipe para que analizara una foto de comida, pudiera predecir los ingredientes y sugiriera recetas similares.
«En visión artificial, la comida suele quedar desatendida porque no contamos con los conjuntos de datos a gran escala necesarios para hacer predicciones», afirma Yusuf Aytar, investigador posdoctoral del MIT que escribió un artículo sobre el sistema junto con el profesor del MIT Antonio Torralba. «Pero las fotos aparentemente inútiles de las redes sociales pueden aportar información valiosa sobre los hábitos de salud y las preferencias alimentarias».
El artículo se presentará a finales de este mes en la conferencia sobre Visión Artificial y Reconocimiento de Patrones en Honolulu. Nick Hynes, estudiante de posgrado del CSAIL, fue el autor principal junto con Amaia Salvador, de la Universidad Politécnica de Cataluña, en España. Entre los coautores figuran Javier Marin, investigador posdoctoral del CSAIL, así como Ferda Ofli, científico, e Ingmar Weber, director de investigación del QCRI.
Cómo funciona
La web ha impulsado un enorme crecimiento de la investigación sobre la clasificación de datos alimentarios, pero la mayoría de los estudios ha utilizado conjuntos de datos mucho más pequeños, lo que suele generar grandes lagunas en el etiquetado de los alimentos.
En 2014, investigadores suizos crearon el conjunto de datos «Food-101» y lo utilizaron para desarrollar un algoritmo capaz de reconocer imágenes de comida con una precisión del 50 %. Las iteraciones posteriores solo elevaron la precisión hasta cerca del 80 %, lo que sugiere que el tamaño del conjunto de datos podría ser un factor limitante.
Incluso los conjuntos de datos más grandes a menudo han tenido ciertas limitaciones para generalizar entre distintas poblaciones. Una base de datos de la Universidad de la Ciudad de Hong Kong cuenta con más de 110.000 imágenes y 65.000 recetas, cada una con listas de ingredientes e instrucciones, pero contiene únicamente cocina china.
El proyecto del equipo del CSAIL busca aprovechar este trabajo, pero ampliarlo considerablemente. Los investigadores rastrearon sitios web como All Recipes y Food.com para crear «Recipe1M», una base de datos de más de un millón de recetas anotadas con información sobre los ingredientes de una amplia variedad de platos. Luego utilizaron esos datos para entrenar una red neuronal que detectara patrones y estableciera conexiones entre las imágenes de comida y los ingredientes y recetas correspondientes.
A partir de una foto de un alimento, Pic2Recipe podía identificar ingredientes como harina, huevos y mantequilla, y luego sugerir varias recetas que consideraba similares a las imágenes de la base de datos. (El equipo tiene una demostración en línea donde las personas pueden subir sus propias fotos de comida para probarla).
«Cabe imaginar que la gente lo utilice para hacer un seguimiento de su alimentación diaria o para fotografiar un plato en un restaurante y saber qué hace falta para prepararlo en casa más adelante», afirma Christoph Trattner, profesor adjunto del Departamento de Tecnología de Nuevos Medios de MODUL University Vienna, quien no participó en el artículo. «El enfoque del equipo funciona a un nivel similar al del juicio humano, lo cual es notable».
El sistema tuvo un rendimiento especialmente bueno con postres como galletas o muffins, ya que eran uno de los temas principales de la base de datos. Sin embargo, tuvo dificultades para determinar los ingredientes de alimentos más ambiguos, como los rollos de sushi y los batidos.
También solía quedarse sin respuesta cuando había recetas similares para los mismos platos. Por ejemplo, hay docenas de maneras de preparar lasaña, así que el equipo tuvo que asegurarse de que el sistema no «penalizara» las recetas similares al intentar separar las que son diferentes. (Una forma de resolverlo consistió en comprobar si los ingredientes de cada receta eran, en general, similares antes de comparar las propias recetas).
En el futuro, el equipo espera mejorar el sistema para que pueda comprender los alimentos con aún más detalle. Esto podría permitirle inferir cómo se prepara un alimento (por ejemplo, guisado o cortado en dados) o distinguir distintas variedades de alimentos, como setas o cebollas.
A los investigadores también les interesa la posibilidad de desarrollar el sistema como un «asistente para la cena» que pudiera decidir qué cocinar a partir de una preferencia alimentaria y una lista de productos que haya en el refrigerador.
«Esto podría ayudar a las personas a averiguar qué contiene su comida cuando no disponen de información nutricional explícita», afirma Hynes. «Por ejemplo, si sabes qué ingredientes lleva un plato, pero no en qué cantidad, puedes hacerle una foto, introducir los ingredientes y ejecutar el modelo para encontrar una receta similar con cantidades conocidas; luego puedes utilizar esa información para calcular aproximadamente las cantidades de tu propia comida».
El proyecto recibió financiación, en parte, del QCRI, así como del Fondo Europeo de Desarrollo Regional (FEDER) y del Ministerio de Economía, Industria y Competitividad de España.
