Investigadores del MIT han desarrollado una técnica que reduce la tendencia de los modelos de aprendizaje automático a recurrir a atajos.
Para lograrlo, se obliga al modelo a centrarse en características de los datos que antes no había considerado.
El resultado son predicciones más fiables y resultados más precisos.
Si su conductor de Uber toma un atajo, es posible que llegue a su destino más rápido. Pero si un modelo de aprendizaje automático toma un atajo, podría fallar de formas inesperadas.
En el aprendizaje automático, una solución de atajo se produce cuando el modelo se basa en una característica simple de un conjunto de datos para tomar una decisión, en lugar de aprender la esencia real de los datos, lo que puede dar lugar a predicciones inexactas. Por ejemplo, un modelo podría aprender a identificar imágenes de vacas fijándose en la hierba verde que aparece en las fotos, en lugar de en las formas y patrones más complejos de las vacas.
Un nuevo estudio de investigadores del MIT analiza el problema de los atajos en un método popular de aprendizaje automático y propone una solución que puede evitarlos obligando al modelo a utilizar más datos en su toma de decisiones.
Al eliminar las características más simples en las que se centra el modelo, los investigadores lo obligan a centrarse en características más complejas de los datos que antes no estaba considerando. Después, pidiendo al modelo que resuelva la misma tarea de dos formas —una vez utilizando esas características simples y luego también utilizando las características complejas que ahora ha aprendido a identificar—, reducen la tendencia a las soluciones de atajo y mejoran el rendimiento del modelo.
Una posible aplicación de este trabajo es mejorar la eficacia de los modelos de aprendizaje automático que se utilizan para identificar enfermedades en imágenes médicas. Las soluciones de atajo en este contexto podrían dar lugar a diagnósticos erróneos y tener consecuencias peligrosas para los pacientes.
«Todavía resulta difícil explicar por qué las redes profundas toman las decisiones que toman y, en particular, en qué partes de los datos deciden centrarse estas redes al tomar una decisión. Si podemos comprender con más detalle cómo funcionan los atajos, podremos ir mucho más allá para responder a algunas de las preguntas fundamentales, pero muy prácticas, que son realmente importantes para las personas que intentan desplegar estas redes», afirma Joshua Robinson, estudiante de doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y autor principal del artículo.
¿Qué está haciendo el Foro Económico Mundial en relación con la Cuarta Revolución Industrial?
El Centro para las Tecnologías de Frontera y la Innovación reúne a científicos, responsables políticos y líderes empresariales para comprender las tecnologías emergentes y sus implicaciones en el mundo real.
Al facilitar la colaboración y la experimentación, el Centro ayuda a sus socios a traducir la innovación procedente de la investigación en aplicaciones prácticas que abordan retos mundiales compartidos.
Robinson escribió el artículo junto con sus asesores: el autor principal, Suvrit Sra, profesor asociado de desarrollo profesional Esther and Harold E. Edgerton en el Departamento de Ingeniería Eléctrica e Informática (EECS), miembro principal del Instituto de Datos, Sistemas y Sociedad (IDSS) y del Laboratorio de Sistemas de Información y Decisión; y Stefanie Jegelka, profesora asociada de desarrollo profesional X-Consortium en EECS y miembro de CSAIL e IDSS; así como el profesor adjunto de la Universidad de Pittsburgh Kayhan Batmanghelich y los estudiantes de doctorado Li Sun y Ke Yu. La investigación se presentará en diciembre en la Conferencia sobre Sistemas de Procesamiento de Información Neuronal.
El largo camino para comprender los atajos
Los investigadores centraron su estudio en el aprendizaje contrastivo, que es una potente forma de aprendizaje automático autosupervisado. En el aprendizaje automático autosupervisado, un modelo se entrena con datos sin procesar que no tienen descripciones de etiquetas elaboradas por personas. Por ello, puede utilizarse con éxito para una mayor variedad de datos.
Un modelo de aprendizaje autosupervisado aprende representaciones útiles de los datos, que se utilizan como entradas para diferentes tareas, como la clasificación de imágenes. Pero si el modelo recurre a atajos y no logra captar información importante, estas tareas tampoco podrán utilizar dicha información.
Por ejemplo, si un modelo de aprendizaje autosupervisado se entrena para clasificar la neumonía en radiografías procedentes de varios hospitales, pero aprende a realizar predicciones basándose en una etiqueta que identifica el hospital de procedencia de la exploración (porque algunos hospitales tienen más casos de neumonía que otros), el modelo no funcionará bien cuando reciba datos de un nuevo hospital.
En los modelos de aprendizaje contrastivo, un algoritmo codificador se entrena para discriminar entre pares de entradas similares y pares de entradas disímiles. Este proceso codifica datos ricos y complejos, como las imágenes, de una manera que el modelo de aprendizaje contrastivo puede interpretar.
Los investigadores probaron codificadores de aprendizaje contrastivo con una serie de imágenes y comprobaron que, durante este procedimiento de entrenamiento, también caen en soluciones de atajo. Los codificadores tienden a centrarse en las características más simples de una imagen para decidir qué pares de entradas son similares y cuáles son disímiles. Idealmente, el codificador debería centrarse en todas las características útiles de los datos al tomar una decisión, afirma Jegelka.
Así pues, el equipo hizo más difícil distinguir entre los pares similares y los disímiles, y comprobó que esto cambia las características en las que el codificador se fija para tomar una decisión.
«Si hace cada vez más difícil discriminar entre elementos similares y disímiles, su sistema se ve obligado a aprender información más significativa de los datos, porque, sin aprenderla, no puede resolver la tarea», afirma.
Pero aumentar esta dificultad dio lugar a un compromiso: el codificador mejoró al centrarse en algunas características de los datos, pero empeoró en otras. Casi parecía olvidar las características más simples, afirma Robinson.
Para evitar este compromiso, los investigadores pidieron al codificador que discriminara entre los pares de la misma manera que lo había hecho originalmente, utilizando las características más simples, y también después de que los investigadores eliminaran la información que ya había aprendido. Resolver la tarea de ambas formas simultáneamente hizo que el codificador mejorara en todas las características.
Su método, denominado modificación implícita de características, modifica de forma adaptativa las muestras para eliminar las características más simples que el codificador utiliza para discriminar entre los pares. La técnica no depende de la intervención humana, lo que es importante porque los conjuntos de datos del mundo real pueden tener cientos de características distintas que podrían combinarse de formas complejas, explica Sra.
De los coches a la EPOC
Los investigadores realizaron una prueba de este método utilizando imágenes de vehículos. Utilizaron la modificación implícita de características para ajustar el color, la orientación y el tipo de vehículo, con el fin de dificultar que el codificador discriminara entre pares de imágenes similares y disímiles. El codificador mejoró su precisión en las tres características —textura, forma y color— simultáneamente.
Para comprobar si el método podía funcionar con datos más complejos, los investigadores también lo probaron con muestras de una base de datos de imágenes médicas de enfermedad pulmonar obstructiva crónica (EPOC). De nuevo, el método llevó a mejoras simultáneas en todas las características evaluadas.
Aunque este trabajo da pasos importantes en la comprensión de las causas de las soluciones de atajo y en la labor para resolverlas, los investigadores afirman que seguir perfeccionando estos métodos y aplicándolos a otros tipos de aprendizaje autosupervisado será clave para los avances futuros.
«Esto se relaciona con algunas de las preguntas más importantes sobre los sistemas de aprendizaje profundo, como “¿Por qué fallan?” y “¿Podemos saber de antemano en qué situaciones fallará su modelo?”. Aún queda mucho por recorrer si se quiere comprender el aprendizaje por atajos en toda su generalidad», afirma Robinson.
Esta investigación cuenta con el apoyo de la Fundación Nacional de Ciencias, los Institutos Nacionales de Salud y el programa Commonwealth Universal Research Enhancement (CURE) de SAP SE del Departamento de Salud de Pensilvania.
