Una nueva técnica compara el razonamiento de un modelo de aprendizaje automático con el de un ser humano.
Denominada Shared Interest, la estrategia incorpora métricas cuantificables que comparan el grado de coincidencia entre ambos razonamientos.
Esto podría ayudar a un usuario a descubrir fácilmente tendencias preocupantes en la toma de decisiones de un modelo.
Por ejemplo, es posible que el modelo a menudo se confunda por características distractoras e irrelevantes, como objetos de fondo en las fotografías.
En el aprendizaje automático, comprender por qué un modelo toma determinadas decisiones suele ser tan importante como que dichas decisiones sean correctas. Por ejemplo, un modelo de aprendizaje automático podría predecir correctamente que una lesión cutánea es cancerosa, pero podría haberlo hecho basándose en una mancha no relacionada en una fotografía clínica.
Aunque existen herramientas que ayudan a los expertos a interpretar el razonamiento de un modelo, a menudo estos métodos solo proporcionan información sobre una decisión a la vez, y cada una debe evaluarse manualmente. Los modelos suelen entrenarse con millones de datos de entrada, por lo que resulta casi imposible que una persona evalúe un número suficiente de decisiones para identificar patrones.
Investigadores del MIT y de IBM Research han desarrollado un método que permite a un usuario agregar, ordenar y clasificar estas explicaciones individuales para analizar con rapidez el comportamiento de un modelo de aprendizaje automático. Su técnica, denominada Shared Interest, incorpora métricas cuantificables que comparan el grado de coincidencia entre el razonamiento de un modelo y el de una persona.
Shared Interest podría ayudar a un usuario a descubrir fácilmente tendencias preocupantes en la toma de decisiones de un modelo; por ejemplo, es posible que el modelo a menudo se confunda por características distractoras e irrelevantes, como objetos de fondo en las fotografías. Agregar estas perspectivas podría ayudar al usuario a determinar de forma rápida y cuantitativa si un modelo es fiable y está listo para desplegarse en una situación real.
«Al desarrollar Shared Interest, nuestro objetivo es poder ampliar este proceso de análisis para comprender a un nivel más global cuál es el comportamiento de su modelo», afirma la autora principal Angie Boggust, estudiante de posgrado del Grupo de Visualización del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL).
Boggust redactó el artículo junto con su tutor, Arvind Satyanarayan, profesor adjunto de informática que dirige el Grupo de Visualización, así como con Benjamin Hoover y el autor principal Hendrik Strobelt, ambos de IBM Research. El artículo se presentará en la Conferencia sobre Factores Humanos en Sistemas Informáticos.
Boggust comenzó a trabajar en este proyecto durante unas prácticas de verano en IBM, bajo la tutela de Strobelt. Tras regresar al MIT, Boggust y Satyanarayan ampliaron el proyecto y continuaron la colaboración con Strobelt y Hoover, quienes ayudaron a desplegar los estudios de caso que muestran cómo podría utilizarse la técnica en la práctica.
Alineación entre la inteligencia artificial humana
Shared Interest se apoya en técnicas populares que muestran cómo un modelo de aprendizaje automático tomó una decisión específica, conocidas como métodos de saliencia. Si el modelo clasifica imágenes, los métodos de saliencia resaltan las zonas de una imagen que fueron importantes para el modelo al tomar su decisión. Estas zonas se visualizan como un tipo de mapa de calor, denominado mapa de saliencia, que suele superponerse a la imagen original. Si el modelo clasificó la imagen como un perro y se resalta la cabeza del perro, significa que esos píxeles fueron importantes para el modelo cuando decidió que la imagen contenía un perro.
Shared Interest funciona comparando los métodos de saliencia con datos de referencia (ground truth). En un conjunto de datos de imágenes, los datos de referencia suelen ser anotaciones generadas por personas que delimitan las partes relevantes de cada imagen. En el ejemplo anterior, el recuadro rodearía a todo el perro de la fotografía. Al evaluar un modelo de clasificación de imágenes, Shared Interest compara los datos de saliencia generados por el modelo con los datos de referencia generados por personas para la misma imagen, con el fin de determinar su grado de coincidencia.
La técnica utiliza varias métricas para cuantificar esa coincidencia (o falta de ella) y, a continuación, clasifica cada decisión en una de ocho categorías. Las categorías abarcan desde una alineación perfecta con el razonamiento humano (el modelo realiza una predicción correcta y el área resaltada en el mapa de saliencia es idéntica al recuadro generado por una persona) hasta una distracción completa (el modelo realiza una predicción incorrecta y no utiliza ninguna característica de la imagen que se encuentre en el recuadro generado por una persona).
«En un extremo del espectro, su modelo tomó la decisión por exactamente la misma razón que una persona, y en el otro extremo, su modelo y la persona toman esta decisión por razones totalmente distintas. Al cuantificar esto para todas las imágenes de su conjunto de datos, puede utilizar dicha cuantificación para clasificarlas», explica Boggust.
La técnica funciona de forma similar con datos basados en texto, en los que se resaltan palabras clave en lugar de zonas de la imagen.
Análisis rápido
Los investigadores utilizaron tres estudios de caso para demostrar que Shared Interest puede resultar útil tanto para los no expertos como para los investigadores en aprendizaje automático.
En el primer estudio de caso, utilizaron Shared Interest para ayudar a un dermatólogo a determinar si debía confiar en un modelo de aprendizaje automático diseñado para ayudar a diagnosticar el cáncer a partir de fotografías de lesiones cutáneas. Shared Interest permitió al dermatólogo ver rápidamente ejemplos de las predicciones correctas e incorrectas del modelo. En última instancia, el dermatólogo concluyó que no podía confiar en el modelo porque realizaba demasiadas predicciones basadas en artefactos de la imagen, en lugar de en lesiones reales.
«El valor aquí es que, gracias a Shared Interest, podemos observar cómo surgen estos patrones en el comportamiento de nuestro modelo. En unos treinta minutos, el dermatólogo pudo tomar una decisión con seguridad sobre si confiar o no en el modelo y si desplegarlo o no», afirma Boggust.
En el segundo estudio de caso, trabajaron con un investigador de aprendizaje automático para demostrar cómo Shared Interest puede evaluar un método de saliencia concreto al revelar dificultades hasta entonces desconocidas del modelo. Su técnica permitió al investigador analizar miles de decisiones correctas e incorrectas en una fracción del tiempo que requieren los métodos manuales habituales.
En el tercer estudio de caso, utilizaron Shared Interest para profundizar en un ejemplo específico de clasificación de imágenes. Mediante la manipulación de la zona de referencia de la imagen, pudieron realizar un análisis de «¿qué pasaría si?» para determinar qué características de la imagen eran más importantes para predicciones concretas.
Los investigadores quedaron impresionados por el buen rendimiento de Shared Interest en estos estudios de caso, pero Boggust advierte de que la técnica solo es tan buena como los métodos de saliencia en los que se basa. Si dichas técnicas contienen sesgos o son inexactas, Shared Interest heredará esas limitaciones.
En el futuro, los investigadores quieren aplicar Shared Interest a distintos tipos de datos, en particular a los datos tabulares utilizados en los historiales médicos. También desean utilizar Shared Interest para ayudar a mejorar las técnicas de saliencia actuales. Boggust espera que esta investigación inspire más trabajos que busquen cuantificar el comportamiento de los modelos de aprendizaje automático de maneras que tengan sentido para las personas.
Este trabajo está financiado, en parte, por el MIT-IBM Watson AI Lab, el Laboratorio de Investigación de la Fuerza Aérea de Estados Unidos y el Acelerador de Inteligencia Artificial de la Fuerza Aérea de Estados Unidos.
