Los modelos de aprendizaje profundo basados en redes neuronales artificiales han crecido enormemente, pero su complejidad hace que no esté claro si funcionan correctamente.
Los investigadores han desarrollado 3 «métodos de explicación» para intentar mostrar cómo funciona el aprendizaje automático y si funciona: atribución de características, explicación contrafactual y explicaciones sobre la importancia de las muestras.
Esto ayuda a quienes toman decisiones a saber cuándo confiar en la IA y poner en práctica sus recomendaciones.
A medida que el aprendizaje automático se aplica a más disciplinas —desde la atención sanitaria hasta la educación—, los métodos de explicación cobran cada vez más importancia, aunque aún necesitan mejoras.
Hace aproximadamente una década, los modelos de aprendizaje profundo empezaron a lograr resultados sobrehumanos en todo tipo de tareas: desde vencer a jugadores campeones del mundo de juegos de mesa hasta superar a los médicos en el diagnóstico del cáncer de mama.
Estos potentes modelos de aprendizaje profundo suelen basarse en redes neuronales artificiales, propuestas por primera vez en la década de 1940 y convertidas desde entonces en un tipo popular de aprendizaje automático. Un ordenador aprende a procesar datos mediante capas de nodos interconectados, o neuronas, que imitan el cerebro humano.
A medida que ha crecido el campo del aprendizaje automático, también lo han hecho las redes neuronales artificiales.
Hoy en día, los modelos de aprendizaje profundo suelen estar compuestos por millones o miles de millones de nodos interconectados distribuidos en muchas capas, que se entrenan para realizar tareas de detección o clasificación con grandes cantidades de datos. Pero, dado que estos modelos son enormemente complejos, ni siquiera los investigadores que los diseñan comprenden del todo cómo funcionan. Por eso resulta difícil saber si funcionan correctamente.
Por ejemplo, quizá un modelo diseñado para ayudar a los médicos a diagnosticar correctamente a sus pacientes predijera que una lesión cutánea era cancerosa, pero lo hiciera fijándose en una marca no relacionada que suele aparecer en las fotos cuando hay tejido canceroso, en lugar de fijarse en el propio tejido canceroso. Esto se conoce como correlación espuria. El modelo acierta en la predicción, pero por una razón equivocada. En un entorno clínico real, donde la marca no apareciera en las imágenes con cáncer, podrían pasarse por alto diagnósticos.
Ante tanta incertidumbre en torno a estos llamados modelos de «caja negra», ¿cómo podemos desentrañar lo que ocurre dentro de la caja?
Este enigma ha dado lugar a un campo de estudio nuevo y en rápido crecimiento, en el que los investigadores desarrollan y prueban métodos de explicación (también llamados métodos de interpretabilidad) que buscan arrojar algo de luz sobre cómo hacen predicciones los modelos de aprendizaje automático de caja negra.
¿Qué son los métodos de explicación?
En su nivel más básico, los métodos de explicación son globales o locales. Un método de explicación local se centra en explicar cómo hizo el modelo una predicción concreta, mientras que las explicaciones globales buscan describir el comportamiento general de un modelo completo. A menudo, esto se hace desarrollando un modelo aparte, más sencillo (y, con suerte, comprensible), que imita al modelo de caja negra de mayor tamaño.
Pero, como los modelos de aprendizaje profundo funcionan de maneras esencialmente complejas y no lineales, desarrollar un modelo global de explicación eficaz resulta especialmente difícil. Por eso, en los últimos tiempos, los investigadores han centrado buena parte de su atención en los métodos de explicación local, explica Yilun Zhou, estudiante de posgrado del Grupo de Robótica Interactiva del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), donde estudia modelos, algoritmos y evaluaciones en el aprendizaje automático interpretable.
Los tipos más populares de métodos de explicación local se dividen en tres grandes categorías.
El primer tipo de método de explicación, y el más utilizado, se conoce como atribución de características. Los métodos de atribución de características muestran cuáles fueron las características más importantes cuando el modelo tomó una decisión concreta.
Las características son las variables de entrada que se proporcionan a un modelo de aprendizaje automático y se utilizan para hacer predicciones. Cuando los datos se presentan en forma de tabla, las características se extraen de las columnas de un conjunto de datos (se transforman mediante diversas técnicas para que el modelo pueda procesar los datos sin procesar). En cambio, en las tareas de procesamiento de imágenes, cada píxel de una imagen es una característica. Por ejemplo, si un modelo predice que una imagen de rayos X muestra cáncer, el método de atribución de características resaltaría los píxeles de esa radiografía que más influyeron en la predicción del modelo.
En esencia, los métodos de atribución de características muestran a qué presta más atención el modelo cuando hace una predicción.
«Con esta explicación basada en la atribución de características, se puede comprobar si hay motivo de preocupación por una correlación espuria. Por ejemplo, mostrará si se han resaltado los píxeles de una marca de agua o los píxeles de un tumor real», afirma Zhou.
Un segundo tipo de método de explicación se conoce como explicación contrafactual. A partir de una entrada y de la predicción de un modelo, estos métodos muestran cómo cambiar esa entrada para que pase a otra clase. Por ejemplo, si un modelo de aprendizaje automático predice que se denegará un préstamo a una persona solicitante, la explicación contrafactual muestra qué factores deben cambiar para que se acepte su solicitud. Quizá su puntuación crediticia o sus ingresos, dos características que el modelo utiliza para hacer la predicción, deban ser más altos para que se le apruebe el préstamo.
«Lo bueno de este método de explicación es que indica exactamente cómo hay que cambiar la entrada para invertir la decisión, lo que puede tener aplicaciones prácticas. A alguien que solicita una hipoteca y no la obtiene, esta explicación le diría qué debe hacer para lograr el resultado que desea», afirma.
La tercera categoría de métodos de explicación se conoce como explicaciones sobre la importancia de las muestras. A diferencia de los otros métodos, este requiere acceso a los datos utilizados para entrenar el modelo.
Una explicación sobre la importancia de las muestras muestra en qué muestra de entrenamiento se basó más el modelo al hacer una predicción concreta; idealmente, se trata de la muestra más parecida a los datos de entrada. Este tipo de explicación resulta especialmente útil cuando se observa una predicción aparentemente irracional. Puede que un error al introducir datos haya afectado a una muestra concreta utilizada para entrenar el modelo. Con esta información, se podría corregir esa muestra y volver a entrenar el modelo para mejorar su precisión.
¿Cómo se utilizan los métodos de explicación?
Una de las razones para desarrollar estas explicaciones es hacer controles de calidad y depurar el modelo. Por ejemplo, al comprender mejor cómo influyen las características en las decisiones del modelo, se podría detectar que funciona mal e intervenir para corregir el problema, o descartar el modelo y empezar de nuevo.
Otra línea de investigación más reciente explora el uso de modelos de aprendizaje automático para descubrir patrones científicos que los seres humanos aún no han encontrado. Por ejemplo, un modelo de diagnóstico del cáncer que supere a los médicos podría tener un fallo o, en realidad, estar detectando patrones ocultos en una imagen de rayos X que representan una vía patológica temprana del cáncer, desconocida para los médicos o considerada irrelevante, señala Zhou.
Sin embargo, esa línea de investigación aún está en sus primeras etapas.
Advertencias
Aunque los métodos de explicación a veces pueden ser útiles para quienes trabajan con aprendizaje automático y buscan detectar errores en sus modelos o comprender el funcionamiento interno de un sistema, los usuarios finales deben tener cautela al intentar utilizarlos en la práctica, afirma Marzyeh Ghassemi, profesora adjunta y directora del Grupo de Aprendizaje Automático Saludable (Healthy ML) del CSAIL.
A medida que el aprendizaje automático se ha incorporado a más disciplinas, desde la atención sanitaria hasta la educación, se utilizan métodos de explicación para ayudar a quienes toman decisiones a comprender mejor las predicciones de un modelo, de modo que sepan cuándo confiar en él y poner en práctica sus recomendaciones. Sin embargo, Ghassemi advierte que no se deben utilizar estos métodos de esa manera.
«Hemos comprobado que las explicaciones hacen que tanto expertos como personas no expertas confíen demasiado en la capacidad de un sistema de recomendación concreto o en sus consejos. Creo que es muy importante que las personas no apaguen ese mecanismo interno que les hace preguntarse: “permítanme cuestionar el consejo que me están
dando”», afirma.
Los científicos saben que las explicaciones hacen que las personas confíen demasiado, según otros trabajos recientes, añade, y cita algunos estudios recientes de investigadores de Microsoft.
Lejos de ser una solución infalible, los métodos de explicación tienen sus propios problemas. Por ejemplo, las investigaciones recientes de Ghassemi han demostrado que estos métodos pueden perpetuar los sesgos y empeorar los resultados para las personas de grupos desfavorecidos.
Otro inconveniente de los métodos de explicación es que a menudo resulta imposible saber si la explicación es correcta desde el principio. Habría que comparar las explicaciones con el modelo real, pero, como el usuario no sabe cómo funciona el modelo, eso constituye un razonamiento circular, afirma Zhou.
Él y otros investigadores trabajan para mejorar los métodos de explicación, de modo que reflejen con mayor fidelidad las predicciones reales del modelo. No obstante, Zhou advierte que incluso la mejor explicación debe tomarse con cautela.
«Además, la gente suele percibir estos modelos como responsables de tomar decisiones de manera similar a los seres humanos, y tendemos a generalizar en exceso. Tenemos que tranquilizar a la gente y moderar sus expectativas para asegurarnos de que la comprensión generalizada del modelo que construyen a partir de estas explicaciones locales sea equilibrada», añade.
Las investigaciones más recientes de Zhou buscan precisamente eso.
¿Qué les depara el futuro a los métodos de explicación del aprendizaje automático?
En lugar de centrarse en ofrecer explicaciones, Ghassemi sostiene que la comunidad investigadora debe dedicar más esfuerzos a estudiar cómo se presenta la información a quienes toman decisiones para que puedan comprenderla, y que es necesario establecer más regulaciones para garantizar que los modelos de aprendizaje automático se utilicen de forma responsable en la práctica. Por sí solos, unos métodos de explicación mejores no son la solución.
«Me entusiasma ver que cada vez se reconoce más, incluso en el sector industrial, que no basta con tomar esta información, crear un panel atractivo y suponer que la gente actuará mejor. Hay que lograr mejoras cuantificables en la práctica, y espero que eso conduzca a directrices concretas para mejorar la forma en que presentamos la información en campos muy técnicos, como la medicina», afirma.
Además de los nuevos trabajos centrados en mejorar las explicaciones, Zhou espera que haya más investigaciones sobre métodos de explicación para casos de uso específicos, como la depuración de modelos, el descubrimiento científico, la auditoría de equidad y la garantía de seguridad. Al identificar las características detalladas de los métodos de explicación y los requisitos de los distintos casos de uso, los investigadores podrían establecer una teoría que permitiera adaptar las explicaciones a escenarios concretos y ayudar a superar algunos de los inconvenientes que surgen al utilizarlas en situaciones reales.
