El proceso de toma de decisiones de una máquina puede ser complejo.
Uno de los problemas de este proceso es que las máquinas pueden hacer predicciones con gran confianza basándose en detalles que no tienen sentido para las personas.
Esto se conoce como sobreinterpretación.
A continuación se analiza este problema y cómo puede resolverse.
Por todo lo que las redes neuronales pueden lograr, aún no comprendemos realmente cómo funcionan. Es cierto que podemos programarlas para que aprendan, pero entender el proceso de toma de decisiones de una máquina sigue siendo como un complejo rompecabezas, con un patrón vertiginoso, en el que aún faltan por encajar muchas piezas fundamentales.
Si un modelo intentara clasificar una imagen de dicho rompecabezas, por ejemplo, podría enfrentarse a ataques adversarios bien conocidos, pero molestos, o incluso a problemas de datos o de procesamiento más habituales. Sin embargo, un tipo de fallo nuevo y más sutil, identificado recientemente por científicos del MIT, es otro motivo de preocupación: la «sobreinterpretación», en la que los algoritmos hacen predicciones con gran confianza basándose en detalles que no tienen sentido para las personas, como patrones aleatorios o los bordes de las imágenes.
Esto podría ser especialmente preocupante en entornos de alto riesgo, como las decisiones en fracciones de segundo de los vehículos autónomos o los diagnósticos médicos de enfermedades que requieren atención más inmediata. En particular, los vehículos autónomos dependen en gran medida de sistemas capaces de comprender con precisión su entorno y de tomar decisiones rápidas y seguras. La red utilizaba fondos, bordes o patrones concretos del cielo para clasificar semáforos y señales de tráfico, independientemente de lo que hubiera en el resto de la imagen.
El equipo descubrió que las redes neuronales entrenadas con conjuntos de datos populares, como CIFAR-10 e ImageNet, sufrían sobreinterpretación. Por ejemplo, los modelos entrenados con CIFAR-10 hacían predicciones con gran confianza incluso cuando faltaba el 95 por ciento de las imágenes de entrada, y el resto carecía de sentido para las personas.
«La sobreinterpretación es un problema de los conjuntos de datos, causado por estas señales carentes de sentido que contienen. No solo estas imágenes de alta confianza son irreconocibles, sino que contienen menos del 10 por ciento de la imagen original en zonas poco importantes, como los bordes. Descubrimos que estas imágenes no tenían sentido para las personas, pero los modelos todavía pueden clasificarlas con gran confianza», afirma Brandon Carter, estudiante de doctorado del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT y autor principal de un artículo sobre la investigación.
Los clasificadores de imágenes basados en aprendizaje profundo se utilizan ampliamente. Además del diagnóstico médico y del desarrollo de la tecnología de vehículos autónomos, se aplican en seguridad, videojuegos e incluso en una aplicación que indica si algo es o no un perrito caliente, porque a veces necesitamos una confirmación. La tecnología en cuestión funciona procesando píxeles individuales de un sinfín de imágenes previamente etiquetadas para que la red «aprenda».
La clasificación de imágenes es difícil, porque los modelos de aprendizaje automático tienen la capacidad de aferrarse a estas señales sutiles carentes de sentido. Luego, cuando los clasificadores de imágenes se entrenan con conjuntos de datos como ImageNet, pueden hacer predicciones aparentemente fiables basadas en esas señales.
Aunque estas señales carentes de sentido pueden provocar la fragilidad de los modelos en el mundo real, en los conjuntos de datos son en realidad válidas, lo que significa que la sobreinterpretación no puede detectarse mediante los métodos de evaluación habituales basados en esa precisión.
Para encontrar la justificación de la predicción de un modelo para una entrada concreta, los métodos del presente estudio parten de la imagen completa y preguntan repetidamente: ¿qué puedo quitar de esta imagen? En esencia, el método va tapando la imagen hasta que solo queda el fragmento más pequeño que aún permite tomar una decisión con gran confianza.
Con este fin, también podría ser posible utilizar estos métodos como un tipo de criterio de validación. Por ejemplo, si tiene un coche de conducción autónoma que utiliza un método de aprendizaje automático entrenado para reconocer señales de stop, podría probar ese método identificando el subconjunto de entrada más pequeño que constituye una señal de stop. Si ese subconjunto consiste en una rama de árbol, una hora determinada del día o algo que no es una señal de stop, podría preocuparle que el coche se detenga en un lugar donde no debería.
Aunque pueda parecer que el modelo es el principal culpable, es más probable que la culpa sea de los conjuntos de datos. «Surge la cuestión de cómo podemos modificar los conjuntos de datos para que los modelos se entrenen de forma que imiten más fielmente la manera en que una persona pensaría al clasificar imágenes y, por tanto, en el mejor de los casos, generalicen mejor en escenarios del mundo real, como la conducción autónoma y el diagnóstico médico, de modo que los modelos no presenten este comportamiento carente de sentido», afirma Carter.
Esto puede implicar la creación de conjuntos de datos en entornos más controlados. Actualmente, se trata simplemente de imágenes extraídas de dominios públicos que luego se clasifican. Pero si se quiere realizar, por ejemplo, identificación de objetos, puede ser necesario entrenar modelos con objetos sobre un fondo no informativo.
Este trabajo contó con el respaldo de Schmidt Futures y de los Institutos Nacionales de Salud de Estados Unidos. Carter escribió el artículo junto con Siddhartha Jain y Jonas Mueller, científicos de Amazon, y el profesor del MIT David Gifford. Presentan el trabajo en la Conferencia de 2021 sobre Sistemas de Procesamiento de Información Neuronal.
