Investigadores del MIT han ideado un método para evaluar la robustez de los modelos de aprendizaje automático conocidos como redes neuronales en diversas tareas, detectando cuándo cometen errores que no deberían cometer.
Las redes neuronales convolucionales (CNN) están diseñadas para procesar y clasificar imágenes en tareas de visión artificial y muchas otras. Sin embargo, pequeñas modificaciones imperceptibles para el ojo humano —por ejemplo, unos pocos píxeles más oscuros en una imagen— pueden hacer que una CNN produzca una clasificación radicalmente distinta. Estas modificaciones se conocen como «ejemplos adversarios». Estudiar sus efectos en las redes neuronales puede ayudar a los investigadores a determinar hasta qué punto sus modelos podrían ser vulnerables a entradas inesperadas en el mundo real.
Por ejemplo, los coches autónomos pueden usar CNN para procesar información visual y responder adecuadamente. Si el coche se acerca a una señal de stop, la reconocería y se detendría. Sin embargo, un artículo de 2018 descubrió que colocar una determinada pegatina en blanco y negro en la señal podía engañar a la CNN del coche autónomo y hacer que clasificara mal la señal, lo que potencialmente podría impedir que se detuviera por completo.
Sin embargo, hasta ahora no había forma de evaluar por completo la resistencia de una red neuronal grande a los ejemplos adversarios para todas las entradas de prueba. En un artículo que presentan esta semana en la Conferencia Internacional sobre Representaciones del Aprendizaje, los investigadores describen una técnica que, para cualquier entrada, encuentra un ejemplo adversario o garantiza que todas las entradas perturbadas —que siguen pareciéndose a la original— se clasifiquen correctamente. De este modo, permite medir la robustez de la red para una tarea determinada.
Existen técnicas de evaluación similares, pero no han podido ampliarse para aplicarse a redes neuronales más complejas. En comparación con esos métodos, la técnica de los investigadores es tres órdenes de magnitud más rápida y puede ampliarse a CNN más complejas.
Los investigadores evaluaron la robustez de una CNN diseñada para clasificar imágenes del conjunto de datos MNIST de dígitos escritos a mano, que consta de 60.000 imágenes de entrenamiento y 10.000 imágenes de prueba. Descubrieron que alrededor del 4 % de las entradas de prueba pueden perturbarse ligeramente para generar ejemplos adversarios que llevarían al modelo a clasificarlas incorrectamente.
«Los ejemplos adversarios engañan a una red neuronal para que cometa errores que una persona no cometería», dice el primer autor, Vincent Tjeng, estudiante de posgrado del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL). «Para una entrada determinada, queremos determinar si es posible introducir pequeñas perturbaciones que hagan que una red neuronal produzca un resultado radicalmente distinto del habitual. Así podemos evaluar la robustez de distintas redes neuronales: encontramos al menos un ejemplo adversario similar a la entrada o garantizamos que no existe ninguno para esa entrada».
En el artículo también participaron Kai Xiao, estudiante de posgrado del CSAIL, y Russ Tedrake, investigador del CSAIL y profesor del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS).
Las CNN procesan imágenes mediante numerosas capas computacionales que contienen unidades llamadas neuronas. En las CNN que clasifican imágenes, la capa final consta de una neurona por cada categoría. La CNN clasifica una imagen según la neurona que tenga el valor de salida más alto. Pensemos en una CNN diseñada para clasificar imágenes en dos categorías: «gato» o «perro». Si procesa la imagen de un gato, el valor de la neurona de clasificación «gato» debería ser mayor. Se produce un ejemplo adversario cuando una pequeña modificación de esa imagen hace que el valor de la neurona de clasificación «perro» sea mayor.
La técnica de los investigadores comprueba todas las modificaciones posibles de cada píxel de la imagen. En esencia, si la CNN asigna la clasificación correcta («gato») a cada imagen modificada, no existen ejemplos adversarios para esa imagen.
La técnica se basa en una versión modificada de la «programación mixta entera», un método de optimización en el que algunas variables están restringidas a ser números enteros. Básicamente, la programación mixta entera se utiliza para encontrar el máximo de una función objetivo dadas ciertas restricciones sobre las variables, y puede diseñarse para evaluar de manera eficiente la robustez de redes neuronales complejas.
Los investigadores establecieron límites que permiten aclarar u oscurecer cada píxel de cada imagen de entrada hasta cierto valor fijado. Dentro de esos límites, la imagen modificada seguirá pareciéndose mucho a la original, por lo que la CNN no debería dejarse engañar. La programación mixta entera se utiliza para encontrar la modificación mínima posible de los píxeles que podría provocar una clasificación errónea.
La idea es que retocar los píxeles podría hacer que aumentara el valor de una clasificación incorrecta. Por ejemplo, si se introdujera la imagen de un gato en una CNN que clasifica mascotas, el algoritmo iría perturbando los píxeles para comprobar si puede elevar el valor de la neurona correspondiente a «perro» por encima del de «gato».
Si el algoritmo lo consigue, habrá encontrado al menos un ejemplo adversario para la imagen de entrada. Puede seguir retocando los píxeles para encontrar la modificación mínima necesaria para provocar esa clasificación errónea. Cuanto mayor sea la modificación mínima —denominada «distorsión adversaria mínima»—, más resistente será la red a los ejemplos adversarios. Sin embargo, si la neurona que clasifica correctamente se activa para todas las combinaciones posibles de píxeles modificados, el algoritmo puede garantizar que la imagen no tiene ningún ejemplo adversario.
«Dada una imagen de entrada, queremos saber si podemos modificarla de forma que provoque una clasificación incorrecta», dice Tjeng. «Si no podemos, tenemos la garantía de que hemos explorado todo el espacio de modificaciones permitidas y hemos comprobado que no existe ninguna versión perturbada de la imagen original que se clasifique mal».
En última instancia, esto genera un porcentaje de las imágenes de entrada que tienen al menos un ejemplo adversario y garantiza que el resto no tiene ninguno. En el mundo real, las CNN tienen muchas neuronas y se entrenan con conjuntos de datos enormes que incluyen decenas de clasificaciones distintas, por lo que la capacidad de ampliación de la técnica es fundamental, afirma Tjeng.
«Es importante que las CNN sean robustas frente a los ejemplos adversarios en distintas redes diseñadas para tareas distintas», dice. «Cuanto mayor sea la proporción de muestras de prueba para las que podemos demostrar que no existe ningún ejemplo adversario, mejor debería funcionar la red cuando se exponga a entradas perturbadas».
«Los límites demostrables de robustez son importantes, ya que casi todos los mecanismos de defensa [tradicionales] podrían volver a quebrantarse», afirma Matthias Hein, profesor de Matemáticas e Informática en la Universidad del Sarre, que no participó en el estudio, pero ha probado la técnica. «Usamos el marco de verificación exacta para demostrar que nuestras redes son realmente robustas… y también hizo posible verificarlas en comparación con el entrenamiento normal».
