La inteligencia artificial (IA) podría ayudarnos a responder a la pandemia de COVID-19.
Pero antes debemos plantearnos preguntas serias sobre fiabilidad, seguridad y equidad.
Así podemos codiseñar un marco de auditoría para los sistemas de IA.
Imaginemos un escenario hipotético: un jefe de Estado se reúne con los fundadores de una empresa emergente de tecnología sanitaria que afirma haber diseñado una aplicación basada en inteligencia artificial (IA) capaz de predecir qué pacientes con COVID-19 corren mayor riesgo de desarrollar enfermedades respiratorias graves. Hay mucho en juego, tanto desde el punto de vista sanitario como económico. Además, el tiempo apremia.
¿Qué debería ocurrir a continuación?
Con más de un millón de casos confirmados en todo el mundo, una aplicación así sería una herramienta bienvenida. Podría ayudar a los médicos a decidir cómo asignar las camas y mejorar la gestión del flujo de pacientes. Combinada con pruebas masivas en focos de infección identificados y en lugares estratégicos, como aeropuertos y estaciones de tren, una herramienta de este tipo podría contribuir a evitar la saturación de los hospitales y ayudar a flexibilizar las normas de distanciamiento social.
Actualmente no se utiliza ninguna herramienta de este tipo, aunque un grupo de investigadores de la Universidad de Nueva York está trabajando en algo similar. No obstante, sigamos con este experimento mental para comprender los retos de gobernanza asociados a la inteligencia artificial y por qué las auditorías para exigir responsabilidades son importantes en tiempos de crisis.
La diligencia debida empieza por plantearse las preguntas adecuadas.
Todo líder que se enfrente a una nueva solución tecnológica como esta aplicación hipotética debe plantearse tres preguntas principales. Primero, ¿es fiable la aplicación? Segundo, ¿es segura? Por último, ¿es equitativa? A su vez, estas preguntas suscitan multitud de interrogantes complementarios sobre las definiciones de fiabilidad, seguridad y equidad que se tienen en cuenta, así como sobre sus métricas de evaluación.
En condiciones ideales, las respuestas a estas preguntas deberían permitir auditar un sistema de IA de este tipo; es decir, un comité de investigación o cualquier tercero competente designado debería poder evaluar si el sistema es fiable examinando la documentación pertinente.
Por desgracia, acceder a esa documentación y revisarla puede resultar difícil en la práctica. Las dificultades se relacionan en gran medida con el aprendizaje profundo (DL), una subcategoría del aprendizaje automático, y con el grado de madurez de la industria de la IA.
El aprendizaje automático es una técnica estadística potente, pero limitada.
En esencia, el aprendizaje profundo (DL) es una técnica estadística para clasificar patrones a partir de datos de muestra mediante redes neuronales con múltiples capas. Gracias al crecimiento exponencial de los datos generados por personas y máquinas, los sistemas de DL han logrado avances impresionantes en diversos campos, especialmente en visión artificial y reconocimiento del habla.
Estos resultados son notables en aspectos importantes, pero limitados en otros. Por un lado, los sistemas de aprendizaje profundo son notoriamente opacos. De hecho, su lógica no puede interpretarse fácilmente en lenguaje corriente. Si vamos a depender de sistemas automatizados para ayudar a tomar decisiones críticas, como determinar qué paciente necesita cuidados intensivos, los sistemas deben ser comprensibles tanto para los médicos como para los pacientes. En la práctica, esto exige incorporar sus perspectivas a la planificación, el diseño y el desarrollo de una aplicación de este tipo, para que puedan participar en el proceso de toma de decisiones.
Además, los datos son fundamentales para el proceso de aprendizaje del DL. El conocimiento de los sistemas de DL se extrae principalmente de los patrones identificados en sus conjuntos de entrenamiento, que suelen ser datos etiquetados: el conjunto inicial de datos clínicos utilizado para entrenar el modelo predictivo. Esto, a su vez, genera desafíos en materia de privacidad e integridad de los datos: es bastante difícil garantizar el mantenimiento y la protección de datos clínicos etiquetados precisos.
No existe un proceso estandarizado para documentar los servicios de IA.
Más fundamentalmente, ¿qué significa «adecuado» al evaluar la IA? ¿Se refiere a información sobre un conjunto de datos de entrenamiento? ¿A una descripción del modelo, incluidas sus características de rendimiento y sus posibles inconvenientes? ¿Y qué hay de un marco integral de evaluación de riesgos que incorpore estrategias para mitigar los sesgos?
Abordar esta cuestión resulta especialmente difícil, en parte porque actualmente la comunidad de la industria de la IA carece de un proceso estandarizado para documentar los sistemas de IA. A diferencia de la industria del software, donde las empresas llevan mucho tiempo aplicando procesos consolidados para garantizar la transparencia y la rendición de cuentas de sus servicios (incluidos documentos de diseño, pruebas de rendimiento y protocolos de ciberseguridad), quienes trabajan en IA aún intentan determinar cómo deberían ser esos procesos. Esta falta de protocolos estandarizados recuerda y refleja la juventud de este campo.
El camino a seguir
Dada la rápida adopción de la IA en ámbitos de alto riesgo, la pregunta «¿cómo garantizamos un uso fiable de la IA mediante marcos de auditoría?» es demasiado importante para dejarla en manos de la industria. Por otro lado, las respuestas varían mucho según el caso de uso considerado y requieren un conocimiento sólido del sistema implementado; por eso, los responsables de formular políticas no pueden abordar esta cuestión por sí solos.
Solo un proceso genuino con múltiples partes interesadas podría ofrecer respuestas satisfactorias. En el Foro Económico Mundial hemos dado pasos concretos hacia este objetivo: estamos creando una comunidad de responsables de formular políticas, sociedad civil, actores de la industria y el mundo académico que codiseña un marco de auditoría para los sistemas de IA.
Solo trabajando juntos podemos crear una IA para pacientes con COVID-19 que sea realmente auditable y ayude al mundo a resistir y recuperarse de los riesgos globales.
