La prisa por adquirir tecnologías de IA durante la COVID-19 ha puesto de manifiesto importantes brechas de gobernanza.
Si estas brechas no se abordan, podrían provocar una serie de problemas, desde diagnósticos incorrectos hasta una erosión de la confianza pública.
El impacto global de la COVID-19 ha demostrado el papel que desempeña la interconexión en la cooperación internacional y cómo las tecnologías obsoletas son obstáculos para la formulación eficaz de políticas.
Como resultado, muchas entidades y gobiernos se han visto obligados a apresurarse para ponerse al día: identificar, evaluar y adquirir soluciones fiables impulsadas por la inteligencia artificial (IA).
Encontrar las soluciones de IA adecuadas es una tarea urgente, complicada por la obligación del sector público de garantizar un proceso guiado por la equidad, la rendición de cuentas y la transparencia (los procesos automatizados son especialmente vulnerables a agravar el racismo sistémico y a ampliar las desigualdades existentes).
Los pasos que los gobiernos ya han dado para adquirir IA han puesto de manifiesto importantes brechas de gobernanza. Cerrar esas brechas será clave para aprovechar el potencial transformador de la IA y guiar a las economías en la recuperación sin sacrificar la privacidad ni comprometer la salud pública.
A continuación se presentan algunos ejemplos de oportunidades de gobernanza en la contratación y el uso de IA:
Chatbots
Muchos gobiernos han integrado chatbots en sus sitios web para evitar que el volumen de consultas sobre salud del público sature sus recursos. Cuando las consultas del público en general desbordan al personal de las agencias gubernamentales, el uso de chatbots por parte del gobierno permite a las entidades gestionar la atención al ciudadano de forma más rápida y eficaz. Al responder a preguntas habituales y derivar las más complejas, se ahorra un tiempo considerable y se atienden mejor las necesidades de los ciudadanos.
Aun así, muchas de estas tecnologías carecen de herramientas y procesos para minimizar los riesgos. Por lo general, no existen medidas que garanticen la precisión de la información, implementen la protección de la privacidad ni entrenen de forma eficaz modelos lo bastante ágiles como para seguir los conocimientos más actuales sobre esta enfermedad, de rápida evolución. Esto puede dar lugar a una difusión ineficaz de la información, lo que, en el mejor de los casos, perjudica al público. En el peor, lleva a un diagnóstico erróneo de los síntomas, lo que podría poner en riesgo miles de vidas o más. Los gobiernos deben poner en marcha planes que ayuden a resolver las dudas sobre a quién dar voz y sobre la precisión de la información que se comparte.
Diagnóstico
Los centros sanitarios de todo el mundo han recurrido a sistemas de IA para detectar infecciones, ya sea a través de la voz de las personas o con radiografías de tórax. Estas herramientas han ayudado de forma significativa a los hospitales sobrecargados a gestionar el drástico aumento de pacientes. Sin embargo, existe poca orientación sobre cómo evaluar lo bien que funcionan estas herramientas. Como resultado, los centros corren el riesgo de empeorar la situación al diagnosticar incorrectamente a los pacientes.
Los expertos en gobernanza han instado a los hospitales a no debilitar sus protocolos regulatorios y a evitar contratos a largo plazo sin llevar a cabo su diligencia debida. Es urgente disponer de marcos normativos que hagan operativa la evaluación de los sistemas de IA antes de su uso. Un informe reciente que analiza decenas de modelos informáticos para diagnosticar y tratar la COVID-19 puso de manifiesto que todos los modelos se habían entrenado con datos inadecuados e insuficientes. Estas evaluaciones deberían obligar a los responsables a plantear preguntas críticas sobre los procesos de mitigación de riesgos, el rendimiento y la precisión, y garantizar una supervisión externa sólida de los sistemas a cargo de un tercero independiente.
Seguimiento de la propagación del virus
Decenas de gobiernos han propuesto o desplegado herramientas de seguimiento que monitorizan la propagación del virus de persona a persona. Desde Asia hasta Europa, varias entidades del sector público se han asociado con el sector privado para utilizar servicios basados en IA que vigilan la propagación del virus. Esto incluye una serie de aplicaciones de rastreo de contactos que pretenden llevar a cabo lo que los funcionarios públicos han hecho durante mucho tiempo de forma manual: entrevistar a los infectados y localizar, uno a uno, sus contactos recientes.
Las preocupaciones sobre la privacidad relativas a cómo pueden utilizarse estos datos en distintos contextos y por parte de quién sugieren que plantearse ahora las preguntas adecuadas puede ayudar a anticipar los inevitables problemas de protección de datos en el futuro. Establecer procesos de documentación exhaustiva puede ayudar a evaluar los problemas cuando se producen e, idealmente, evitar que se produzcan daños. Una forma de respuesta que ha ganado impulso ha sido la promoción de herramientas de evaluación interna en las que las empresas adoptan el enfoque multipartito para diseñar un cuestionario de evaluación interna. Entre los ejemplos figuran las de IBM Research FactSheets, el marco de Google para la auditoría algorítmica interna, y la lista de Principios de IA de Microsoft y las herramientas para aplicarlos internamente. Con el tiempo, y si se escalan de forma adecuada, estos enfoques podrían garantizar el despliegue responsable de la IA en diversas aplicaciones.
«La ventana de oportunidad es breve para establecer un conjunto de directrices de contratación prácticas que permitan tomar buenas decisiones de cara al futuro.»
Eddan Katz, Conor Sanchez
Mirando hacia el futuro
Incluso antes de la COVID-19, las demandas de regulación de la IA habían aumentado considerablemente, al tiempo que se multiplicaban los principios de ética de la IA. La COVID-19 ha acelerado la necesidad de hacer operativos estos principios. Para ayudar a los profesionales a afrontar estos desafíos, la Plataforma de IA y Aprendizaje Automático del Foro Económico Mundial creó el paquete Procurement in a Box, que tiene como objetivo impulsar la adopción de la IA en el sector público mediante la contratación gubernamental. Las herramientas publicadas esta semana para el público en general se desarrollaron tras casi dos años de consultas con responsables de compras y empresas del sector privado, varias rondas de solicitud de comentarios sobre borradores, talleres exhaustivos, entrevistas individuales y pilotos internacionales.
La iniciativa Procurement in a Box busca hacer operativas muchas propuestas de establecimiento de normas, contribuyendo a configurar el uso ético y responsable de la tecnología. Da prioridad a la aplicación práctica de estas normas de múltiples formas, incluida la generalización de los elementos comunes entre distintas jurisdicciones, respetando al mismo tiempo las diferencias en materia de legislación y cultura, así como las distintas etapas de desarrollo de sus ecosistemas de innovación en IA.
Estas herramientas serán cada vez más relevantes para los países de todo el mundo en distintos niveles, y su utilidad es oportuna. La iniciativa del Foro sobre contratación de IA ha tomado forma, de manera notable, en un momento de incertidumbre, cuando el contrato social de confianza entre el gobierno, sus ciudadanos y sus industrias está en suspenso. La crisis global de la COVID-19 ha subrayado la necesidad de responsabilidad en la innovación y del uso ético de la tecnología. Al emprender este Gran Reinicio, las normas y los estándares de gobernanza aún no están establecidos. La ventana de oportunidad es breve para establecer un conjunto de directrices de contratación prácticas que permitan tomar buenas decisiones de cara al futuro.
