Generar confianza en la IA, especialmente en entornos de alto riesgo como la sanidad, exige comprender cómo y por qué los algoritmos toman determinadas decisiones.
Pero en la era de la IA moderna, estos algoritmos son demasiado a menudo cajas negras: ni siquiera sus creadores comprenden del todo por qué producen determinados resultados.
Para introducir la IA en entornos de alto riesgo como la sanidad, debemos utilizar algoritmos que sean interpretables y estén libres de sesgos.
Los algoritmos están en todas partes. Desde la configuración de los flujos de las redes sociales hasta la influencia en la aprobación de préstamos, los algoritmos forman parte integral de nuestra vida y lo han hecho desde hace mucho tiempo. Su presencia generalizada no es un fenómeno reciente; los algoritmos, entendidos como un conjunto de instrucciones, han desempeñado de hecho un papel clave en la determinación de resultados durante siglos.
Esto es especialmente cierto en la era actual, en la que tecnologías como la Inteligencia Artificial (IA) están tejiendo algoritmos en el tejido de cada aspecto de nuestra vida diaria.
Dado que los algoritmos configuran nuestra existencia, es imperativo generar confianza en ellos. Los sistemas de IA, por ejemplo, solían ser algoritmos relativamente sencillos. Estas piezas de software bastante rudimentarias podían realizar algunas estimaciones aproximadas, aprendiendo de los datos que recibían para identificar principalmente patrones. Estos precursores de la IA más avanzada que vemos hoy en día se siguen utilizando a menudo en aplicaciones menos avanzadas, como la previsión de ventas o la puntuación de riesgos.
Sin embargo, en la última década hemos visto cómo la IA ha mejorado hasta niveles que solo podíamos soñar.
Algoritmos de caja negra
La IA de vanguardia, como la que está detrás de ChatGPT de OpenAI, se ha vuelto extremadamente potente, capaz de generar textos, imágenes y ahora también vídeos que a menudo rivalizan con los de redactores, diseñadores y creadores de vídeo expertos. Sin embargo, esto tuvo un coste. Aunque los modelos más antiguos son menos precisos, son mucho más interpretables y, por ello, más fiables, en parte por su sencillez, que los denominados modelos de «caja negra» que impulsan la mayor parte de la IA actual.
La complejidad de la IA moderna la hace muy eficaz en escenarios de bajo riesgo, pero casi imposible de confiar en escenarios de alto riesgo, como la sanidad, la justicia penal, las finanzas y otros. Como dijo el fundador de OpenAI, Sam Altman, durante la Reunión Anual del Foro Económico Mundial de este año, «el tipo de IA de OpenAI es bueno en algunas cosas, pero no es tan bueno en situaciones de vida o muerte».
Por ello, no podremos confiar en que estos modelos proporcionen información sobre áreas críticas y sensibles hasta que logremos confiar plenamente en ellos. Necesitamos recuperar la confianza no solo entre nosotros, sino también en las máquinas. No es una tarea fácil, pero con suficiente cooperación está al alcance de la mano.
Explicabilidad: ir más allá de los algoritmos de caja negra
Uno de los primeros pasos consiste en desarrollar y defender sistemas de IA que sean «interpretables». Con las arquitecturas actuales que impulsan los grandes modelos de lenguaje, como ChatGPT, no somos capaces de mirar en el interior de estos algoritmos. No podemos comprender el proceso de toma de decisiones que llevó a la IA a dar una respuesta o recomendación concreta. Esto plantea problemas significativos en escenarios de alto riesgo. En el sector sanitario necesitamos entender por qué el modelo diagnosticó a un paciente una enfermedad específica. Necesitamos comprender las consideraciones que sustentan dicho diagnóstico. El médico que revisa el resultado del algoritmo debe poder verificar que el modelo ha llegado a una conclusión que sigue el enfoque de un médico. En términos generales, debemos poder preguntar a la IA «por qué» llegó a tales conclusiones y comprender el proceso lógico que siguió, especialmente en aplicaciones sensibles. Al inspeccionar el flujo, podríamos descubrir fallos en el proceso de razonamiento, que comúnmente se denominan «alucinaciones».
Eliminación de sesgos: incorporar equidad en las decisiones algorítmicas
La explicabilidad de los modelos es solo una parte de la búsqueda de una IA en la que podamos confiar. Dado que los sistemas de IA solo son tan buenos como los datos que utilizan, es fundamental que aseguremos que los datos empleados para entrenar dichos modelos sean de la máxima calidad. Esto implica utilizar fuentes de datos de alta calidad que puedan proporcionar información precisa y veraz. Sin embargo, no siempre resulta fácil obtener esta información en escenarios reales.
La mayoría de los datos e informaciones que nosotros y los algoritmos procesamos en formato digital están sujetos a diversas limitaciones. Por este motivo, los sistemas de IA tienden a mostrar sesgos no por comportamientos maliciosos inherentes, sino porque han sido entrenados con información históricamente sesgada. Esto resulta potencialmente perjudicial en escenarios de alto riesgo. Por ejemplo, un sistema hipotético de IA que prediga la probabilidad de reincidencia de una persona podría discriminar por motivos de etnia, género u otros atributos protegidos. Existen varias técnicas que pueden utilizarse para mitigar y, idealmente, eliminar los sesgos. Como usuarios, debemos saber que esta posibilidad existe y plantear preguntas exhaustivas a los creadores de los algoritmos para asegurarnos de que cuentan con salvaguardas que eviten la discriminación.
Marco normativo: un enfoque unificado de la IA
Por último, debemos establecer un marco común que proporcione orientación compartida sobre el desarrollo de la IA. Dado que la IA se encuentra en su fase inicial, todavía carecemos de un marco unificado que defina las mejores prácticas y los requisitos para los sistemas de IA. Esto provoca fragmentación. Los actores privados y públicos quedan obligados a elegir sus propias directrices, o a carecer de ellas, lo que hace que sistemas potencialmente perjudiciales sean utilizados por la población en general.
Como afirmó el profesor Luciano Floridi, director del Centro de Ética Digital de la Universidad de Yale, en una entrevista reciente: «Deberíamos diseñar una sociedad win-win, en la que los operadores tecnológicos puedan tener un impacto positivo en los mercados, la sociedad y el medio ambiente». Para ello, necesitamos garantizar la coherencia y una orientación compartida, mediante la intervención de gobiernos y organizaciones internacionales que creen marcos generalmente aplicables en todos los países y sectores, asegurando una regulación que no frene la innovación.
Como usuarios de dichos algoritmos, tenemos el deber de defender una IA equitativa y responsable en la que podamos confiar. Como organizaciones implicadas en el desarrollo y la regulación de estos sistemas, debemos fomentar la cooperación público-privada entre las distintas partes interesadas para aprovechar una amplia gama de conocimientos especializados.
Solo si reunimos a expertos, responsables políticos y usuarios en la misma mesa podremos garantizar verdaderamente el éxito en la reconstrucción de la confianza en los sistemas de IA que desempeñan un papel crítico incluso en escenarios de alto riesgo, asegurando la cooperación entre humanos y máquinas en favor de una sociedad mejor.
