La normativa sobre IA se está quedando atrás frente al crecimiento exponencial de su uso.
Desarrollar un marco de gobernanza interna para los “chatbots de alto riesgo” requeriría a una empresa mucho tiempo y recursos considerables.
Ya existe un marco útil para el uso de chatbots que ofrece a las pymes la oportunidad de demostrar liderazgo en el uso responsable de la IA.
La inteligencia artificial (IA) se expande a un ritmo vertiginoso hacia productos y servicios que utilizamos a diario. Existen bien conocidas preocupaciones éticas en torno a su uso, aunque. Quizá la más debatida sea el reconocimiento facial en espacios públicos y su repercusión en la privacidad.
Una serie de aplicaciones de IA suscitan preocupaciones éticas, como el sesgo, la transparencia y la explicabilidad. Pese a ello, la regulación del uso de la IA es claramente insuficiente. Los procesos graduales y deliberados que sustentan la normativa se están quedando atrás frente al crecimiento exponencial del uso de la IA.
La Comisión Europea asumió este desafío con su publicación de nuevas acciones y normas propuestas este abril para una IA fiable. Posiblemente fue el primer examen exhaustivo de las nuevas normas necesarias para garantizar que la IA pueda ser digna de confianza.
Cómo los chatbots van a hacerse oír aún más
La IA conversacional es una de las aplicaciones más populares de esta tecnología. Se ha incorporado a los altavoces inteligentes de Amazon y Google, y todos los smartphones cuentan con Siri, Alexa o el asistente de voz de Google. Se estimó que el número de propietarios de altavoces inteligentes en EE. UU. alcanzaría casi los 94 millones en 2021.
La IA conversacional también se integra en los chatbots, que se han desplegado ampliamente en sitios web, plataformas de redes sociales y aplicaciones para smartphones. La pandemia de COVID-19 aceleró el uso de chatbots en el sector sanitario.
La propuesta de la UE sigue un enfoque basado en el riesgo, que clasifica las aplicaciones de IA en cuatro categorías: riesgo inaceptable, alto riesgo, riesgo limitado y riesgo mínimo. Por ejemplo, la identificación biométrica remota (como el reconocimiento facial) se clasifica como de alto riesgo. Esto tiene sentido, ya que existen varias preocupaciones relacionadas con el reconocimiento facial que pueden escalar muy rápidamente hasta convertirse en crisis de escala poblacional.
Los chatbots utilizados en el sector sanitario deben clasificarse como de alto riesgo si se quieren abordar adecuadamente las preocupaciones.
Venkataraman Sundareswaran
Sin embargo, la propuesta cita los chatbots como sistemas de IA de riesgo limitado y advierte de que “los usuarios deben saber que están interactuando con una máquina para poder tomar una decisión informada de continuar o retirarse.”
Esta decisión binaria (usar o no usar), aunque fácil de sugerir, no siempre es el mejor enfoque regulatorio, precisamente porque el uso de chatbots en ámbitos socialmente críticos, como la sanidad, aporta numerosos beneficios. Entre ellos se incluyen su facilidad de uso, el acceso las 24 horas, los 7 días de la semana, el bajo coste, la reutilizabilidad, la consistencia y la facilidad de despliegue.
Con todo esto en mente, es muy probable que el aumento del uso de chatbots en la sanidad continúe más allá de la pandemia, lo que proporcionará un acceso útil a los servicios sanitarios y servicios conexos a grandes poblaciones. Por ejemplo, los usuarios del Servicio Nacional de Salud del Reino Unido tienen acceso a un chatbot para realizar el triaje de “afecciones urgentes pero no mortales”.
Países como Ruanda invierten de forma decidida en esta tecnología para ampliar el acceso a la atención sanitaria de las poblaciones remotas. Una disponibilidad tan generalizada y una facilidad de uso tan grande solo aumentarán la adopción de esta tecnología, en lugar de obligar a las personas a hacer el tipo de elección binaria que sugiere la propuesta de la UE.
Cuando el chat falla
Si bien el uso de chatbots en la sanidad tiene muchas ventajas, también conlleva algunos riesgos. Por ejemplo, cuando un chatbot se utiliza para el triaje de pacientes, hay que extremar el cuidado para garantizar que la IA que sustenta la decisión de triaje se haya entrenado con datos que representen con precisión a la población que utiliza el chatbot.
Esto no es fácil de hacer, ya que obtener datos históricos de la población objetivo no siempre es posible por diversas razones. Entre ellas figuran las leyes locales sobre el uso de datos sanitarios, el rigor de la recogida de datos en el pasado y los costes de conversión de los datos.
Otras preocupaciones incluyen la eficacia de los chatbots en la aplicación sanitaria de destino, la falta de margen para que las personas intervengan o anulen las sugerencias de los chatbots, la insuficiente transparencia de las decisiones que toman los chatbots y dudas sobre el grado de seguridad de los datos que recopila el chatbot. Para un análisis más detallado al respecto, consulte este informe.
Es cierto que la propuesta de la UE no entra en el tipo de detalle que presentamos aquí y deja margen suficiente para “reclasificar” las aplicaciones en categorías de mayor riesgo. Con arreglo a la propuesta de la UE, los chatbots pueden clasificarse como de “alto riesgo” si están destinados a “servicios públicos y privados esenciales”, lo que presumiblemente incluye la sanidad. Pero los chatbots utilizados en la sanidad deben clasificarse como de alto riesgo si no se abordan adecuadamente las preocupaciones relacionadas con este uso, como las mencionadas anteriormente.
Cómo arrancar con buen pie
Al proponer que el uso de chatbots en la sanidad se clasifique como de alto riesgo, también reconocemos que la mayoría de las empresas que innovan en este ámbito son pequeñas y medianas empresas (pymes), que quizá no dispongan de la capacidad ni de los recursos necesarios para desarrollar la gobernanza interna requerida.
Incluso las grandes empresas que utilizan esta tecnología, como hospitales, compañías de seguros y reguladores gubernamentales, a menudo carecen de la comprensión necesaria de la tecnología y de sus implicaciones para poder desarrollar con rapidez las medidas de gobernanza necesarias. De hecho, desarrollar un marco de gobernanza interna requiere mucho tiempo y recursos considerables.
Para afrontar este desafío, reunimos a partes interesadas de todos los ámbitos del ecosistema, entre ellos desarrolladores de chatbots, proveedores de plataformas, profesionales médicos, el mundo académico, la sociedad civil y los gobiernos, para elaborar un marco de gobernanza, que cualquiera puede descargar y utilizar.
El marco contiene 10 principios (véase la Figura 2 más abajo), cuidadosamente seleccionados por los participantes de las distintas partes interesadas. Más importante aún, los autores proporcionan, para cada uno de los 10 principios, un conjunto de acciones que pueden utilizarse para “poner en práctica” los principios.
Al incorporar estas acciones en su plan de desarrollo o despliegue de chatbots, los distintos agentes del ecosistema (desarrolladores, proveedores y reguladores) pueden situarse rápidamente en la senda del cumplimiento de las próximas normativas, como la de la UE.
Por último, el uso del marco ofrece a las pymes la oportunidad de demostrar liderazgo en el uso responsable de la IA (chatbots) en la sanidad, además de proporcionarles una ventaja inicial.
