La inteligencia artificial (IA) tiene un enorme potencial para la atención médica, pero los riesgos para la seguridad implican que necesita una mayor supervisión humana, y que la IA solo debe tener la autoridad que ha demostrado poder manejar de forma segura.
Las organizaciones sanitarias deben determinar qué puede hacer un sistema de IA de forma fiable, en qué poblaciones y circunstancias, y dónde puede fallar.
Dado que los modelos, la evidencia clínica, las poblaciones de pacientes y los flujos de trabajo cambian, la cualificación no puede ser un ejercicio puntual y la gobernanza de la IA debe adaptarse continuamente.
Todos los sectores de la economía están siendo transformados por la inteligencia artificial, pero ahora, más que nunca, la necesidad de establecer salvaguardias se ha vuelto crucial, al igual que la necesidad de hacerlo sin frenar el inmenso potencial de la IA, como en el ámbito del descubrimiento de fármacos.
El sector sanitario tiene aquí una oportunidad —y un deber— de liderar el camino en la implementación segura de la IA.
Las organizaciones sanitarias se enfrentan ahora a un reto práctico: determinar qué puede hacer un sistema de IA de forma segura, establecer dónde debe residir la autoridad humana y adaptar esos controles a medida que evoluciona la tecnología.
1. Comience por calificar la IA
Antes de determinar cuánta autoridad debe tener un sistema de IA, las organizaciones necesitan comprender las condiciones bajo las cuales se puede confiar en él para una tarea en particular. El sector sanitario ya utiliza sistemas de cualificación evidencia, ámbitos de uso definidos, monitoreo y rendición de cuentas. La IA requiere mecanismos adecuados a la tecnología, cuyas capacidades y comportamiento pueden cambiar rápidamente.
Herramientas como las tarjetas de datos, las tarjetas modelo y los análisis de riesgos pueden documentar qué dio forma a un sistema, cómo se evaluó, su contexto de uso previsto, las limitaciones conocidas y los modos de falla, y cuándo se requiere verificación adicional. La Administración de Alimentos y Medicamentos de los Estados Unidos define las tarjetas modelo como mecanismo de transparencia, mientras que la Coalición para la IA en Salud ha desarrollado un Tarjeta modelo aplicada para la atención médica.
La cualificación debe examinar las poblaciones evaluadas, las condiciones en las que se deteriora el rendimiento, la evidencia en la que se basa, el comportamiento con información incompleta o contradictoria y el efecto de los cambios en el modelo, la evidencia o el flujo de trabajo. La política de TI de salud de EE. UU. ya está avanzando hacia una mayor transparencia del algoritmo en tecnología sanitaria certificada.
Los expertos en la materia son esenciales para identificar fallos plausibles, excepciones consecuentes y los puntos en los que el juicio profesional puede cambiar sustancialmente una decisión.
2. Mapa de puntos por donde pueden entrar errores al sistema.
La cualificación constituye una capa de seguridad. La siguiente consiste en comprender el proceso de toma de decisiones dentro del cual opera el modelo. Un flujo de trabajo sanitario basado en IA puede avanzar desde los datos subyacentes, pasando por el contexto y la evidencia, hasta el razonamiento, la recomendación, la acción y el resultado.
El riesgo puede surgir en cualquier etapa; los datos pueden estar incompletos y es posible que no se recuperen las pruebas pertinentes. Además, un sistema puede malinterpretar el contexto del paciente, aplicar directrices fuera de las circunstancias previstas o generar razonamientos inconsistentes con la evidencia.
Los expertos en la materia son esenciales para identificar fallos plausibles, excepciones consecuentes y los puntos en los que el juicio profesional puede cambiar sustancialmente una decisión. Buenas prácticas de aprendizaje automático Asimismo, hace hincapié en la experiencia multidisciplinaria y la atención a lo largo de todo el ciclo de vida del producto.
3. Colocar el punto de control adecuado en el nivel de riesgo adecuado.
Una vez comprendidos los posibles fallos, tres dimensiones pueden ayudar a calibrar la supervisión: la probabilidad de error, las consecuencias si se produce y si la acción resultante es reversible.
Una tarea administrativa reversible y de bajo riesgo puede dar lugar a una automatización sustancial, pero una recomendación clínica importante basada en información ambigua requiere una verificación más rigurosa.
Los distintos riesgos también requieren distintos puntos de control:
Las comprobaciones de datos pueden verificar su integridad y calidad.
La verificación de las pruebas puede confirmar que las fuentes adecuadas respaldan una recomendación.
Las comprobaciones de incertidumbre pueden revelar pruebas contradictorias o circunstancias desconocidas.
Los puntos de control humanos pueden derivar los casos importantes al profesional mejor capacitado para evaluarlos.
El sistema también debe evaluar la intervención humana. Un punto de control humano no mejora automáticamente una decisión asistida por IA. La secuencia del razonamiento humano y de la IA, la información presentada al revisor, la experiencia del revisor y el diseño de la interacción pueden influir en el resultado.
Por lo tanto, las organizaciones deberían comprobar si el flujo de trabajo combinado humano-IA mejora la calidad de las decisiones y la seguridad en las condiciones en las que se implementa.
4. Construir una arquitectura con el ser humano al mando.
Proponemos cinco elementos para un modelo operativo que sitúa al ser humano al mando de un flujo de trabajo humano-IA:
Mapa: Identificar los posibles puntos de fallo, sus consecuencias y los límites establecidos mediante la cualificación y el análisis de riesgos.
Detectar: Reconocer la incertidumbre, la información faltante, las evidencias contradictorias, los resultados anómalos y las señales de que el sistema puede estar operando fuera de sus condiciones de funcionamiento óptimas.
Controlar: Aplique medidas de seguridad proporcionales al riesgo, incluyendo la validación de datos, la verificación de pruebas, las pruebas de coherencia o la revisión por expertos. Cuando participen personas, evalúe si dicha interacción mejora la decisión conjunta.
Escalar: Remitir los casos inciertos o de gran trascendencia al experto adecuado, proporcionándole las pruebas, el contexto y el razonamiento necesarios para evaluar la decisión de manera eficiente.
Aprender: Registra las correcciones, las anulaciones, los desacuerdos y los resultados posteriores, y utilízalos para mejorar el sistema y la ubicación de los puntos de control futuros.
5. Recalificar continuamente
Las capacidades de la IA cambian rápidamente. A medida que la evidencia clínica evoluciona, las poblaciones de pacientes cambian, las políticas cambian y los flujos de trabajo se rediseñan. Por lo tanto, la cualificación y la supervisión deben ser continuas. Por ejemplo, una investigación en Nature Medicine ha defendido que validación local recurrente de la IA en salud porque el rendimiento puede variar según la configuración y con el tiempo.
Por lo tanto, las organizaciones deben monitorear los patrones de error, las anulaciones, las tasas de escalamiento, los desacuerdos, la desviación de modelos y datos, y los resultados posteriores. Las anulaciones persistentes por parte de los médicos pueden revelar una limitación que pasó desapercibida durante la evaluación inicial.
La escalada reiterada de un tipo de caso puede indicar la necesidad de obtener pruebas adicionales, capacitación o rediseñar el flujo de trabajo. En este sentido, la implementación en entornos reales debe actualizarse continuamente para determinar en qué aspectos el sistema funciona de manera confiable, cuáles son sus límites y cuánta autoridad debería tener.
3 principios para los líderes del sector sanitario
Para los líderes del sector sanitario, tres principios clave destacan a la hora de gestionar un flujo de trabajo entre humanos e IA para sacar el máximo partido a la IA sin comprometer la seguridad:
Califica antes de delegar. Determinar qué ha demostrado el sistema que puede hacer, bajo qué condiciones y cuáles son sus limitaciones.
Califique tanto la supervisión como la IA. Comparar los puntos de control técnicos y humanos con la probabilidad, la consecuencia y la reversibilidad de los errores, y evaluar si dichos puntos de control mejoran la decisión combinada entre humanos e IA.
Recalificar continuamente. Los resultados en el mundo real, las intervenciones de expertos, los cambios en los modelos y los modos de fallo emergentes deben servir de base para la recalibración de los sistemas y las medidas de seguridad.
El sector sanitario puede aportar un modelo práctico al debate más amplio sobre la gobernanza de la IA. El objetivo es construir sistemas en los que se comprendan las capacidades, se anticipen los riesgos, las decisiones trascendentales puedan interrumpirse y la experiencia humana se posicione donde genere mayor valor.
El control humano implica cualificar la tecnología, evaluar sus riesgos, diseñar los puntos de control adecuados, preservar una autoridad humana significativa y aprender continuamente a medida que evolucionan tanto la tecnología como la evidencia.
