Actualmente, la confianza en la IA sanitaria depende demasiado del diseño de los sistemas y no lo suficiente de las realidades vividas en la atención médica.
Se necesitan ciclos continuos de retroalimentación para integrar la confianza en una IA sanitaria que responda a las necesidades de profesionales clínicos y pacientes.
Las iniciativas del Sudeste Asiático muestran cómo la confianza en la tecnología puede pasar de la política a la práctica.
La inteligencia artificial (IA) está transformando la atención sanitaria, desde el diagnóstico hasta las operaciones hospitalarias. Sin embargo, la gobernanza va a la zaga. La confianza en esta tecnología, esencial para su adopción clínica, sigue siendo desigual. La mayoría de los marcos se centran en el diseño del sistema o en el cumplimiento normativo y pasan por alto las realidades vividas de la atención, donde la confianza se construye mediante el uso cotidiano por parte de pacientes y profesionales clínicos.
El enfoque de Singapur respecto a la IA sanitaria refleja tanto avances como desafíos. En 2018, el ciberataque a SingHealth, una de las peores filtraciones de datos del país, comprometió los registros de casi 1,5 millones de pacientes y dejó al descubierto importantes deficiencias en las infraestructuras críticas.
Una encuesta de YouGov de 2023 reveló que solo el 14 % de los residentes de Singapur recurriría a servicios de asesoramiento sobre salud mental basados en IA. En 2021, el Ministerio de Salud publicó las Directrices sobre IA en la atención sanitaria, que promueven salvaguardias como la explicabilidad, la supervisión humana y la comunicación de riesgos; un paso hacia la integración de la confianza, y no solo la aplicación del cumplimiento normativo.
Estos avances señalan una necesidad más amplia. La gobernanza debe ir más allá de las normas fijas y adoptar ciclos de confianza durante la implementación: mecanismos dinámicos y sensibles al contexto que evolucionen junto con las realidades clínicas. La gobernanza sanitaria debe ser receptiva, observable e integrada, no limitarse a estar legislada.
La confianza no puede añadirse a posteriori
Un radiólogo duda antes de aceptar una interpretación de una imagen generada por IA. Una enfermera anula una alerta de triaje generada por IA. Un paciente pregunta: «¿Quién ve mis datos?». Estos tres ejemplos no son necesariamente errores del sistema; son señales. La fricción en torno a la confianza surge cuando los sistemas no se ajustan a las necesidades del mundo real. «La confianza desde el diseño» ayuda, pero la gobernanza debe ser continua y guiarse por la retroalimentación, no por suposiciones.
Un estudio de 2025 de npj Digital Medicine señaló que los procesos de supervisión continua y los flujos de trabajo de reentrenamiento se están convirtiendo rápidamente en un importante costo operativo, mientras que los ajustes ante cambios en los patrones de datos («deriva de datos») suponen una carga adicional para las instituciones que carecen de equipos de ingeniería especializados. Estos hallazgos refuerzan la necesidad de ciclos de confianza durante la implementación que sean escalables y sensibles al contexto; de lo contrario, corremos el riesgo de ampliar las brechas de capacidad entre los centros con más recursos y los hospitales pequeños.
¿Cómo se manifiesta la confianza operativa?
La confianza operativa se refiere al desempeño de los sistemas de IA en condiciones clínicas reales, de forma transparente, responsable y práctica para el personal de primera línea. Abarca:
Explicabilidad contextual: ¿Pueden los profesionales clínicos jóvenes comprender y cuestionar en tiempo real los resultados de la IA?
Una encuesta de la AMA de 2025 reveló que el 68 % de los médicos veía valor en las herramientas de IA y que el 66 % ya las utilizaba. Sin embargo, casi la mitad (47 %) señaló que una mayor supervisión por parte de profesionales médicos era la medida regulatoria más importante para generar confianza en las recomendaciones producidas por IA.
El modelo AI2D del Singapore General Hospital (Inteligencia aumentada en enfermedades infecciosas) ejemplifica la explicabilidad contextual en la IA clínica. La herramienta ayuda a los médicos a determinar si son necesarios los antibióticos en afecciones como la neumonía, mediante datos de pacientes en tiempo real, y ha alcanzado una precisión del 90 % en las primeras validaciones. Al recomendar decisiones terapéuticas antes de que estén disponibles los resultados de laboratorio, AI2D respalda el criterio clínico sin reemplazarlo y refuerza la confianza con resultados oportunos e interpretables.
Auditabilidad en acción: ¿Se pueden rastrear las predicciones durante los cambios de turno en la atención al paciente?
Un estudio de Nature Medicine de 2022 informó de una caída del 17 % en el rendimiento de un modelo de sepsis a los pocos meses de su implementación, debido a la deriva ambiental. Esto pone de relieve la importancia de la auditabilidad: permite rastrear en tiempo real el rendimiento del modelo a medida que evolucionan las condiciones.
Las herramientas aiTriage de Singapur, y CARES 2, que pronostican respectivamente episodios cardíacos y eventos posquirúrgicos, generan confianza con predicciones que quedan registradas, fechadas y horodatadas, y se incorporan a los historiales clínicos, lo que permite a los profesionales verificar recomendaciones anteriores durante los cambios de turno o la atención de seguimiento. Esta trazabilidad favorece la rendición de cuentas y refuerza el criterio humano.
Mecanismos de retroalimentación de los usuarios finales: ¿Pueden los usuarios de primera línea señalar patrones inseguros y ayudar a mejorar el algoritmo?
Mejoras de usabilidad: Note Buddy de SingHealth transcribe en directo consultas multilingües, reduce la carga administrativa y permite brindar una atención más atenta: un ejemplo concreto de cómo la confianza se favorece al adaptar la interfaz.
Plataformas de salud mental como mindline.sg y NeuroBlu de Holmusk integran desde el diseño una supervisión que tiene en cuenta la confianza. Mindline.sg utiliza un marco de triaje revisado por profesionales clínicos, con derivaciones según categorías, y ofrece herramientas de autocuidado o derivaciones a profesionales sin conservar datos identificables. Aunque no está diseñada para la anulación clínica continua, se actualiza de forma iterativa para mantener su pertinencia y seguridad. En cambio, Holmusk conecta modelos predictivos con paneles destinados a profesionales clínicos a través de su plataforma NeuroBlu, lo que permite a los equipos asistenciales supervisar los riesgos y perfeccionar las intervenciones mediante actualizaciones continuas de los datos.
Sudeste Asiático: un laboratorio de confianza en marcha
El Sudeste Asiático está abriendo camino en la gobernanza mediante la práctica, no solo con políticas. En Singapur, el intercambio TRUST, dirigido por el MOH, alberga actualmente alrededor de 40 conjuntos de datos sanitarios nacionales anonimizados y respaldó 17 solicitudes de datos aprobadas de 107 usuarios durante su primer año. Mientras tanto, AI Verify, el marco nacional de Singapur para probar y evaluar sistemas de IA, se está adoptando en entornos clínicos mediante el Proyecto piloto mundial de garantía de la IA de 2025. Este combina pruebas técnicas con verificaciones de procesos para evaluar la equidad, la solidez y la transparencia de los sistemas de IA. En este proyecto piloto, 17 implementaciones de IA generativa en el mundo real, entre ellas una herramienta para resumir flujos de trabajo en el Changi General Hospital, se asociaron con 16 empresas especializadas en pruebas de 10 sectores.
Más allá de Singapur, la ASEAN ha pasado de los principios a los proyectos piloto, y sus Estados miembros están probando sobre el terreno herramientas de seguridad específicas para cada idioma. En particular, el clasificador Typhoon2-Safety de Tailandia se ha puesto a disposición para ayudar a aplicar salvaguardias culturales y contextuales a los resultados de modelos de lenguaje grandes (LLM) en tailandés. En la atención sanitaria, estas herramientas son cada vez más pertinentes para aplicaciones como el apoyo a la salud mental, los asistentes de triaje y los sistemas de IA generativa dirigidos a pacientes, donde la precisión lingüística y la sensibilidad cultural son esenciales para la seguridad y la confianza.
Para que estos proyectos piloto generen un impacto sostenido, se necesita una infraestructura de gobernanza —diseñada conjuntamente por proveedores, instituciones sanitarias y organismos reguladores— que integre la rendición de cuentas y la confianza en los flujos de trabajo diarios. La contratación pública puede afianzar la confianza si vincula las bonificaciones o las sanciones por reembolso en caso de incumplimiento de los objetivos a un conjunto básico de indicadores clave de rendimiento (KPI), como la tasa de anulación por parte de profesionales clínicos, la reducción de errores de diagnóstico y las puntuaciones de experiencia comunicadas por los pacientes (PREM), tal como se describe en el marco de evaluación AI for IMPACTs.
Principios para generar confianza
Infundir confianza en el centro de las operaciones de IA requiere liderazgo institucional. La transparencia, la rendición de cuentas y la alineación con los usuarios no surgen por defecto. Los líderes deben establecer las condiciones para implementar, evaluar y mejorar la IA mediante las siguientes acciones:
Generar confianza: Integrar métricas de confianza operativa en las licitaciones públicas de IA (por ejemplo, exigir a los proveedores que hagan un seguimiento de la tasa de anulación por parte de profesionales clínicos, las puntuaciones PREM y la reducción de errores de diagnóstico). También es importante reforzar los canales accesibles para que los usuarios puedan señalar riesgos de forma segura e influir en la evolución del sistema.
Codiseñar con los usuarios: La confianza debe desarrollarse conjuntamente, no imponerse. Esto implica integrar controles de privacidad granulares y las aportaciones de los consejos asesores de pacientes en cada iteración del diseño.
Coordinarse a nivel regional: Utilizar las plataformas de la ASEAN y la APEC para armonizar la gobernanza de la implementación, como se observa en el memorando de entendimiento de Singapur.
Invertir en conocimientos sobre gobernanza: Iniciativas como el Centro de IA en Medicina (C-AIM) y la Iniciativa de IA para la Ciencia de Singapur están integrando principios de gobernanza que respaldan la seguridad, la ética y la implementación en el mundo real.
La IA puede transformar la atención sanitaria, pero solo si inspira confianza. La confianza no es estática: se construye mediante el contexto, la retroalimentación y el uso. El contexto significa adaptar los sistemas de IA al entorno clínico, incluidos los flujos de trabajo, las fuentes de datos y las funciones del personal de primera línea. La retroalimentación se refiere a las aportaciones continuas de los usuarios y al seguimiento del rendimiento para detectar riesgos y mejorar la funcionalidad. Y el uso subraya que la confianza debe ganarse mediante interacciones repetidas y seguras, no darse por sentada desde el lanzamiento.
Para dar forma al futuro de la IA sanitaria, debemos gobernarla desde sus cimientos, con una confianza que se gane mediante la experiencia vivida y no se limite a diseñarse.
Cómo ayuda el Foro a los líderes a fortalecer los sistemas de salud mediante la colaboración
El Centro de Salud y Atención Sanitaria conecta a líderes para comprender los desafíos que afrontan los sistemas de salud de todo el mundo, incluidos el acceso, la equidad, la resiliencia y la preparación.
Mediante un diálogo de confianza y la colaboración público-privada, el Centro permite a sus socios alinearse en torno a prioridades compartidas e impulsar la acción colectiva para mejorar los resultados de salud.
