La brecha de confianza: por qué la IA en la sanidad debe sentirse segura, y no solo estar diseñada para serlo

• La confianza en la IA sanitaria va por detrás de su adopción, especialmente en ámbitos sensibles.

• Indicadores clave, como la anulación de recomendaciones por parte del personal clínico, pueden introducir el mínimo viable de garantías que los pacientes necesitan para confiar en los sistemas de IA.

• Los sistemas sanitarios del sudeste asiático ofrecen casos prácticos que hacen observable una IA sanitaria segura.

La IA se está convirtiendo rápidamente en la primera capa de interacción en el ámbito sanitario, desde los comprobadores de síntomas hasta los bots terapéuticos. Sin embargo, la adopción avanza más deprisa que la confianza. En Singapur, un entorno altamente digitalizado y bien regulado, la IA está omnipresente (el 80 % de los residentes la utiliza), pero la confianza cae de forma notable cuando el asesoramiento entra en ámbitos sensibles o emocionalmente cargados, como la salud mental. Este patrón se repite en todo el sudeste asiático, donde una de cada cuatro personas en Indonesia y Hong Kong ha probado una herramienta de IA para la salud mental, aunque persisten las preocupaciones sobre la seguridad y la empatía. A escala mundial, casi el 60 % de los estadounidenses se sienten inquietos ante el diagnóstico asistido por IA. El cuello de botella ya no es la precisión técnica, sino una crisis de garantía emocional.

Este déficit de confianza surge de tres brechas sistémicas, visibles incluso en implementaciones avanzadas:

1. Los pacientes y el personal clínico a menudo no pueden ver cómo se generan las puntuaciones de riesgo de la IA, lo que crea una brecha de confianza fundamental. Esta opacidad estructural no es simplemente un inconveniente; puede tener consecuencias clínicas directas y ser un factor clave del daño al paciente. Por ejemplo, el OECD AI Incidents Monitor documenta casos en la sanidad en los que un diseño defectuoso de la IA derivó en resultados sesgados, como el de un sistema que, sin pretenderlo, priorizó a los pacientes blancos frente a los negros al utilizar los costes sanitarios como indicador de las necesidades médicas. Este riesgo real queda confirmado por auditorías regulatorias, como un npj Digital Medicine estudio de 2025 que concluyó que más del 90 % de los dispositivos de IA aprobados por la FDA no informan de datos básicos sobre sus datos de entrenamiento o su arquitectura. Cuando el «porqué» de una decisión es invisible, la seguridad se convierte en una cuestión de conjeturas.

2. Rendición de cuentas. El Informe sobre gobernanza de la IA 2025 de la UIT documenta cómo la responsabilidad se fragmenta entre desarrolladores, hospitales y ministerios cuando los modelos de IA privados se incorporan a los flujos de trabajo de salud pública. Esto crea una brecha de rendición de cuentas tangible: cuando se produce un error, no hay un responsable claro. Como resultado, las reclamaciones de los pacientes pueden perderse en un vacío burocrático, sin que ninguna parte esté obligada a investigar, explicar o ofrecer reparación, lo que erosiona la confianza tras los fallos del sistema.

3. Control humano. Cuando la IA propone primero un diagnóstico, puede invertir el flujo de trabajo clínico tradicional. Investigaciones recientes confirman que, cuando el personal clínico se basa en diagnósticos propuestos por la IA, su función pasa a centrarse en la verificación, y su aceptación depende de la capacidad del modelo para explicar su razonamiento. Pero la presunción de supervisión humana significa poco sin puntos de control explícitos y operativos, como exigir que el personal clínico lea de forma expresa y, después, acepte o anule los diagnósticos de la IA.

Por qué la seguridad percibida es el próximo KPI

En la sanidad, la confianza digital es un requisito previo para la eficacia. Las evidencias de los despliegues de salud mental digital muestran que la desconfianza hacia la IA conduce a una menor implicación y a abandonos más tempranos, incluso cuando la precisión clínica es alta. Los usuarios se desvinculan no porque el modelo sea erróneo, sino porque la experiencia resulta insegura.

Dado que la IA no puede experimentar empatía de forma genuina, la confianza no puede basarse en su capacidad de conexión de tipo humano. En cambio, como aclaran las investigaciones sobre la interacción entre humanos e IA, la confianza se establece mediante el respeto a la vulnerabilidad del paciente; una dinámica definida por la previsibilidad, la claridad y el control del usuario. Esto exige dejar claros tres elementos:

• Qué datos se utilizan. Un estudio de 2024 publicado en Nature Medicine aporta pruebas directas de que la creencia en la participación de la IA reduce la confianza en el consejo médico, y demuestra que los flujos de datos poco claros reducen notablemente la disposición a revelar información sensible.

• Cómo se toman las decisiones. Una auditoría reciente de transparencia realizada por Nature confirmó una opacidad estructural sistémica, al constatar que más del 90 % de los dispositivos médicos de IA aprobados por la FDA no informan de datos básicos sobre sus datos de entrenamiento o su arquitectura, lo que socava de forma fundamental la precisión percibida de sus recomendaciones.

• Cuando intervienen personas. Trabajos recientes sobre las lagunas de responsabilidad de la IA muestran que la mayoría de las «lagunas» son, en realidad, problemas de responsabilidad difusa entre muchas manos e instituciones, y no la ausencia de un agente responsable. En ese contexto, las vías de recurso significativas (rutas claras para que los pacientes soliciten una explicación, una revisión y, en su caso, la modificación de una decisión apoyada en IA) se convierten en el mecanismo práctico para restablecer la responsabilidad en el punto de atención. La disponibilidad de este recurso influye de forma determinante en la percepción de equidad y confianza de los usuarios.

Los médicos están entrenando una IA con 57 millones de registros de pacientes anonimizados.

02:31

Confianza demostrada en el sudeste asiático

Los sistemas sanitarios están pasando de diseñar la confianza sobre el papel a demostrarla en la práctica. Estas reformas hacen observable la seguridad y convierten la confianza en una prueba, y no en una promesa:

• Las reformas más recientes de Singapur, entre ellas la HPRG Innovation Office, consolidan vías ágiles para los diagnósticos basados en IA y exigen pistas de auditoría demostrables y posturas de ciberseguridad antes del despliegue mediante iniciativas como el Programa de Gestión de Cambios de SaMD. La colaboración transfronteriza también aumenta, con el Programa de Confianza Regulatoria en Dispositivos Médicos Singapur-Malasia que acelera las evaluaciones mediante la supervisión compartida.

• Indonesia está sentando las bases para incorporar los principios de garantía en la atención de primera línea. Su Estrategia de Transformación Digital de la Salud BPJS está creando la infraestructura digital integrada necesaria para el futuro triaje asistido por IA.

• La rápida digitalización de Malasia, incluidos los sistemas basados en la nube que dan soporte a 156 clínicas públicas, crea una base de datos sólida para un rendimiento observable. Durante su presidencia de la ASEAN, ha dado prioridad a la cooperación regional en materia de IA ética, promoviendo marcos que hagan de la seguridad y la trazabilidad elementos centrales de la experiencia del usuario.

• Hong Kong está estableciendo la infraestructura básica para el intercambio de datos de confianza, un pilar técnico fundamental para una IA auditable y trazable. IA. En enero de este año, un consorcio dirigido por la Universidad China de Hong Kong y el Parque Científico de Hong Kong anunciaron el primer espacio transfronterizo de datos médicos de la región. Esta iniciativa tiene como objetivo expreso garantizar un tratamiento seguro y fiable de los datos mediante operaciones descentralizadas y soluciones criptográficas.

Presentación de la garantía mínima viable

Generar confianza a escala exige una garantía mínima viable: convertir los principios de gobernanza en señales visibles para el usuario sobre seguridad. Tres indicadores, ya al alcance, lo logran:

• Tasas de anulación por parte del personal clínico. Las evidencias de despliegues reales confirman que hacer un seguimiento de la frecuencia con la que el personal clínico rechaza las recomendaciones de la IA ofrece una señal práctica de la fiabilidad del modelo. Un estudio de 2025 publicado en Diagnostics, que desarrolló un marco para la confianza en la IA concluyó que los patrones de anulación eran una medida directa del escepticismo del personal clínico, con tasas de anulación de solo el 1,7 % en predicciones de IA fiables y transparentes, frente a más del 73 % en las opacas. Esto demuestra que las tasas de anulación funcionan como un indicador tangible de seguridad en el mundo real.

• Visibilidad de la pista de auditoría. Las directrices de la OMS sobre la IA para la salud exigen mecanismos de auditoría y supervisión humana, y crean el requisito fundamental de registro a nivel de modelo y de rendición de cuentas verificable. Este principio se recoge en la Ley de IA de la UE y se pone en práctica en plataformas como el entorno MOH TRUST de Singapur, que permite a los usuarios verificar la rendición de cuentas.

• Puntuaciones de comprensión del paciente. La claridad influye directamente en que los pacientes sigan las acciones recomendadas, desde las instrucciones de medicación hasta los pasos de autogestión en la atención digital. Los sencillos controles de «teach-back» (en los que los pacientes confirman que han entendido la información) pueden convertir este principio en una señal medible de garantía. Verificar la comprensión antes de que un paciente actúe según una recomendación de la IA constituye un punto de control tangible para la seguridad y la confianza.

Una nueva agenda política para los líderes

A medida que los países despliegan la IA en sus sistemas sanitarios, una nueva prioridad debe guiar la gobernanza: la confianza de los pacientes como indicador clave de rendimiento. Esto exige pasar de medir únicamente la eficacia técnica a evaluar la confianza de las personas.

Las evaluaciones actuales siguen priorizando la precisión y la eficiencia de los modelos. Sin embargo, la adopción real depende de si las herramientas resultan seguras y justas de usar. Para cerrar esta brecha, la política debe exigir una garantía continua de confianza junto con la validación técnica, y pasar de las auditorías puntuales a la supervisión permanente del impacto real.

Las acciones críticas incluyen:

• Operativizar la equidad: Hacer un seguimiento sistemático y abordar la menor adopción entre las poblaciones de mayor edad y de menores ingresos, incluso en el caso de las herramientas gratuitas.

• Crear vías de recurso visibles: Establecer vías claras para que los pacientes puedan cuestionar o impugnar los resultados de la IA, convirtiendo el cumplimiento normativo en un control tangible para el usuario.

• Abordar el malestar digital: Especialmente en salud mental, donde la reticencia de los profesionales y de los pacientes puede convertir la IA de puente en barrera, ampliando las brechas de acceso.

La próxima fase de la salud digital no vendrá definida por el rendimiento algorítmico en los laboratorios, sino por la confianza en las consultas. La gobernanza debe experimentarse, no solo documentarse. Para que la IA cumpla su promesa, la confianza debe incorporarse en cada interacción.