El juicio humano es la capa que falta para que la regulación de la IA funcione en las decisiones del mundo real.
Los sectores con altos niveles de confianza demuestran que integrar la supervisión humana en los flujos de trabajo permite ampliar el uso de la IA.
Marcos como CALIBRATE y LIT ofrecen herramientas prácticas para evaluar en el momento la confianza depositada en la IA.
Al escribir mi próximo libro, The Trust Code, entrevisté a las personas que gestionan la IA en algunos de los sistemas más críticos del mundo, desde las redes eléctricas y de pago hasta los gigantes tecnológicos. Un patrón volvió a aparecer una y otra vez. Las organizaciones que amplían el uso de la IA con confianza son las que han construido algo que nuestros marcos de gobernanza nunca llegaron a nombrar: una práctica disciplinada de juicio humano en torno a cada decisión automatizada.
Los principales marcos normativos, desde la Ley de IA de la UE hasta el Marco de gestión de riesgos del NIST, regulan los mercados y las organizaciones. Las orientaciones emergentes —entre ellas, el Perfil de capacidades y autorización de agentes (ACAP), que contribuí a desarrollar en el grupo de trabajo sobre sistemas y capacidades de IA de frontera del Foro Económico Mundial— definen qué pueden hacer los agentes, en qué contexto y bajo la supervisión de quién.
Todo este trabajo es esencial. Pero nada de ello se diseñó para responder a la pregunta que rige cada situación real en la que se deposita confianza: ¿debo confiar en este sistema, aquí y para esta decisión?
Dónde se detienen los marcos existentes
La regulación opera en el ámbito de los mercados. La gestión de riesgos opera en el ámbito de las organizaciones. La confianza opera en el ámbito del juicio. Ni siquiera la regulación más sofisticada puede decidir si un profesional clínico debe confiar en una puntuación de riesgo durante la consulta del martes, o si un gerente debe aceptar una previsión generada por un modelo en la reunión de esta mañana. No vivimos dentro de leyes ni marcos. Vivimos situaciones concretas.
Por eso la mayoría de los fallos de la IA se producen entre las reglas. Los chatbots que mantuvieron conversaciones impecables mientras contribuían al suicidio de sus usuarios optimizaban el tiempo de interacción, no el bienestar de las personas. El sistema funcionaba a la perfección para sus creadores mientras fallaba de forma catastrófica a sus usuarios. El algoritmo de contratación de Amazon, que posteriormente fue retirado, no contenía código sesgado; aprendió la discriminación de patrones de contratación de una década que había sido entrenado para reproducir. Ninguno de los dos casos trata de una regla incumplida. Ambos muestran que nadie estaba en condiciones de ejercer su juicio en el momento decisivo.
Hacer operativo el juicio
La buena noticia es que el juicio puede hacerse operativo. Las redes eléctricas funcionan con IA que equilibra la oferta y la demanda segundo a segundo y absorbe la intermitencia de las energías renovables sin que se apague ninguna luz. Las redes de pago deciden, en la fracción de segundo entre acercar una tarjeta y oír el pitido de aprobación, si una transacción es legítima. Los bancos globales utilizan IA en decisiones de crédito y de riesgo de mercado, donde un solo error se mide en miles de millones.
Se confía en estos sistemas porque las personas que los rodean aplican de manera sistemática una disciplina de juicio, integrada en los flujos de trabajo en lugar de dejarse al arbitrio de la voluntad individual.
Tras dos años de investigación y casi un centenar de conversaciones con las personas responsables de implementar la IA a gran escala, la práctica que encontraba una y otra vez se concretó en nueve hábitos mentales constantes: una disciplina que llamo CALIBRATE. Abarca desde cómo se contextualiza y se alinea un sistema al principio, pasando por cómo se verifican su integridad y sus sesgos durante el proceso, hasta cómo se asigna la rendición de cuentas una vez que está en funcionamiento. Es una práctica a la que hay que volver a medida que evolucionan los sistemas, no una lista que se completa una sola vez; explico el método completo en The Trust Code.
Sin embargo, vale la pena repasar aquí tres de sus dimensiones, porque son las que una persona puede aplicar hoy, bajo la presión del tiempo real.
Tomar decisiones en el momento
No todas las decisiones permiten dedicar tiempo a los nueve pasos. Para un profesional clínico en una consulta o un gerente en una reunión matutina, un subconjunto de tres partes —LIT— ofrece una forma práctica de avanzar:
Limitar su uso. ¿Dónde no debe utilizarse este sistema y qué debería negarse a hacer? La confianza crece con la moderación, no con la universalidad. Un modelo validado bajo supervisión se vuelve peligroso cuando se trata como autónomo.
Examinar su integridad. ¿En qué se basa este sistema: de quién son los datos, de qué periodo y con qué supuestos? Los sistemas que hablan con fluidez incluso cuando se equivocan crean un nuevo tipo de riesgo: los errores ya no se anuncian, sino que persuaden. Verificar es el precio de la precisión cuando la confianza se ha automatizado.
Rastrear de forma transparente. ¿Para qué está optimizando este sistema y de dónde procede este resultado concreto? No hace falta dominar las matemáticas avanzadas para decidir si se debe confiar en un sistema de IA. Pero sí hay que saber para qué optimiza, qué lo moldeó y qué ocurre cuando se equivoca.
Estas tres preguntas y la práctica más amplia que las sustenta no requieren nuevas regulaciones. Requieren un diseño organizativo que se aplique a diario. De hecho, eso es lo que ya distingue las implementaciones de IA que se expanden de las que se estancan.
El juicio como capacidad estratégica
La tendencia apunta a una mayor delegación, no a una menor: sistemas agénticos que negocian, coordinan y actúan en nuestro nombre, en lugar de limitarse a recomendar. De forma predeterminada, un empleado humano aporta juicio, cautela e interés en el resultado. Un agente de IA no aporta nada de eso, salvo que una organización lo integre; por eso la capa del juicio es más urgente, no menos. Las organizaciones que la desarrollan junto con las capas técnica e institucional, y tratan la confianza como una capacidad estratégica en lugar de como una partida de cumplimiento normativo, son las que amplían el uso de la IA con mayor confianza.
Así es como la gobernanza se convierte en una estrategia de crecimiento en la práctica, y no solo en un eslogan. Las organizaciones que saben cuándo delegar en la IA y cuándo mantener a las personas en el proceso avanzarán más rápido que las demás y evitarán tanto la automatización excesiva como la cautela instintiva. La innovación perdura cuando la confianza se deposita con cuidado. El daño se amplifica cuando se confía a la ligera.
La capa del juicio —que no debe considerarse un sustituto de la regulación— es lo que hace que la regulación sea operativa en la vida cotidiana. La Ley de IA de la UE, el NIST y marcos como ACAP seguirán definiendo los límites. Lo que ocurra dentro de ellos —en la consulta, la reunión sobre el presupuesto, la redacción o durante una conversación en la mesa de la cocina— depende de si la persona frente al teclado está preparada para decidir.
El mayor riesgo de la IA no es que nos sustituya. Es que nos convenza de renunciar al juicio sin que nos demos cuenta. El antídoto consiste en practicarlo a diario y deliberadamente, en las situaciones reales que afrontamos cada día.
