¿IA encarnada o agentes del caos? Cómo proteger la IA física

undefined
Este contenido ha sido traducido automáticamente con IA.
  • Los productos de IA física están llegando al mercado pese a las numerosas brechas de ciberseguridad.

  • Los procedimientos de seguridad para la IA agéntica en dispositivos físicos quedan actualmente a medio camino entre la investigación sobre seguridad de la IA, la ciberseguridad tradicional y la ingeniería robótica.

  • Todos los actores de la cadena de valor de la IA física pueden adoptar tres medidas inmediatas para empezar a cerrar esta brecha de seguridad.

En el laboratorio de Capgemini en Cambridge, Reino Unido, un robot humanoide de primera línea, adquirido recientemente, estaba sobre el banco con el chasis abierto. El equipo llevaba una semana inspeccionándolo. Había encontrado un ordenador principal integrado que no podía examinar, varias conexiones persistentes con servidores del país de origen del robot, un conjunto de micrófonos que enviaba audio a un software cerrado y una pila Bluetooth con un fallo de inyección de comandos ya catalogado públicamente, lo que significaba que cualquier atacante podía consultarlo y aprovecharlo. El equipo era dueño del robot. Sin embargo, no podía ver qué estaba haciendo.

Para dotarlo de una postura de seguridad suficientemente segura incluso en un entorno de laboratorio controlado, el equipo tuvo que instalar una plataforma de procesamiento independiente, desconectar físicamente los micrófonos, sustituir las cámaras, crear una red autónoma con un enrutador portátil que ejecutaba software de código abierto y redactar reglas de cortafuegos que interrumpieran todas las conexiones con el exterior.

Eso no es una nueva configuración; es una cirugía reconstructiva de un dispositivo de IA agéntica con presencia física, vendido como listo para usar. Esta es la brecha en la postura de seguridad de la IA física, y la mayoría de los compradores ni siquiera saben que existe.

Las matemáticas y la realidad

En muchos sentidos, a los profesionales de la ciberseguridad les resultará familiar el escenario descrito anteriormente: es la versión más reciente de los retos de seguridad que llevan décadas planteando los dispositivos conectados del internet de las cosas. Pero las consecuencias aumentan con la mayor complejidad de la IA física. Meredith Whittaker, presidenta de Signal Foundation, planteó una idea inquietante en sus conversaciones recientes sobre agentes de IA: si un agente tiene una precisión del 95 % en cada paso y ejecuta una tarea de 30 pasos, su probabilidad de completarla con éxito es 0,95^30, aproximadamente un 21 %.

El referente Agent Company de CMU muestra el mismo patrón en tareas de oficina realistas y de varios pasos: los modelos que resuelven bien cada paso por separado siguen fallando en la tarea completa cuando se acumulan los pasos. Cuando un agente basado en texto comete un error a mitad del proceso, en el peor de los casos se pierde trabajo que se puede detectar y rehacer. En la IA física, esa misma acumulación puede dar lugar a un robot que interpreta mal, deja caer objetos, choca o pone en peligro a una persona.

Si se superponen estos patrones agénticos a ROS2, el marco de software que utilizan la mayoría de los sistemas robóticos modernos, la acumulación de fallos empeora. Alias Robotics ha documentado unas 15 vulnerabilidades peligrosas en la capa de comunicación que permite a las distintas partes del robot intercambiar instrucciones y actualizaciones de estado; esto afecta a unos 650 dispositivos, incluidos robots industriales, sistemas hospitalarios y plataformas militares. MITRE, que mantiene el catálogo de métodos de ataque de referencia en el sector de la seguridad, ahora incluye como técnica principal el salto de agentes de IA de un sistema conectado a otro. Seis marcos de seguridad distintos han llegado de forma independiente a la misma conclusión: los agentes de IA amplían toda la gama de formas en que se puede atacar un sistema, en lugar de añadir un poco de riesgo en los márgenes.

Cómo están cambiando los roles humanos en la era de la robótica
Cómo están cambiando los roles humanos en la era de la robótica
01:46

Tres comunidades, una disciplina ausente

El red teaming de agentes es la práctica de sondear agentes de IA como los equipos de seguridad sondean redes: de forma adversarial y continua, con el objetivo de vulnerar el sistema antes de que lo haga otra persona. El término apenas tiene dos años, y la disciplina todavía no se ha formalizado por completo ni siquiera para los agentes basados en texto. Aplicada a robots, flotas de vehículos autónomos y otras formas de IA física, es prácticamente un terreno por explorar.

Tres comunidades tienen cada una una parte de la solución, pero ninguna abarca el panorama completo. Los investigadores de seguridad de la IA se centran en lo que estos sistemas pueden hacer y en si se comportan como pretenden sus diseñadores. La ciberseguridad se ocupa de las redes y los datos. La ingeniería robótica se organiza en torno a la cinemática y la fiabilidad.

Un único modelo de IA que ve, interpreta instrucciones y controla un brazo robótico en el suelo de un almacén se encuentra en la intersección de las tres disciplinas; en la mayoría de las organizaciones, ningún equipo se ocupa de ese ámbito común.

Las cinco capas de ataque

Todo marco viable de red teaming para la IA física comienza con un mapa compartido de los puntos donde se producen los ataques. Hay cinco capas que abarcan toda la cadena de valor de la IA física:

  • Primero están los sensores. Se pueden suplantar las señales de GPS, LiDAR, las cámaras y los micrófonos sin tocar siquiera el modelo.

  • Luego está el propio modelo, donde se ha demostrado que los sistemas de visión, lenguaje y acción son vulnerables a perturbaciones adversarias y puertas traseras ocultas que no afectan de forma perceptible al funcionamiento normal; así, el sistema parece funcionar bien hasta que se activa el comportamiento oculto.

  • La tercera capa son las comunicaciones: el middleware que utilizan la mayoría de los sistemas robóticos modernos y donde se encuentran los fallos de ROS2 (es decir, debilidades en la forma en que los sensores, motores y sistemas de control del robot intercambian mensajes).

  • A continuación viene la cadena de suministro, donde se encuentran los troyanos de hardware, los datos de entrenamiento envenenados y los ordenadores principales opacos.

  • Por último está la capa de instrucciones, por encima de todo lo demás, donde una inyección de instrucciones en la transcripción de una reunión puede, en principio, convertirse en una orden para un motor.

Cada capa requiere una disciplina defensiva distinta y cuenta con una comunidad propia de profesionales. Actualmente, no se comunican entre sí de forma estructurada ni sistemática, y el resultado es que los riesgos de seguridad recaen de manera desproporcionada en el usuario final. Eso es lo primero que debe corregir una práctica formal de red teaming para la IA física.

El operador humano

Esta vulnerabilidad rara vez se comenta. Gran parte de la IA física que se utiliza hoy depende de operadores de asistencia remota: personas que trabajan en centros de teleoperación y deben intervenir si algo sale mal.

Pensemos en el sector de los vehículos autónomos (VA). Una investigación reciente de la Junta Nacional de Seguridad en el Transporte de EE. UU. (NTSB) concluyó que un vehículo de Waymo, siguiendo las indicaciones incorrectas de un operador remoto, pasó junto a un autobús escolar detenido con la señal de alto extendida. Esa maniobra es ilegal en todos los estados. El relato público daba por sentado que el vehículo anularía las instrucciones humanas inseguras. En ese caso, no lo hizo.

En febrero de 2026, el senador estadounidense Ed Markey investigó este fenómeno. Todas las empresas de vehículos autónomos se negaron a revelar con qué frecuencia sus coches necesitan que haya una persona al otro lado. Waymo fue la única que confirmó que una proporción significativa de sus operadores remotos está en Filipinas y que no todos tienen permiso de conducir estadounidense. Tesla admitió que sus operadores remotos pueden conducir vehículos a distancia a velocidades de hasta 10 mph y se negó a revelar la frecuencia de las intervenciones.

Apliquemos ahora el mismo patrón a los robots de seguridad, los robots móviles autónomos (AMR) de almacén y los humanoides que actualmente se comercializan para empresas. Un robot teleoperado que observa su entorno y actúa en consecuencia está cumpliendo exactamente su función. El peligro reside en quién más puede acceder a esa capacidad. Cuando el «robot» es, en la práctica, una persona que observa a través de una cámara desde otro continente, y la conexión de esa persona es insegura o su estación de trabajo está comprometida, quien haya entrado en el sistema obtiene de repente acceso a la transmisión de vídeo en directo y a los controles. Así, la máquina se convierte en una herramienta de vigilancia y manipulación remotas dirigida a cualquier cosa que tenga cerca. No es un caso excepcional. Es el modelo operativo predeterminado de una gran parte de lo que se comercializa bajo la etiqueta de IA física.

Tres prácticas para los próximos 90 días

La IA física está llegando, el capital ya está comprometido y la presión estratégica es real. La postura de seguridad debe desarrollarse al mismo tiempo, de forma sistémica e interdisciplinaria. En los próximos 90 días, los usuarios finales pueden adoptar tres medidas para generar una señal de demanda de mayor seguridad en cualquier adquisición o proyecto piloto de IA física:

  • Antes de que entre cualquier robot nuevo en un entorno sensible, exijan un ordenador principal auditable, una lista documentada de todas las conexiones salientes y una inspección física y de software completa que un tercero neutral pueda repetir.

  • Traten la capa de teleoperación como un punto de control regulado, sujeto a las mismas normas que cualquier otro componente crítico para la seguridad del sistema: quién es el operador, dónde se encuentra, qué credenciales tiene y cómo se protege su estación de trabajo.

  • Amplíen a los robots que controlan los principios que el Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) está definiendo ahora mediante su Iniciativa de estándares para agentes de IA, incluidos el aislamiento de la ejecución, el principio de mínimo privilegio y la auditabilidad, desde los agentes de software hasta los robots que estos controlan.

El NIST puso en marcha la iniciativa en febrero de 2026 con una solicitud formal de información sobre la seguridad de los sistemas agénticos; Anthropic y la OpenID Foundation ya han presentado sus respuestas. Ninguno de esos trabajos abarca aún los sistemas con presencia física: ni los robots, ni los vehículos autónomos ni la IA física. Esa brecha no se cerrará por sí sola. Alguien tiene que impulsar el cambio.

La IA física ofrece una oportunidad para integrar la seguridad en paralelo con la tecnología. Se necesita la participación de todos, desde los fabricantes de equipos originales que construyen el hardware y los integradores de sistemas que lo instalan y conectan, hasta los usuarios finales y los organismos de normalización. Eso supondría un cambio radical respecto a un sector que durante décadas ha incorporado la seguridad a posteriori.

Cómo ayuda el Foro a los líderes a comprender la IA y colaborar en una innovación responsable

El Centro de Excelencia en IAconecta a líderes de distintos sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Promueve un diálogo informado sobre las oportunidades, los riesgos y las contrapartidas vinculados a la adopción de la IA.

A través de espacios de confianza e iniciativas colaborativas, el Centro permite a sus socios construir un entendimiento común y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.

Descubra el trabajo del Centro

Pero imaginen las ventajas de un mundo en el que los robots de los hogares, las fábricas, los hospitales, las carreteras y el espacio aéreo sean asistentes de confianza, en lugar de desastres de seguridad y privacidad a punto de ocurrir. Si forman parte de un comité de adquisiciones, proyectos piloto o inversiones relacionados con la IA física, incluyan esos tres requisitos en el próximo contrato que firmen. No en el siguiente.

Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso. Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.