Los marcos tradicionales de ciberseguridad deben evolucionar para tratar la IA como un problema de seguridad internacional que requiere un mayor control de riesgos y una mayor rendición de cuentas.
El tan comentado "mal uso de la IA" engloba tres riesgos críticos distintos que los creadores están luchando por controlar.
Las empresas no pueden esperar a que las políticas se pongan al día y deben gestionar la IA de forma proactiva con principios de confianza cero.
La reciente dimisión de Anthropic del influyente investigador de IA Jacob Coxan y su viral correo La advertencia sobre la amenaza para la humanidad ha hecho saltar las alarmas. Pero esta no fue la primera señal de alarma sobre el riesgo existencial de la IA. Incidentes de seguridad como Cara de abrazo Se ha demostrado cómo los sistemas de IA persiguen sus propios objetivos de maneras que sus creadores jamás previeron ni imaginaron. El mal funcionamiento y el uso indebido de la IA representan riesgos reales, y debemos abordarlos.
El término "mal uso de la IA" se usa a menudo a la ligera, pero en realidad se refiere a tres escenarios distintos que vale la pena destacar:
Los humanos explotan la IA: Para las incursiones que antes requerían un alto nivel de experiencia, los modelos de vanguardia facilitan que los ciberdelincuentes novatos puedan llevar a cabo exploits, fraudes y ciberdelitos.
Modelos de IA que escapan de los laboratorios: Esto podría parecer sacado directamente de una película de espías: cuando OpenAI acudió a ayudar a la plataforma de aprendizaje automático Hugging Face a investigar su brecha de seguridad, descubrió que su propio modelo estaba detrás del incidente.
Persiguiendo el objetivo equivocado: No todos los agentes de IA que se comportan mal son maliciosos; muchos simplemente optimizan su rendimiento en función de las métricas con las que se miden, en lugar de los resultados que sus diseñadores pretendían.
Céntrate en la tendencia y no en los ejemplos.
Los escépticos señalan casos en los que los sistemas de IA persiguieron el objetivo equivocado y dicen que el agente fue engañado involuntariamente, y que el miedo en torno a la IA es simplemente exagerado. Los alarmistas señalan ciertos hallazgos de pruebas de seguridad para probar su punto. Por ejemplo, como parte de un ciber-evaluación Se proporcionó a un modelo de IA acceso abierto a internet sin medidas de seguridad. Aprovechando este amplio acceso, el modelo enrutó el tráfico a través de la red de anonimato Tor, contactando con personas y organizaciones reales ajenas al experimento. Envió archivos con material dañino e insertó instrucciones para que otros agentes de IA las encontraran y reutilizaran posteriormente.
Si bien es cierto que las condiciones de dichas pruebas no reflejan cómo se implementan realmente estos modelos para el público, son precisamente el estado al que los atacantes quieren que llegue un modelo de IA. Roban claves API para eludir los límites de uso; copian un modelo abierto y reentrenan una versión más pequeña (denominada destilación), eliminando el comportamiento de seguridad y escribiendo mensajes de jailbreak para convencer al modelo de que cambie sus propias restricciones.
El debate entre escépticos y alarmistas continuará, pero lo indiscutible es que los sistemas de IA están tomando medidas que preocupan a sus propios creadores, y el ritmo de mejora de los modelos de IA es cada vez más difícil de predecir.
La CIA necesita una segunda 'A'.
Los tres pilares de la seguridad siempre han sido la CIA: confidencialidad, integridad y disponibilidad. (garantizando que los sistemas y los datos permanezcan accesibles y utilizables cuando sea necesario). Pero a medida que aumentan las implementaciones de IA, es hora de añadir una segunda A: la rendición de cuentas. Pensemos en ello como en los límites estrictos que se establecen en torno a ciertos avances, como la clonación humana. La ciencia subyacente lo hace factible, pero se espera que el proceso no se lleve a cabo. La moderación voluntaria en el desarrollo de la IA podría ser el camino a seguir, pero algunos laboratorios de IA no ven con buenos ojos este enfoque. Argumentan que la moderación voluntaria no puede sobrevivir a las presiones competitivas entre empresas y naciones. La rendición de cuentas no debe ser voluntaria, sino que debe construirse y aplicarse deliberadamente.
La penetración de la IA en todos los ámbitos de la vida y los negocios debe considerarse un problema de seguridad internacional. Los ciberdelincuentes utilizan la IA para atacar agencias gubernamentales, contratistas de defensa e infraestructuras críticas, lo que justifica la necesidad de una acción federal en lugar de un conjunto fragmentado de normas y reglamentos.
Una idea recurrente en las conversaciones es la de un «interruptor de emergencia» que detenga un modelo antes de que empiece a funcionar mal. En teoría suena bien, pero en la práctica, los incidentes pueden pasar desapercibidos durante meses. El daño ya estará hecho antes de que alguien active el interruptor.
Las medidas de mitigación deben centrarse en la notificación obligatoria de incidentes, las evaluaciones independientes, los estándares de contención y las normas estrictas sobre la seguridad de los pesos de los modelos y las claves API.
No espere a que las políticas se pongan al día.
Mientras se elaboran las políticas, las empresas no deberían esperar a que se pongan al día y exponerse a Día del Juicio Final escenarios. Empiece por no tratar la IA como un software común. Piense en ella como un agente interno digital con sus propios objetivos y motivaciones. Esto es lo que se puede hacer:
Los principios fundamentales de la confianza cero —asumir la vulneración, no confiar nunca por defecto y conceder el mínimo acceso necesario— deben aplicarse a la IA. Asuma que, en algún momento, el agente de IA actuará donde no debería. No conceda acceso permanente a un agente solo porque se haya autenticado una vez. Limite su alcance al máximo.
No des por sentado que un inicio de sesión válido garantiza la seguridad de una acción, ni bases tu confianza en que un sistema de IA posea las credenciales correctas. Cada acción de la IA debe evaluarse individualmente. Piensa en ello desde la perspectiva de la detección de fraudes: que alguien inicie sesión en una cuenta bancaria con el nombre de usuario y la contraseña correctos no levanta sospechas, pero que esa misma cuenta añada un nuevo beneficiario en otro país, seguido de una transferencia bancaria inmediata, sí lo hace.
Evite las instrucciones probabilísticas como "no tiene permiso para eliminar archivos" que se encuentran dentro del modelo y dependen de su propia discreción. Los atacantes decididos pueden sortearlas. Utilice medidas de seguridad estrictas que incluyan restricciones técnicas aplicadas fuera del modelo. Estas incluyen: segmentación de red, credenciales con alcance, sandboxing y límites de velocidad que puede limitar el radio de la explosión.
Los defensores tienen que comprimir su propio cronograma para igualar la velocidad de las máquinas de los ataques. La aplicación de parches, la detección, la mitigación y la prevención deben ocurrir en tiempo real, no en un ciclo de revisión trimestral. Aplicar y acelerar la Ciclo OODA (Observar, Orientar, Decidir, Actuar) en todos los dispositivos, usuarios y aplicaciones en la nube.
Las alarmas en torno a la IA merecen una atención seria. Pero tomarlas en serio implica crear un marco resiliente a la IA, diseñado para abordar las advertencias actuales y futuras.
