La IA necesita regulación, pero existen opiniones divergentes sobre lo que esto significa en la práctica.
La industria de la aviación podría ofrecer una valiosa inspiración gracias a sus estrictas regulaciones y sus procedimientos de seguridad críticos.
Si la industria tecnológica adoptara políticas similares y creara una cultura de aprendizaje, podría evitar futuras catástrofes relacionadas con la IA.
Las noticias recientes sobre detenciones injustificadas basadas en el reconocimiento facial y acoso sexual en la realidad virtualsubrayan la necesidad de hacer más para proteger a las personas de los efectos nocivos de la IA y otras tecnologías emergentes. Hoy en día, la mayoría coincide en que necesitamos más regulación en la industria de la IA, pero estamos lejos de alcanzar un consenso sobre cómo deberían ser esos cambios. Mientras las empresas tecnológicas, los grupos de presión y los funcionarios gubernamentales siguen impulsando sus distintas visiones sobre la regulación de la IA, busquemos inspiración en una industria existente, bien regulada y crítica para la seguridad: la aviación.
Es hora de considerar la industria de la IA como una industria crítica para la seguridad. ¿Qué cambios pueden introducirse en este sector de alto riesgo para proteger a las personas de posibles daños y, al mismo tiempo, permitir que la innovación en IA se estabilice y prospere? Los legisladores y los desarrolladores de IA pueden mirar al cielo y aprender de la industria de la aviación.
Aprender de la industria de la aviación: reformas para la IA
A lo largo de las décadas, la industria de la aviación ha desarrollado regulaciones, procedimientos operativos estándar, licencias y certificaciones, así como programas de formación que mejoran la comunicación y el trabajo en equipo en situaciones de mucho estrés. Muchas de estas innovaciones, lamentablemente, surgieron como respuesta a accidentes catastróficos y tragedias humanas. La industria de la aviación también ha afrontado su alto nivel de riesgo fomentando una cultura de aprendizaje a partir de los errores, de pedir ayuda y de escuchar comentarios.
Podemos hacer que la IA sea más segura mediante reformas similares y el desarrollo de una cultura afín: una cultura de IA responsable en la que sea habitual compartir información útil sobre fallos y errores. En lugar de esperar a que nuevos desastres relacionados con la IA nos tomen por sorpresa, ahora tenemos la oportunidad de aprender de las catástrofes del pasado aplicando estas tres reformas: programas de formación integrales, regulación y normalización, y una cultura de intercambio de información sobre seguridad.
1. Programas de formación integrales
En un vuelo comercial de 1978con salida de Denver, se produjo un fallo de comunicación en la cabina y la tripulación no informó al piloto de que quedaba poco combustible. Finalmente, el avión se quedó sin combustible y se estrelló en las afueras de Portland, causando la muerte de 10 personas. En aquel momento, la industria aérea aún no contaba con sistemas establecidos para garantizar que todos los miembros de la tripulación tuvieran suficiente voz en situaciones de emergencia.
Este desastre y el fallo de comunicación que lo provocó inspiraron la creación de una amplia gama de procedimientos de formación conocidos como formación en gestión de recursos de la tripulación (CRM, por sus siglas en inglés). La CRM se basó en el descubrimiento de que la mayoría de los problemas de las tripulaciones de vuelo no tienen que ver con los aspectos técnicos de operar una cabina, sino con la conciencia situacional, la toma de decisiones en grupo y el liderazgo. Por ello, la CRM se centra en las habilidades cognitivas e interpersonales que las personas necesitan para utilizar todos los recursos disponibles de forma segura y eficiente.
De manera crucial, la CRM también tiene en cuenta las diferencias clave entre las culturas nacionales en aspectos como el colectivismo, la evitación de la incertidumbre y la distancia de poder. La distancia de poder (DP), por ejemplo, mide la diferencia de poder entre un jefe y su subordinado. En culturas con una DP alta, los subordinados evitan dirigirse directamente a sus jefes y dudan en discrepar con ellos. Factores como estos determinan las dinámicas sociales en la cabina, y la CRM ayuda a contrarrestar este tipo de diferencias culturales. Hoy en día, la importancia de la CRM se reconoce en todo el mundo y es un requisito para todos los miembros de las tripulaciones de vuelo en distintas etapas de su carrera.
Al igual que los miembros de las tripulaciones de vuelo, los profesionales de la IA suelen trabajar en situaciones críticas para la seguridad junto a personas de diversos contextos culturales. No esperemos a que ocurra una tragedia para centrarnos en la comunicación y el trabajo en equipo de los equipos de IA. La CRM de la industria de la aviación ofrece inspiración para crear nuestros propios procedimientos de formación estandarizados e integrales.
2. Regulación y normalización
Mientras que la industria de la aviación contribuye a mantener a las personas a salvo abordando las habilidades interpersonales mediante la formación en CRM, aborda los aspectos técnicos y operativos de la profesión con una serie de medidas regulatorias y procesos estandarizados. Por ejemplo, para muchos puestos en el sector de la aviación se exigen licencias y certificados de la FAA, reconocidos oficialmente. Las licencias varían según se construya y mantenga la tecnología aeronáutica (los técnicos necesitan un certificado de mecánico de aviación) o se opere (los pilotos deben renovar periódicamente su certificación).
La industria de la aviación también sigue numerosos procesos, como los procedimientos operativos estándar y las listas de verificación oficiales. Estas directrices compartidas reducen los errores al promover la coherencia y la fiabilidad.
La aplicación de requisitos regulatorios y procesos estandarizados análogos en toda la industria de la IA mejoraría la seguridad de forma similar. Consideremos la posibilidad de establecer nuevas certificaciones y licencias para la IA, obligatorias y reconocidas en toda la industria, con licencias distintas según se construya y mantenga la tecnología de IA (investigadores e ingenieros que crean modelos y algoritmos) o se opere (funcionarios gubernamentales y líderes empresariales que utilizan estas herramientas de IA).
Consideremos también qué procedimientos de IA actuales podrían estandarizarse y adoptarse ampliamente. Ya hay iniciativas en marcha: los recursos de Microsoft sobre IA responsable incluyen plantillas, listas de verificación y políticas, mientras que el kit de herramientas AI Fairness 360 de IBM y la herramienta What-If de Google ayudan a los desarrolladores a detectar y evaluar sesgos en su código. Mientras trabajamos para que los principios y procesos de IA se adopten de forma más coherente, la aviación ofrece orientación para que la industria de la IA prospere de manera segura.
3. Una cultura de intercambio de información sobre seguridad
Por último, además de desarrollar programas de formación y regulaciones, la industria de la aviación también ha respondido al alto riesgo fomentando una cultura de intercambio de información pertinente sobre seguridad y de escucha de comentarios. La enorme necesidad de mantener a las personas a salvo no permite retener información, ocultar errores ni penalizarlos. En virtud de su responsabilidad compartida de proteger a sus usuarios, las organizaciones y los profesionales de la aviación comparten información sobre errores y fallos que podría ayudar a prevenir futuros accidentes.
Por ejemplo, el personal de aviación puede informar voluntariamente de incidentes y situaciones de seguridad en una base de datos confidencial. La industria de la IA podría implementar bases de datos comparables para informar de problemas en la interacción entre humanos y la IA. Una base de datos confidencial para profesionales de la IA ofrecería un espacio seguro para plantear inquietudes éticas, y otra base de datos podría recopilar comentarios de usuarios y otras personas afectadas por la tecnología de IA.
«Cuando tu tecnología cambia el mundo», afirma el presidente de Microsoft, Brad Smith, «tienes la responsabilidad de ayudar a abordar el mundo que has contribuido a crear». La industria de la aviación ha asumido esta importante responsabilidad con lecciones aprendidas a base de esfuerzo, lecciones de las que la industria de la IA puede aprender ahora que le toca a ella remodelar el mundo.
