En la era inteligente, la confianza digital es un componente central de cualquier organización tecnológica.
El Foro Económico Mundial Marco de Confianza Digital ha sido diseñado para apoyar a los responsables de la toma de decisiones.
Preguntamos a cuatro líderes de estrategia tecnológica cómo promueven la rendición de cuentas y la supervisión.
La confianza digital ha cobrado cada vez más importancia en la era inteligente, en la que las tecnologías afectan a nuestra vida cotidiana. El Marco de Confianza Digital del Foro Económico Mundial se creó para ayudar a los responsables de la toma de decisiones a generar confianza social, alineándose en torno a tres objetivos clave: seguridad y fiabilidad; rendición de cuentas y supervisión; uso inclusivo, ético y responsable.
En la segunda parte de esta serie nos centramos en la rendición de cuentas y la supervisión, que exige a las organizaciones asumir la responsabilidad de la fiabilidad mediante partes interesadas, equipos o funciones específicos, bien definidos y claramente asignados, junto con disposiciones para abordar los fallos. Además, garantiza que las normas, los estándares, los procesos y las prácticas se sigan y se cumplan según lo requerido.
Estas tres dimensiones son fundamentales para lograrlo:
Transparencia: exige honestidad y claridad en torno a las operaciones y usos digitales. Permitir la visibilidad de los procesos digitales de una organización reduce la asimetría de información entre una organización y sus partes interesadas, al tiempo que transmite a las personas que la organización pretende no solo actuar en su interés, sino también hacer que esas acciones sean conocidas y comprensibles para quienes están dentro y fuera de la organización.
Reparabilidad: representa la posibilidad de obtener una vía de recurso cuando personas, grupos o entidades se han visto afectados negativamente por procesos, sistemas o usos de datos tecnológicos. Partiendo de la base de que los errores involuntarios o los factores inesperados pueden causar daños imprevistos, las organizaciones fiables disponen de métodos sólidos de reparación cuando se solicita un recurso, y de mecanismos que permiten restituir a las personas cuando han sufrido un daño.
Auditabilidad: es la capacidad tanto de una organización como de terceros para revisar y confirmar las actividades y los resultados de los procesos tecnológicos, de tratamiento de datos y de gobernanza. La auditabilidad sirve como control de los compromisos de una organización y transmite su intención de cumplir dichos compromisos.
El desarrollo y despliegue de tecnologías inteligentes fiables es una responsabilidad compartida. Por ello, preguntamos a miembros de la Comunidad de Directores de Estrategia de TIC del Foro – un grupo de 40 altos responsables de estrategia de diversas procedencias de todo el mundo – por sus experiencias y conocimientos en la adopción de los principios del Marco de Confianza Digital.
Estas son algunas de sus opiniones sobre cómo promover la rendición de cuentas y la supervisión.
Vivek Mohindra, vicepresidente sénior de Estrategia Corporativa, Dell Technologies
La IA es una responsabilidad compartida. Esto es especialmente cierto en lo que respecta a la transparencia y la rendición de cuentas sobre cómo los modelos de IA toman decisiones, para ayudar a garantizar resultados justos, eficaces y fiables. En Dell, adoptamos un enfoque holístico para gestionar el riesgo, basado en nuestra estrategia y en nuestras convicciones fundamentales. Fuimos de los primeros del sector en designar a un director de IA y en poner en práctica la supervisión mediante consejos de gobernanza transversales a las distintas áreas de negocio.
Mantenemos la rendición de cuentas y la supervisión como prioridades principales, examinando cómo se utilizan los datos y qué acciones impulsan los modelos, e incorporando transparencia y explicabilidad. Teniendo esto en cuenta, aplicamos el enfoque más responsable en todo el entorno de TI –desde el centro de datos hasta los PC– para alcanzar nuestros resultados empresariales, anclados en nuestros casos de uso prioritarios de IA.
A medida que los sistemas de IA se vuelven cada vez más frecuentes y reforzamos nuestros esfuerzos por impulsar la rendición de cuentas y la supervisión, es importante que apostemos por cualidades propiamente humanas, como el pensamiento crítico y la empatía.
Vivek Mohindra, vicepresidente sénior de Estrategia Corporativa, Dell Technologies.
Un ejemplo es el desarrollo de software, donde hemos formado a nuestros ingenieros en el uso responsable de la tecnología de asistencia para la codificación, para garantizar la rendición de cuentas dentro de los marcos y herramientas de desarrollo existentes. Esto incluye un proceso de revisión de código, junto con diversos análisis de validación integrados para la seguridad y la calidad del código.
A medida que los sistemas de IA se vuelven cada vez más frecuentes y reforzamos nuestros esfuerzos por impulsar la rendición de cuentas y la supervisión, es importante que apostemos por cualidades propiamente humanas, como el pensamiento crítico y la empatía. Trabajando juntos, la colaboración entre humanos e IA propiciará los resultados más sólidos y seguros a largo plazo.
Christopher Young, vicepresidente ejecutivo de Desarrollo de Negocio, Estrategia y Ventures, Microsoft
Creemos que la confianza se gana con acciones. Nuestro compromiso con la rendición de cuentas y la supervisión en el desarrollo y despliegue de tecnologías inteligentes refleja esta convicción. Nos hemos dedicado a la IA responsable desde 2016, mucho antes del auge de la IA generativa en 2022.
Nuestro Estándar de IA Responsable guía a nuestros equipos para tomar decisiones meditadas y basadas en el contexto a lo largo de todo el ciclo de vida del desarrollo de la IA. Crear un estándar y un marco de gobernanza solo funciona si se predica con el ejemplo. Aunque todos en la empresa desempeñan un papel en la IA responsable, también contamos con órganos de gobierno como la Oficina de IA Responsable y el Comité de Ética y Efectos de la IA en Ingeniería e Investigación (Aether) para orientar y supervisar la creación e implantación de estos estándares.
Crear un estándar y un marco de gobernanza solo funciona si se predica con el ejemplo.
Christopher Young, vicepresidente ejecutivo de Desarrollo de Negocio, Estrategia y Ventures, Microsoft.
Un ejemplo es Microsoft Security Copilot, un software impulsado por IA que ayuda a los clientes a resumir grandes volúmenes de señales de datos en información clave, detectar ciberamenazas antes de que causen daños y reforzar su postura de seguridad. Desarrollado con arreglo a nuestro Estándar de IA Responsable, Security Copilot identifica y mitiga los riesgos clave, garantizando que el contenido potencialmente dañino solo se muestre cuando lo solicitan los profesionales de la seguridad. Mediante la supervisión continua durante las versiones por fases, el equipo clasificó por prioridad y abordó semanalmente los problemas de IA responsable. Este enfoque, combinado con la validación por parte de expertos en la materia, dio como resultado un producto de IA generativa seguro, transparente y fiable.
Incluso con estos esfuerzos, reconocemos que la naturaleza dinámica y el rápido ritmo de los avances de la IA plantean desafíos constantes. Por eso diseñamos nuestro Estándar de IA Responsable de forma flexible, basado en resultados y que permite integrar cualquier normativa en nuestro ciclo de desarrollo. También participamos en foros mundiales sobre seguridad de la IA para impulsar avances en pruebas y estándares de seguridad basados en la ciencia. Estamos comprometidos con nuestra promesa de desarrollar una IA que no solo sea innovadora, sino también fiable, y que sea transparente en el proceso.
Cómo ayuda el Foro a los líderes a conectar las tecnologías de vanguardia con los desafíos del mundo real
El Centro para las Tecnologías de Vanguardia e Innovación reúne a científicos, responsables políticos y líderes empresariales para comprender las tecnologías emergentes y sus implicaciones en el mundo real.
Al facilitar la colaboración y la experimentación, el Centro ayuda a los socios a traducir la innovación de la investigación en aplicaciones prácticas que abordan desafíos globales compartidos.
Steve Rudolph, vicepresidente de Estrategia y Transformación, Pegasystems
La rendición de cuentas y la supervisión en IA son esenciales, y muchas organizaciones han creado equipos de gobernanza para identificar casos de uso de la IA y mitigar riesgos. Sin embargo, si estos principios no se integran a fondo en las plataformas, la gobernanza resultará ineficaz, ya que no dispondrá de los datos y herramientas adecuados para respaldarla.
Estas son tres formas en que Pega ayuda a los clientes a lograr una supervisión significativa:
Toma de decisiones: la IA abarca mucho más que el aprendizaje automático; una toma de decisiones eficaz combina las predicciones impulsadas por aprendizaje automático con reglas de negocio y políticas en estrategias de decisión. Esto permite a las organizaciones equilibrar los intereses de clientes y partes interesadas con los objetivos empresariales y las políticas, hasta el nivel de cada decisión individual.
Si estos principios no se integran a fondo en las plataformas, la gobernanza resultará ineficaz, ya que no dispondrá de los datos y herramientas adecuados para respaldarla.
Steve Rudolph, vicepresidente de Estrategia y Transformación, Pegasystems.
Simulación y monitorización activa: la información obtenida durante el diseño de modelos no es suficiente. La monitorización continua de extremo a extremo de los modelos y la lógica es fundamental, especialmente cuando se toman decenas de millones de decisiones al día. Los clientes pueden simular la lógica de decisión con la Ethical Bias Check, que detecta de forma proactiva el sesgo en las estrategias de la mejor acción siguiente, antes de liberar nuevas decisiones y lógica. Esto también incluye el seguimiento del rendimiento frente a los objetivos empresariales y de clientes generales o los controles de riesgo, con mecanismos de alertas en tiempo real o autocorrección si surgen problemas.
IA explicable y auditoría: para la rendición de cuentas, no solo los científicos de datos, sino también los usuarios finales expertos en el ámbito y los clientes deben comprender las decisiones de IA y los resultados de la IA generativa. Es fundamental aclarar los motivos de las acciones, como las denegaciones de préstamos o las investigaciones de reclamaciones, o explicar en qué se basa una respuesta de IA generativa. Además, Pega mantiene un registro de auditoría de las decisiones y de las llamadas y respuestas de IA generativa, incluidos los datos de entrada y la lógica utilizada (por ejemplo, un historial de instrucciones y respuestas), para ayudar a garantizar la transparencia y el derecho a impugnar los resultados automatizados.
Cómo ayuda el Foro a los líderes a comprender la IA y a colaborar en la innovación responsable
El Centro para la Excelencia en IA conecta a líderes de distintos sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Respalda un diálogo informado sobre las oportunidades, los riesgos y las compensaciones vinculados a la adopción de la IA.
A través de espacios de confianza e iniciativas de colaboración, el Centro permite a los socios generar una comprensión compartida y trabajar conjuntamente en enfoques responsables para la innovación y el uso de la IA.
Nitesh Aggarwal, director de Estrategia, Tech Mahindra
Nos comprometemos a aplicar los principios de rendición de cuentas y supervisión para fomentar la confianza entre nuestras principales partes interesadas. Este compromiso se refleja en nuestro enfoque para el desarrollo y despliegue de tecnologías inteligentes, garantizando que las consideraciones éticas estén integradas en cada etapa.
Aplicar los principios de rendición de cuentas y supervisión mediante marcos de gobernanza rigurosos y comités dedicados garantiza que todos los avances tecnológicos estén alineados con las normas éticas y las expectativas de las partes interesadas. También realizamos auditorías y revisiones periódicas para mantener altos niveles de integridad y transparencia.
Aplicar los principios de rendición de cuentas y supervisión … garantiza que todos los avances tecnológicos estén alineados con las normas éticas y las expectativas de las partes interesadas.
Nitesh Aggarwal, director de Estrategia, Tech Mahindra.
Un ejemplo de este compromiso es Makers Lab, un centro de innovación en el que se desarrollan tecnologías de vanguardia. Todos los proyectos se someten a rigurosas revisiones éticas antes de su despliegue. Por ejemplo, las soluciones de sanidad basadas en IA del laboratorio se someten a un examen exhaustivo para garantizar la privacidad de los datos de los pacientes y el cumplimiento de las normativas globales de protección de datos. Este proceso no solo mejora la fiabilidad de las tecnologías, sino que también genera confianza entre los usuarios y las partes interesadas.
La reparabilidad es otro aspecto fundamental. Para un cliente tecnológico con sede en EE. UU., establecimos mecanismos sólidos para atender las inquietudes y reclamaciones de las partes interesadas. Esto incluyó equipos de soporte dedicados y vías de escalado claras para resolver las incidencias de forma rápida y eficaz.
Pero el mayor desafío al que nos enfrentamos es la naturaleza dinámica de los avances tecnológicos, que puede superar los marcos y normativas éticos vigentes. Estar al día de estos cambios exige una vigilancia constante y capacidad de adaptación. Colaborar con organismos del sector y autoridades reguladoras es clave para dar forma y actualizar las directrices que se mantengan al ritmo de la innovación.
