Tecnologías emergentes

IA: Por qué las empresas deben crear una gobernanza algorítmica antes de la ley

Una figura con números y letras, representando los algoritmos.

Las partes interesadas deben construir una gobernanza algorítmica mediante normas éticas. Image: Getty Images/iStockphoto

Mark Esposito
Chief Learning Officer, Nexus FrontierTech, Professor at Hult International Business School
Aurélie Jean
Founder, In Silico Veritas
Terence Tse
Executive Director, Nexus FrontierTech, Professor of Finance, Hult International Business School
Guillaume Sibout
Consultant in Digital Numeracy, Silico Veritas
Comparte:
Nuestro impacto
¿Qué está haciendo el Foro Económico Mundial para acelerar la acción en Tecnologías emergentes??
La visión global
Explora y monitorea cómo Gobernanza de Internet afecta a las economías, las industrias y los problemas globales
A hand holding a looking glass by a lake
Innovación mediante crowdsourcing
Involúcrate con nuestra plataforma digital de crowdsourcing para lograr un impacto a escala
Mantente al día:

Generative Artificial Intelligence

Listen to the article

  • La gobernanza de algoritmos abarca las normas y prácticas de construcción y uso de algoritmos integrados en tecnologías de IA.
  • Garantiza el correcto funcionamiento de los algoritmos y previene posibles errores, como la discriminación tecnológica o el incumplimiento de la ley.
  • Exponemos los distintos modelos de gobernanza de algoritmos a disposición de las organizaciones.

En junio de 2023, el Parlamento Europeo votó un instrumento jurídico destinado a regular el diseño y el uso de la inteligencia artificial (IA) en función de su nivel de riesgo para los derechos fundamentales de los ciudadanos. Las partes interesadas, públicas y privadas, ya sean consumidores o diseñadores de IA, deben desarrollar una gobernanza algorítmica que garantice la conformidad de sus actividades y, sobre todo, evite causar perjuicios -incluso a una minoría de usuarios- y minimice el riesgo reputacional asociado a escándalos algorítmicos como los registrados en los últimos años.

De este modo, OpenAI podría haber desplegado gradualmente su agente conversacional ChatGPT -y su algoritmo GPT- previendo los riesgos asociados a su apropiación masiva y a los errores y aproximaciones en las respuestas, así como a la incomprensión de la herramienta por parte de los usuarios. Las partes interesadas deben construir una gobernanza algorítmica mediante normas y prácticas éticas para el diseño y el uso de estos algoritmos, utilizando una metodología rigurosa y pragmática que pueda aplicarse de forma eficaz y mensurable.

¿Has leído?

¿Qué es la gobernanza algorítmica? (y lo que no es)

La gobernanza de algoritmos abarca las normas y prácticas para la construcción y el uso de algoritmos integrados en tecnologías de IA diseñadas para un caso de uso específico. No se trata simplemente de una carta o un conjunto de principios éticos, sino que se basa en todas las medidas que deben adoptarse para garantizar el buen funcionamiento del algoritmo en cuestión y prevenir posibles errores, como la discriminación tecnológica o el incumplimiento de la ley. Es como una ley, que debe ir acompañada de un sistema judicial para que se aplique y se evalúe su cumplimiento en todo momento.

La gobernanza algorítmica debe ser multidisciplinar y transversal con una serie de ciencias como la sociología, la política y la antropología. Debe vincular a las distintas partes interesadas en un proyecto, incluido el usuario final, e incorporar su nivel de comprensión de la tecnología y la ciencia algorítmica en general, así como sus derechos, obligaciones y deberes con respecto al algoritmo en cuestión.

La gobernanza algorítmica también debe permitir dos enfoques simultáneos: el enfoque histórico descendente, que permite a un comité de dirección o a los gestores del proyecto infundir e imponer las mejores prácticas y su aplicación, y el enfoque ascendente, que permite a cada miembro del personal de una empresa o al usuario final contribuir directamente (mediante una participación tangible y práctica en el proyecto) o indirectamente (por ejemplo, recogiendo las opiniones de los usuarios) a la buena marcha del proyecto: desde su lanzamiento y desarrollo hasta su despliegue.

Por último, la gobernanza debe llevarse a cabo y evaluarse de forma tan transparente que pueda ser comprendida por todas las partes interesadas en un proyecto que implique el diseño, la adquisición o el uso de un algoritmo. Cabe destacar aquí que la transparencia incondicional del código fuente en el que está programado el algoritmo no debería permitir eximirse de la gobernanza algorítmica. En la práctica, cualquier transparencia que se tome en consideración debería incluir el código fuente, todos los conjuntos de datos utilizados y los criterios empleados para la formación algorítmica. En algunos casos, esto podría impedir la innovación al poner a disposición del público únicamente la propiedad intelectual de las empresas. La transparencia en la gobernanza debe imponerse sin condiciones.

Loading...

Modelos algorítmicos de gobernanza

Pocas partes interesadas han establecido o comunicado su modelo de gobernanza algorítmica, aparte de su carta ética para la IA de confianza. Algunos intentos en el pasado han sido infructuosos, como el comité de ética de IA de Google, que se interrumpió en 2019, o la primera carta de IA de Microsoft en 2017, que no fue adoptada masivamente. A esto se suma el escaso número de estudios académicos que establecen modelos de gobernanza algorítmica listos para usar, a diferencia de los relativos a los datos o, de forma más general, a la importancia de la ética en la IA.

Y, sin embargo, actuar antes del debate legislativo es esencial para estas partes interesadas. Adelantarse a la ley tiene muchas ventajas: anticiparse a las implicaciones éticas de una nueva tecnología, prevenir costosos litigios, evitar problemas de reputación, aumentar la confianza de las partes interesadas, diferenciarse de la competencia y desempeñar un papel activo ante los órganos legislativos europeos.

¿Qué modelo de gobernanza algorítmica debe adoptarse?

No existe un único modelo, sino multitud de modelos que pueden adaptarse a la industria, a una empresa y sus ambiciones, y también a un tipo de proyecto algorítmico. Dicho esto, debería utilizarse una estructura general para construir los cimientos de la propia gobernanza. Esta estructura debería incluir varias fases de un proyecto de diseño o adquisición de un algoritmo: desde la fase de ideación, que incluye la formulación del problema empresarial que hay que resolver, hasta la fase de uso, que incluye la retroalimentación del usuario final.

Debe incluir las fases de especificación comercial y técnica, incluidas las cuestiones medioambientales asociadas a la extracción de materias primas para la fabricación del hardware, así como la potencia de cálculo -y, por tanto, el consumo de energía- que implica el entrenamiento del algoritmo y su ejecución. También debe incluir las fases de recogida de datos, incluidas las pruebas de muestreo y representatividad que deban realizarse, la programación informática y la formación del algoritmo, su validación y despliegue, y las pruebas que se realicen con él una vez que haya sido utilizado, a veces por millones de individuos. Además, debe incluir la evaluación y mejora del nivel de comprensión técnica por parte de los interesados, incluido el personal de la empresa y los usuarios finales.

Descubre

¿Qué está haciendo el Foro Económico Mundial en el ámbito de la cuarta revolución industrial?

Debe calcularse una puntuación de riesgo a medida que avanza el proceso de gobernanza, con el fin de evaluar los riesgos científicos, técnicos, éticos y de reputación asociados a este algoritmo. Las cartas y principios de buenas prácticas deben redactarse en el momento de elaborar la estructura en la que se basa la gobernanza del algoritmo, con el fin de añadir las cuestiones y puntos relativos al proyecto que deban abordarse. La presencia de un comité de ética interno o externo puede contribuir al buen desarrollo del proceso de gobernanza.

Los cálculos de explicabilidad, que son métodos estadísticos utilizados para controlar o extraer la lógica de funcionamiento del algoritmo, deben aplicarse sistemáticamente antes (es decir, sobre conjuntos de datos), durante y después del entrenamiento automático. Estos cálculos, que permiten reducir la opacidad del algoritmo y controlar sus respuestas y su variabilidad, reducen significativamente el riesgo de errores, fallos o sesgos algorítmicos en el origen de la discriminación tecnológica. Así es como se podría haber evitado que los primeros algoritmos de reconocimiento facial estuvieran sesgados con respecto al color de la cara, o que el algoritmo de Goldman-Sachs en la aplicación Apple Card concediera a las mujeres líneas de crédito muy inferiores a las concedidas a los hombres.

¿Por dónde empezar?

La empresa debe identificar un caso de uso que implique tecnología algorítmica para satisfacer una de sus necesidades empresariales precisas. Juntos, los equipos técnicos y de negocio deben identificar la forma de cada fase de la gobernanza algorítmica, y definir las preguntas, acciones y pruebas que deben llevarse a cabo para cada una de ellas. Además, los equipos deben decidir cómo calcular la puntuación de riesgo del algoritmo y las métricas de éxito de la gobernanza. A continuación, esta gobernanza inicial se aplica al caso de uso y después a varios casos más para comprobar que puede ampliarse.

Por último, utilizando un método iterativo y ágil, los equipos deben ajustar la gobernanza de la empresa al tiempo que la despliegan en la organización. De este modo, la empresa diseñará algoritmos inclusivos y respetuosos con los ciudadanos y el medio ambiente. Al comunicar y compartir públicamente su gobernanza, también contribuirá a los debates legislativos en la redacción de las próximas leyes pertinentes y sostenibles que rijan los algoritmos.

Loading...
No te pierdas ninguna actualización sobre este tema

Crea una cuenta gratuita y accede a tu colección personalizada de contenidos con nuestras últimas publicaciones y análisis.

Inscríbete de forma gratuita

Licencia y republicación

Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso.

Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.

Temas relacionados:
Tecnologías emergentesNegocios
Comparte:
World Economic Forum logo
Agenda Global

La Agenda Semanal

Una actualización semanal de los temas más importantes de la agenda global

Suscríbete hoy

Puedes anular tu suscripción en cualquier momento utilizando el enlace que figura en nuestros correos electrónicos. Para obtener más información, consulta nuestro Política de privacidad.

La "oportunidad perdida" con la brecha de diversidad lingüística de la IA

Pooja Chhabria and Chris Hamill-Stewart

9 de octubre de 2024

Quiénes somos

Participe en el Foro

  • Iniciar sesión
  • Asóciese con nosotros
  • Conviértase en miembro
  • Regístrese para recibir nuestras notas de prensa
  • Suscríbase a nuestros boletines
  • Contacte con nosotros

Enlaces directos

Ediciones en otros idiomas

Política de privacidad y normas de uso

Sitemap

© 2024 Foro Económico Mundial