IA: Por qué las empresas deben crear una gobernanza algorítmica antes de la ley

En junio de 2023, el Parlamento Europeo votó un instrumento jurídico destinado a regular el diseño y el uso de la inteligencia artificial (IA) en función de su nivel de riesgo para los derechos fundamentales de los ciudadanos. Las partes interesadas, públicas y privadas, ya sean consumidores o diseñadores de IA, deben desarrollar una gobernanza algorítmica que garantice la conformidad de sus actividades y, sobre todo, evite causar perjuicios -incluso a una minoría de usuarios- y minimice el riesgo reputacional asociado a escándalos algorítmicos como los registrados en los últimos años.

De este modo, OpenAI podría haber desplegado gradualmente su agente conversacional ChatGPT -y su algoritmo GPT- previendo los riesgos asociados a su apropiación masiva y a los errores y aproximaciones en las respuestas, así como a la incomprensión de la herramienta por parte de los usuarios. Las partes interesadas deben construir una gobernanza algorítmica mediante normas y prácticas éticas para el diseño y el uso de estos algoritmos, utilizando una metodología rigurosa y pragmática que pueda aplicarse de forma eficaz y mensurable.

La gobernanza de algoritmos abarca las normas y prácticas para la construcción y el uso de algoritmos integrados en tecnologías de IA diseñadas para un caso de uso específico. No se trata simplemente de una carta o un conjunto de principios éticos, sino que se basa en todas las medidas que deben adoptarse para garantizar el buen funcionamiento del algoritmo en cuestión y prevenir posibles errores, como la discriminación tecnológica o el incumplimiento de la ley. Es como una ley, que debe ir acompañada de un sistema judicial para que se aplique y se evalúe su cumplimiento en todo momento.

La gobernanza algorítmica debe ser multidisciplinar y transversal con una serie de ciencias como la sociología, la política y la antropología. Debe vincular a las distintas partes interesadas en un proyecto, incluido el usuario final, e incorporar su nivel de comprensión de la tecnología y la ciencia algorítmica en general, así como sus derechos, obligaciones y deberes con respecto al algoritmo en cuestión.

La gobernanza algorítmica también debe permitir dos enfoques simultáneos: el enfoque histórico descendente, que permite a un comité de dirección o a los gestores del proyecto infundir e imponer las mejores prácticas y su aplicación, y el enfoque ascendente, que permite a cada miembro del personal de una empresa o al usuario final contribuir directamente (mediante una participación tangible y práctica en el proyecto) o indirectamente (por ejemplo, recogiendo las opiniones de los usuarios) a la buena marcha del proyecto: desde su lanzamiento y desarrollo hasta su despliegue.

Por último, la gobernanza debe llevarse a cabo y evaluarse de forma tan transparente que pueda ser comprendida por todas las partes interesadas en un proyecto que implique el diseño, la adquisición o el uso de un algoritmo. Cabe destacar aquí que la transparencia incondicional del código fuente en el que está programado el algoritmo no debería permitir eximirse de la gobernanza algorítmica. En la práctica, cualquier transparencia que se tome en consideración debería incluir el código fuente, todos los conjuntos de datos utilizados y los criterios empleados para la formación algorítmica. En algunos casos, esto podría impedir la innovación al poner a disposición del público únicamente la propiedad intelectual de las empresas. La transparencia en la gobernanza debe imponerse sin condiciones.

Pocas partes interesadas han establecido o comunicado su modelo de gobernanza algorítmica, aparte de su carta ética para la IA de confianza. Algunos intentos en el pasado han sido infructuosos, como el comité de ética de IA de Google, que se interrumpió en 2019, o la primera carta de IA de Microsoft en 2017, que no fue adoptada masivamente. A esto se suma el escaso número de estudios académicos que establecen modelos de gobernanza algorítmica listos para usar, a diferencia de los relativos a los datos o, de forma más general, a la importancia de la ética en la IA.

Y, sin embargo, actuar antes del debate legislativo es esencial para estas partes interesadas. Adelantarse a la ley tiene muchas ventajas: anticiparse a las implicaciones éticas de una nueva tecnología, prevenir costosos litigios, evitar problemas de reputación, aumentar la confianza de las partes interesadas, diferenciarse de la competencia y desempeñar un papel activo ante los órganos legislativos europeos.

No existe un único modelo, sino multitud de modelos que pueden adaptarse a la industria, a una empresa y sus ambiciones, y también a un tipo de proyecto algorítmico. Dicho esto, debería utilizarse una estructura general para construir los cimientos de la propia gobernanza. Esta estructura debería incluir varias fases de un proyecto de diseño o adquisición de un algoritmo: desde la fase de ideación, que incluye la formulación del problema empresarial que hay que resolver, hasta la fase de uso, que incluye la retroalimentación del usuario final.

Debe incluir las fases de especificación comercial y técnica, incluidas las cuestiones medioambientales asociadas a la extracción de materias primas para la fabricación del hardware, así como la potencia de cálculo -y, por tanto, el consumo de energía- que implica el entrenamiento del algoritmo y su ejecución. También debe incluir las fases de recogida de datos, incluidas las pruebas de muestreo y representatividad que deban realizarse, la programación informática y la formación del algoritmo, su validación y despliegue, y las pruebas que se realicen con él una vez que haya sido utilizado, a veces por millones de individuos. Además, debe incluir la evaluación y mejora del nivel de comprensión técnica por parte de los interesados, incluido el personal de la empresa y los usuarios finales.

Debe calcularse una puntuación de riesgo a medida que avanza el proceso de gobernanza, con el fin de evaluar los riesgos científicos, técnicos, éticos y de reputación asociados a este algoritmo. Las cartas y principios de buenas prácticas deben redactarse en el momento de elaborar la estructura en la que se basa la gobernanza del algoritmo, con el fin de añadir las cuestiones y puntos relativos al proyecto que deban abordarse. La presencia de un comité de ética interno o externo puede contribuir al buen desarrollo del proceso de gobernanza.

Los cálculos de explicabilidad, que son métodos estadísticos utilizados para controlar o extraer la lógica de funcionamiento del algoritmo, deben aplicarse sistemáticamente antes (es decir, sobre conjuntos de datos), durante y después del entrenamiento automático. Estos cálculos, que permiten reducir la opacidad del algoritmo y controlar sus respuestas y su variabilidad, reducen significativamente el riesgo de errores, fallos o sesgos algorítmicos en el origen de la discriminación tecnológica. Así es como se podría haber evitado que los primeros algoritmos de reconocimiento facial estuvieran sesgados con respecto al color de la cara, o que el algoritmo de Goldman-Sachs en la aplicación Apple Card concediera a las mujeres líneas de crédito muy inferiores a las concedidas a los hombres.

La empresa debe identificar un caso de uso que implique tecnología algorítmica para satisfacer una de sus necesidades empresariales precisas. Juntos, los equipos técnicos y de negocio deben identificar la forma de cada fase de la gobernanza algorítmica, y definir las preguntas, acciones y pruebas que deben llevarse a cabo para cada una de ellas. Además, los equipos deben decidir cómo calcular la puntuación de riesgo del algoritmo y las métricas de éxito de la gobernanza. A continuación, esta gobernanza inicial se aplica al caso de uso y después a varios casos más para comprobar que puede ampliarse.

Por último, utilizando un método iterativo y ágil, los equipos deben ajustar la gobernanza de la empresa al tiempo que la despliegan en la organización. De este modo, la empresa diseñará algoritmos inclusivos y respetuosos con los ciudadanos y el medio ambiente. Al comunicar y compartir públicamente su gobernanza, también contribuirá a los debates legislativos en la redacción de las próximas leyes pertinentes y sostenibles que rijan los algoritmos.