A medida que se utilizan cada vez más los servicios impulsados por IA, sigue sin haber consenso sobre cómo garantizar que estos sistemas se implementen de manera responsable.
Para abordar este problema, hacemos un llamado a introducir marcos de evaluación de riesgos y beneficios.
Estas son 12 consideraciones para las organizaciones que buscan diseñar dichos marcos.
En la última década, la inteligencia artificial (IA) se ha convertido en el motor de software que impulsa la Cuarta Revolución Industrial, una fuerza tecnológica que afecta a todas las disciplinas, economías e industrias.
Los servicios impulsados por IA ya se utilizan para crear experiencias de compra más personalizadas, impulsar la productividad y aumentar la eficiencia agrícola. Este progreso es notable en aspectos importantes, pero también plantea desafíos singulares. Diversos estudios han demostrado que, sin una supervisión adecuada, la IA puede reproducir o incluso exacerbar los sesgos y la discriminación humanos, o provocar otras consecuencias imprevistas. Esto resulta especialmente problemático cuando la IA se implementa en ámbitos de alto riesgo, como la justicia penal, la atención sanitaria, la banca o el empleo.
Los responsables de formular políticas y los actores de la industria son cada vez más conscientes tanto de las oportunidades como de los riesgos asociados a la IA. Sin embargo, no hay consenso sobre los procesos de supervisión que deberían introducirse para garantizar una implementación confiable de los sistemas de IA; es decir, para asegurar que el comportamiento de un sistema de IA determinado se ajuste a un conjunto de especificaciones que puede abarcar desde la legislación (como la Ley contra la Discriminación de la UE) hasta una serie de directrices organizativas.
Estas dificultades se relacionan en gran medida con el funcionamiento de los sistemas de aprendizaje profundo, en los que la clasificación de patrones mediante redes neuronales —que pueden contener cientos de millones de parámetros— puede dar lugar a procesos de toma de decisiones opacos y poco intuitivos. Esto dificulta enormemente la detección de errores o incoherencias.
Esfuerzos en curso para identificar y mitigar los riesgos en los sistemas de IA
Para abordar estos desafíos y liberar los beneficios de la IA para todos, hacemos un llamado a introducir marcos de evaluación de riesgos y beneficios que permitan identificar y mitigar los riesgos en los sistemas de IA.
Estos marcos podrían garantizar la identificación, el seguimiento y la mitigación de los riesgos asociados a sistemas de IA específicos, basándose en criterios de evaluación y escenarios de uso. Se trata de un enfoque distinto al de la situación actual, en la que la práctica predominante en la industria consiste en entrenar un sistema con un conjunto de datos de entrenamiento y luego probarlo con otro conjunto para conocer su rendimiento promedio.
Hay diversas iniciativas en marcha para diseñar estos marcos, tanto en los gobiernos como en la industria. El año pasado, Singapur publicó su Marco de Gobernanza Modelo de la IA, que ofrece orientación de fácil implementación a las organizaciones del sector privado que buscan desplegar la IA de manera responsable. Más recientemente, Google publicó un marco integral para la auditoría interna de los sistemas de IA.
Consideraciones clave para diseñar marcos de evaluación de riesgos y beneficios
A partir de la bibliografía existente, hemos elaborado conjuntamente directrices para apoyar a las organizaciones interesadas en diseñar sistemas de IA auditables mediante marcos sólidos de evaluación de riesgos y beneficios:
1. Justificar la decisión de introducir un servicio impulsado por IA
Antes de considerar cómo mitigar los riesgos asociados a los servicios impulsados por IA, las organizaciones que deseen implementarlos deberían exponer claramente sus objetivos y cómo se supone que beneficiarán a las distintas partes interesadas (como los usuarios finales, los consumidores, la ciudadanía y la sociedad en general).
2. Adoptar un enfoque multilateral
Los equipos de proyecto deberían identificar a las partes interesadas internas y externas que deben participar en cada proyecto y proporcionarles información pertinente sobre los escenarios de uso previstos y las especificaciones del sistema de IA considerado.
3. Tener en cuenta la normativa pertinente y basarse en las buenas prácticas existentes
Al considerar los riesgos y beneficios asociados a soluciones específicas impulsadas por IA, incluyan los derechos humanos y civiles pertinentes en las evaluaciones de impacto.
4. Aplicar marcos de evaluación de riesgos y beneficios a lo largo del ciclo de vida de los servicios impulsados por IA
Una diferencia importante entre el software de IA y el desarrollo de software tradicional es el aspecto de aprendizaje (es decir, el modelo subyacente evoluciona con los datos y el uso). Por lo tanto, todo marco de evaluación de riesgos sensato debe integrar tanto la fase de desarrollo (diseño) como la fase de ejecución (supervisión y gestión). Además, debe permitir una evaluación desde la perspectiva de múltiples partes interesadas tanto durante el desarrollo como durante la ejecución.
5. Adoptar un enfoque centrado en el usuario y basado en casos de uso
Para que los marcos de evaluación de riesgos y beneficios puedan aplicarse eficazmente, deben diseñarse desde la perspectiva de los equipos de proyecto y en torno a casos de uso específicos.
6. Establecer claramente un esquema de priorización de riesgos
Los distintos grupos de partes interesadas tienen percepciones diferentes de los riesgos y beneficios, así como distintos niveles de tolerancia. Por ello, es esencial establecer procesos que expliquen cómo se priorizan los riesgos y beneficios y cómo se resuelven los intereses contrapuestos.
7. Definir métricas de rendimiento
Los equipos de proyecto, en consulta con las principales partes interesadas, deberían definir métricas claras para evaluar si el sistema impulsado por IA es adecuado para el propósito previsto. Estas métricas deberían abarcar tanto la precisión del sistema, definida de forma acotada, como otros aspectos de su idoneidad para el propósito, definida de forma más amplia (incluidos factores como el cumplimiento normativo, la experiencia del usuario y las tasas de adopción).
8. Definir las funciones operativas
Los equipos de proyecto deberían definir claramente las funciones de las personas en la implementación y el funcionamiento de cualquier sistema impulsado por IA. La definición debería especificar claramente las responsabilidades de cada persona necesarias para el funcionamiento eficaz del sistema, las competencias requeridas para desempeñar la función y los riesgos asociados a no cubrirla según lo previsto.
9. Especificar los requisitos y flujos de datos
Los equipos de proyecto deberían especificar el volumen y la naturaleza de los datos necesarios para entrenar, probar y operar eficazmente cualquier sistema impulsado por IA. También deberían cartografiar los flujos de datos previstos durante el funcionamiento del sistema (incluidas la adquisición, el procesamiento, el almacenamiento y la disposición final de los datos) e identificar las medidas necesarias para mantener su seguridad e integridad en cada etapa del ciclo de vida de los datos.
10. Especificar las líneas de rendición de cuentas
Los equipos de proyecto deberían cartografiar las líneas de responsabilidad por los resultados (tanto intermedios como finales) generados por cualquier sistema impulsado por IA. Este mapa debería permitir que un tercero determine quién es responsable de cualquier resultado inesperado del sistema.
11. Fomentar una cultura de experimentación
Las organizaciones deberían defender el derecho a experimentar con servicios impulsados por IA destinados a su implementación, a fin de fomentar la asunción de riesgos calculados. En la práctica, esto requiere realizar estudios de viabilidad y validación, promover la colaboración entre departamentos y campos de especialización, y compartir conocimientos y comentarios mediante una plataforma específica.
12. Crear recursos educativos
Es fundamental crear un repositorio de distintos marcos de evaluación de riesgos y beneficios, su rendimiento y sus versiones revisadas, a fin de desarrollar una sólida capacidad organizativa para implementar servicios impulsados por IA.
Esperamos que estas directrices ayuden a las organizaciones interesadas en poner en práctica la ética de la IA a plantear las preguntas adecuadas, seguir las mejores prácticas e identificar e involucrar a las partes interesadas pertinentes en el proceso. No pretendemos tener la última palabra en este debate fundamental, sino empoderar a las organizaciones en su camino hacia una implementación responsable de la IA.
