Las nuevas normas de documentación en el aprendizaje automático pueden permitir una tecnología responsable.
Estas estrategias de gestión de riesgos muestran cómo las organizaciones pueden cumplir la normativa y, al mismo tiempo, proteger su valiosa propiedad intelectual.
El creciente uso del aprendizaje automático (AA), en el marco de un impulso global hacia la aceleración digital, plantea la pregunta: “¿Quién vigila la tienda?”
Hemos visto muchos ejemplos tanto del poder como de los riesgos de los modelos de AA. Aunque las organizaciones son cada vez más conscientes de los inconvenientes (nuestra investigación muestra que muchas todavía van a la zaga), se encuentran intentando gestionar estos riesgos sin un conjunto de herramientas o normas acordadas. Mientras tanto, son muy conscientes del entorno competitivo y protegen de forma racional sus métodos patentados.
Los gobiernos de algunas regiones han ofrecido barreras de protección tempranas al empezar a regular los datos subyacentes de los modelos; sin embargo, no se ha establecido una norma global y la regulación de los modelos de AA aún no se ha puesto al día.
Dos componentes clave para utilizar el AA de forma responsable ofrecen un prudente “punto de partida” para las organizaciones: la explicabilidad de los modelos y la transparencia de los datos. La incapacidad de explicar por qué un modelo llegó a un resultado concreto supone un nivel de riesgo en casi todos los sectores. En algunos ámbitos, como la sanidad, las apuestas son especialmente altas cuando un modelo podría estar presentando una recomendación para la atención al paciente. En los servicios financieros, los reguladores pueden necesitar saber por qué un prestamista concede un préstamo. La transparencia de los datos puede garantizar que no exista un sesgo injusto o no intencionado en los conjuntos de datos de entrenamiento utilizados para construir el modelo, lo que puede provocar un impacto desigual en grupos protegidos; además, los consumidores tienen un derecho, cada vez más protegido legalmente, a saber cómo se utilizan sus datos.
Pero ¿cómo pueden las organizaciones que desarrollan modelos de AA exigir normas de explicabilidad y transparencia cuando hacerlo podría implicar compartir con el público las mismas características, conjuntos de datos y marcos de modelos que representan la propiedad intelectual (PI) patentada de la organización?
Gestión del riesgo mediante la documentación
Dada la complejidad y la naturaleza interdisciplinaria del aprendizaje automático, los directivos deberían emplear una amplia variedad de enfoques para gestionar los riesgos asociados, entre los que se incluyen integrar la gestión de riesgos en el desarrollo de modelos y aplicar marcos de riesgo holísticos que aprovechen y adapten los principios utilizados en la gestión de otros tipos de riesgo empresarial. Los directivos también deben detenerse periódicamente a considerar las amplias implicaciones para los empleados y la sociedad al utilizar el AA.
Una práctica transversal que sustenta estos enfoques es la documentación, que puede servir como mecanismo tanto para la explicabilidad como para la transparencia, a la vez que ofrece un sustituto de determinados aspectos del modelo y de su contenido sin exponer los datos subyacentes ni las características del modelo.
Mientras que la documentación técnica estándar se crea para ayudar a los profesionales a implementar un modelo, la documentación centrada en la explicabilidad y la transparencia informa a los consumidores, a los reguladores y a otros actores sobre por qué y cómo se utiliza un modelo o un conjunto de datos. Dicha documentación incluye una visión general de alto nivel del propio modelo, que abarca: su finalidad prevista, su rendimiento y su procedencia; información sobre el conjunto de datos de entrenamiento y el proceso de entrenamiento; problemas o compromisos conocidos del modelo; estrategias de mitigación de riesgos identificadas; y cualquier otra información que pueda contextualizar la tecnología. Puede presentarse en forma de fichas técnicas de modelos, cuadros de puntuación, evaluaciones de impacto algorítmico y/o etiquetas de conjuntos de datos.
Enumerar los ingredientes sin revelar la receta
Una buena analogía puede extraerse de considerar una galleta vendida por un fabricante de alimentos (una analogía inspirada en la iniciativa Data Nutrition Project, en la que uno de nuestros autores colabora a título personal). Aunque la empresa que fabrica dicha galleta no está interesada en compartir la receta patentada, los reguladores alimentarios exigen que el envase incluya una etiqueta nutricional con una lista de ingredientes para los consumidores. Los consumidores no necesitan conocer la receta exacta para tomar decisiones informadas sobre la galleta; solo necesitan una visión general de los ingredientes y un perfil de macronutrientes presentado de forma comprensible.
De manera similar, la documentación del modelo puede convertirse en el sustituto para compartir con el mundo el modelo, sus características y sus conjuntos de datos, en lugar de compartir la auténtica “receta de la galleta”. Esto permite a otros comprobar la “salud” y la justificación del modelo sin necesidad de conocer, ni de poder deducir, cómo recrearlo. No se filtra ningún secreto comercial.
¿Cómo ayuda el Foro a los gobiernos a adoptar de forma responsable la tecnología de IA?
Es importante destacar que la documentación puede ayudar a las organizaciones a identificar desde el principio cuestiones críticas. En un ejemplo oportuno, un gobierno estatal que desarrollaba un modelo para ayudar a gestionar la asignación de vacunas contra la COVID-19 detectó, mediante la creación de la documentación del modelo, que varias regiones estaban insuficientemente representadas, y recalibró rápidamente el modelo para corregir el problema.
La documentación aporta otros beneficios a una organización. Por ejemplo, puede ayudar a las empresas a responder al mercado. En el caso de las galletas, esto equivale a la luz roja intermitente que se activa para los nutricionistas cuando una galleta contiene un alto nivel de grasas trans. Una vez que los consumidores toman conciencia del daño que causa un exceso de grasas trans y deciden comprar en su lugar galletas sin ellas, el productor de alimentos puede decidir por sí mismo elaborar una receta más saludable para satisfacer la demanda de los consumidores.
Poner la documentación en práctica
Las organizaciones que deseen poner en práctica esta práctica podrían hacerlo mediante un enfoque ascendente, en el que los profesionales y las partes interesadas de la empresa decidan qué debe registrarse sobre el contenido y los procesos del modelo. A continuación, a un desarrollador de AA o de conjuntos de datos se le podría proporcionar una lista de verificación de preguntas alineadas con categorías seleccionadas. En el caso de un conjunto de datos, por ejemplo, hemos observado la aparición de categorías como descripción, composición, procedencia, recopilación y gestión.
El proceso de elaboración de la documentación también requeriría apoyo interfuncional. Entre los miembros adicionales del equipo probablemente se incluirán expertos en la materia (para comprender las implicaciones de los casos de uso de modelos y datos), un experto jurídico o regulatorio, así como quienes ayudaron a seleccionar y gestionar los datos. Los equipos también pueden incluir a un miembro de cualquier grupo afectado por los sistemas de IA, para garantizar que la documentación sea realmente comprendida por quienes sufrirán sus efectos.
No todos los modelos requieren el mismo nivel de gestión de riesgos. Los procesos de documentación pueden requerir tiempo y esfuerzo, por lo que recomendamos integrar esta práctica en un marco de evaluación de riesgos. Los modelos de alto impacto son probablemente un buen punto de partida. Con el tiempo, a medida que determinados aspectos de la documentación puedan automatizarse, los casos de uso de menor riesgo también podrían convertirse en buenos candidatos para una documentación más rigurosa.
No espere a una norma universal de documentación
Las etiquetas nutricionales son útiles porque están estandarizadas, lo que permite a los consumidores saber dónde buscar determinados ingredientes. Del mismo modo, la documentación de modelos y datos es más eficaz cuando se aplica y se comprende de manera universal, o al menos cuando es interoperable. Existen varias iniciativas en curso para documentar el AA, pero aún no hay ninguna propuesta ganadora.
Los gobiernos seguirán regulando este ámbito, y no abogamos por leyes ni cambios de política específicos. Pero empezar a practicar la documentación en sí puede actuar como un catalizador de la colaboración y de la investigación adicional, al tiempo que protege su PI.
