La tecnología de reconocimiento facial (FRT) es una preocupación central de la propuesta de regulación de la IA de la Comisión Europea.
Para cumplir con éxito, los proveedores tecnológicos deberán desarrollar enfoques a medida para la gestión de riesgos y los procesos de calidad.
En colaboración con la industria, el gobierno y la sociedad civil, el Foro Económico Mundial ha desarrollado un marco de auditoría y un esquema de certificación para los proveedores tecnológicos.
La propuesta de regulación de la Inteligencia Artificial (IA) de la Comisión Europea (CE) – una legislación muy esperada – ya está aquí. Si bien este texto aún debe pasar por consultas dentro de la UE antes de su adopción, la propuesta ya ofrece una buena idea de cómo la UE concibe el desarrollo de la IA en los próximos años: mediante un enfoque regulatorio basado en el riesgo.
Entre los riesgos identificados, los sistemas biométricos remotos, que incluyen la tecnología de reconocimiento facial (FRT), son una preocupación central de la propuesta redactada:
Los sistemas de IA destinados a utilizarse para la identificación biométrica remota ‘en tiempo real’ y ‘posterior’ de personas físicas se consideran sistemas de alto riesgo y requerirían una evaluación ex ante del proveedor tecnológico para certificar su cumplimiento antes de acceder al mercado de la UE, y una evaluación ex post del proveedor tecnológico (detallada a continuación).
Además, los sistemas de identificación biométrica remota “en tiempo real” en espacios de acceso público con fines de aplicación de la ley están mayormente prohibidos, salvo en excepciones muy limitadas relacionadas con la seguridad pública, como la búsqueda específica de personas desaparecidas o la prevención de amenazas terroristas inminentes (detallado en el capítulo 2, artículo 5, p. 43-44). Los requisitos adicionales para este caso de uso incluirían una evaluación ex ante para conceder autorización a los cuerpos de seguridad, es decir, cada uso individual debería ser autorizado por una “autoridad judicial o por una autoridad administrativa independiente del Estado miembro”, salvo que se opere en una “situación de urgencia debidamente justificada”. Por último, las legislaciones nacionales podrían determinar si autorizan total o parcialmente el uso de la FRT para este caso de uso específico.
Otros casos de uso, como la FRT para procesos de autenticación, no forman parte de la lista de riesgos altos y, por tanto, deberían estar sujetos a un nivel de regulación más ligero.
Ex ante y ex post de los proveedores tecnológicos
La evaluación ex ante (evaluación de la conformidad de los proveedores) incluiría:
Una revisión del cumplimiento de los requisitos del capítulo 2;
Una evaluación del sistema de gestión de la calidad, que incluye los procedimientos de gestión de riesgos, y del sistema de seguimiento poscomercialización; y,
La evaluación de la documentación técnica del sistema de IA designado.
Certificar la calidad de los procesos en lugar del rendimiento del algoritmo
Si bien los proveedores tecnológicos deben mantener el más alto nivel de rendimiento y precisión de sus sistemas, este paso necesario no es el más crítico para prevenir daños. La CE no detalla ningún umbral de precisión que cumplir, sino que exige un proceso sólido y documentado de mitigación de riesgos, diseñado para prevenir daños. La implantación de un sistema de gestión de la calidad es un paso importante, ya que exigirá a los proveedores diseñar procesos y procedimientos internos adecuados para la mitigación activa de los riesgos potenciales.
Un enfoque centrado en la gestión de riesgos y los procesos
Si bien corresponderá a los proveedores tecnológicos establecer sus propios procesos de calidad, los organismos notificados externos tendrán la responsabilidad de certificar el cumplimiento de la nueva legislación de la UE por parte de los proveedores.
Para tener éxito, los proveedores tecnológicos deberán desarrollar enfoques a medida para diseñar, implementar y ejecutar estos procesos adecuados. Los proveedores también tendrán que trabajar estrechamente con el usuario del sistema para anticipar los riesgos potenciales y proponer procesos de mitigación que los prevengan.
Cómo anticiparse a la próxima regulación
En los últimos dos años, el Foro Económico Mundial se ha asociado con actores de la industria, agencias gubernamentales y la sociedad civil para redactar un marco normativo propuesto que establezca límites responsables para la FRT.
Entre las estrategias de supervisión que proponemos, hemos detallado un cuestionario de autoevaluación, una auditoría de terceros y un esquema de certificación. El concepto de auditoría de terceros propuesto por la UE (es decir, la evaluación de la conformidad) sigue el mismo modelo de supervisión y permite el rápido crecimiento y despliegue de organismos de certificación (es decir, organismos notificados) para llevar a cabo las auditorías de terceros en toda la UE.
El procedimiento propuesto de evaluación de la conformidad, que revisa el control del cumplimiento de los requisitos establecidos en el título III de la propuesta de reglamento, requerirá en primer lugar que los organismos notificados elaboren marcos de auditoría y esquemas de certificación específicos. Estos dos documentos se utilizarán para detallar a las organizaciones auditadas cómo se desarrollará la certificación.
En este sentido, animamos a los proveedores a considerar el marco de auditoría y el esquema de certificación para el sistema de gestión de la calidad que hemos detallado en el libro blanco publicado en diciembre de 2020 en colaboración con el organismo de certificación acreditado francés AFNOR Certification.
Entre los requisitos del título III, los proveedores deberán implantar un sistema de gestión de riesgos centrado en los procesos de análisis, anticipación y mitigación de los riesgos potenciales. (Abordamos un enfoque estructurado similar en las secciones 2 y 3 de nuestro marco de auditoría para construir los procesos adecuados de evaluación de riesgos y prevenir la aparición de sesgos y discriminación.)
El sistema de seguimiento poscomercialización definido en el artículo 61 es un mecanismo para garantizar que se cumplan los requisitos mientras el sistema está en funcionamiento. Este punto crítico se define en el marco de auditoría que hemos diseñado. Hemos considerado tres etapas de análisis cuando se lleva a cabo la auditoría de terceros:
1. Garantizar el diseño adecuado de los procesos de gestión de la calidad para cumplir los requisitos;
2. Controlar la correcta implementación de los procesos; y,
3. Validar que el sistema funciona de conformidad con los requisitos.
Los organismos notificados utilizarán esquemas de certificación para llevar a cabo evaluaciones de la conformidad. Estos esquemas de certificación proporcionarán claridad y transparencia a los proveedores sobre cómo se realizará la evaluación. Hemos dedicado un capítulo de nuestro libro blanco (parte 4) a explicar cómo realizar la certificación de los sistemas de FRT, desde la fase de preparación hasta la fase de certificación y la emisión del certificado.
Otra forma de prepararse para una auditoría de terceros es organizar una autoevaluación interna antes de la auditoría. Esta actividad proporcionará materiales para certificar si el sistema está listo para la auditoría o requiere una corrección adicional. Para la fase piloto de nuestro proyecto de políticas, nos asociamos con el Aeropuerto de Narita para elaborar y probar un cuestionario de autoevaluación para el uso responsable de la FRT en aeropuertos. (Las respuestas de Narita son de acceso público en el apéndice de nuestro libro blanco.)
Si bien el esquema de certificación y el marco de auditoría que hemos detallado deberán evolucionar para cumplir esta legislación, ya constituyen buenos ejemplos a seguir.
En lo que respecta al uso de la FRT con fines de identificación, debe adoptarse la máxima precaución. En este sentido, la legislación propuesta por la UE es ambiciosa y contribuirá a generar confianza y transparencia entre los ciudadanos de la UE y a permitir que los beneficios de esta tecnología se desplieguen de forma segura.
