El potencial de uso indebido del software de reconocimiento facial (FRS) ha planteado interrogantes fundamentales sobre el uso ético, la privacidad y la accesibilidad.
Quienes desarrollan software de reconocimiento facial pueden elaborar normas que ayuden a garantizar un diseño tecnológico ético y responsable.
El software de reconocimiento facial (FRS) ha copado los titulares recientemente, y con razón. Su potencial de uso indebido ha planteado interrogantes fundamentales sobre el uso ético, la privacidad y la accesibilidad. En algunos casos, grandes empresas han llegado a detener su desarrollo y algunas ONG han pedido prohibiciones totales.
Estos movimientos han llevado a algunos a impulsar una mayor estandarización en el desarrollo de la tecnología de reconocimiento facial, ya que muchos se dan cuenta de que puede utilizarse para cometer infracciones inaceptables de las libertades. El jefe de policía de una gran ciudad estadounidense señaló incluso que el bajo nivel de precisión del FRS podría llevar a las autoridades a identificar erróneamente a alguien en el 96% de las veces si los agentes utilizaran solo la tecnología.
Para ayudar a mitigar estos temores, quienes desarrollan software de reconocimiento facial pueden elaborar normas que ayuden a garantizar un diseño tecnológico ético y responsable. Estas normas centradas en las personas pueden ayudar a generar confianza y a proteger contra el sesgo o el uso indebido.
Durante el último año, el equipo de Inteligencia Artificial del Foro Económico Mundial comprobó que es posible establecer límites responsables para la tecnología de reconocimiento facial. Su equipo de IA trabajó junto con los sectores público y privado para desarrollar un marco único marco FRS anclado en el desarrollo responsable para ingenieros y en la implementación para responsables de políticas.
El marco es el primero en ir más allá de los principios generales y en poner en práctica casos de uso comercial bajo el lema de una IA ética y responsable. Consta de cuatro pasos sencillos:
1. Redactar principios que definan el uso responsable.
El reconocimiento facial ha cobrado especial importancia desde que la COVID-19 impulsó los servicios sin contacto como forma segura de verificar identidades. Aunque la tecnología sin contacto y sin contraseñas es el camino a seguir, las empresas pueden determinar la dirección que toman.
Para orientar ese recorrido y prevenir el uso indebido, las empresas pueden redactar un conjunto de ‘Principios de Acción’ que definan qué constituye una tecnología de reconocimiento facial responsable. Estos principios deben centrarse en 7 áreas clave para proteger a los usuarios de cualquier uso indebido de la tecnología, y elaborarse en consulta con actores del sector, responsables de políticas, grupos de defensa y académicos, con el objetivo de alcanzar un alto nivel de consenso entre estas partes interesadas. Estas áreas incluyen:
Privacidad: protección de los datos personales de los usuarios finales
Evaluación de riesgos: crear procesos para mitigar los riesgos de errores y sus consecuencias
Uso proporcional de la tecnología: evaluar el equilibrio entre los riesgos y las oportunidades de su uso
Rendición de cuentas: definir la responsabilidad de los proveedores de plataformas y de las organizaciones que utilizan la tecnología
Consentimiento: establecer las normas para el consentimiento libre de los usuarios finales
Accesibilidad: garantizar que la tecnología se adapte a las personas con capacidades diferentes
Adaptabilidad: ofrecer opciones alternativas cuando cambien las situaciones y contar con personas que supervisen el sistema
Para garantizar la adopción efectiva de estos Principios de Acción, deben integrarse en el núcleo de las operaciones empresariales mediante procesos internos y mecanismos de supervisión para reducir los riesgos potenciales.
Tener en cuenta estos puntos puede garantizar un alto nivel de seguridad y de respeto de la privacidad de los datos. Su aplicación podría traducirse en mecanismos como la eliminación automática de los datos biométricos transcurridas 24 horas, la realización de evaluaciones de impacto entre los diseñadores para identificar posibles sesgos, o el diseño de señalización pública que informe a los transeúntes de cuándo está en funcionamiento un sistema de FRS.
"Las normas centradas en las personas pueden ayudar a generar confianza y a proteger contra el sesgo o el uso indebido."
2. Diseñar sistemas que respalden a los equipos de producto.
Al desarrollar tecnologías ‘responsables desde el diseño’, los equipos de producto necesitarán apoyo especial, buenas prácticas y sistemas para las pruebas o el control de calidad. Entre los factores que deben considerarse al diseñar sistemas que brinden este apoyo figuran:
Justificación del uso del reconocimiento facial
Un plan de datos que se ajuste a las características de los usuarios finales
Mitigación del riesgo de sesgo
Métodos para informar a los usuarios finales
Para tener en cuenta cada factor, las sólidas colaboraciones entre la organización que utiliza la tecnología y el proveedor de la plataforma ayudarán a mitigar cualquier riesgo. Por ejemplo, en la mitigación del riesgo de sesgo, los algoritmos proporcionados por los proveedores de plataformas deben entrenarse con datos que representen fielmente a los usuarios del servicio, y el sistema debe probarse para comprobar que funciona correctamente antes de su lanzamiento. Para ello, las organizaciones deben evaluar la diversidad de sus usuarios finales y compartirla con el proveedor de la plataforma para entrenar el algoritmo en consecuencia.
Aunque se reconoce que los sesgos pueden seguir apareciendo, las organizaciones deben anticiparse a este riesgo creando sistemas de respaldo lo suficientemente sólidos como para ofrecer el mismo nivel de servicio a cualquier persona y reducir así cualquier forma de discriminación derivada de los sesgos algorítmicos.
3. Autoevalúe su trabajo.
Las buenas prácticas y los principios no pueden existir en el vacío. La autoevaluación es un paso necesario para comprobar que se respetan los Principios de Acción y para identificar posibles puntos ciegos. Con este fin, un cuestionario de evaluación puede ayudar a los grupos a comprobar en qué medida los sistemas que diseñaron se ajustan a las normas que establecieron.
Por ejemplo, al evaluar su uso proporcional, las organizaciones pueden comprobar si han considerado alternativas al FRS y documentado las razones por las que las descartaron. También pueden analizar el nivel de falsos negativos y falsos positivos y determinar si ese nivel es adecuado para el caso de uso que implementan. Asimismo, pueden comparar sus resultados según el tono de piel para certificar que el sistema no produce ninguna forma de discriminación.
Cuando se detecten brechas, el proceso de evaluación puede llevar a los equipos a consultar sus buenas prácticas para adoptar medidas internas que cierren dichas brechas y mejoren su nivel de rendición de cuentas y confiabilidad para sus clientes.
4. Validar el cumplimiento mediante una auditoría de terceros.
Con demasiada frecuencia, las empresas solo se basan en etiquetas propias para generar transparencia entre los usuarios. La calidad de esas etiquetas puede ser a veces cuestionable y, además, puede suponer un riesgo sistémico de desconfianza hacia el sector, que podría socavar en consecuencia los esfuerzos más amplios por generar transparencia.
Una posible vía sería someterse a una auditoría realizada por un tercero independiente que otorgue una certificación conforme a los Principios de Acción. Pueden aplicarse lecciones del sector contable, añadiendo transparencia y seguridad adicionales mediante agencias independientes y acreditadas. [Por ejemplo, para redactar nuestro marco FRS, el equipo de Inteligencia Artificial del Foro Económico Mundial se asoció con AFNOR Certification, líder francés en servicios de certificación y evaluación.]
Estas evaluaciones deberían realizarse justo después del despliegue de los sistemas para los usuarios finales y llevarse a cabo periódicamente para certificar el respeto de las normas a lo largo del tiempo. De este modo, las organizaciones certificadas podrán comunicar a sus clientes que cumplen una serie de requisitos.
Aunque la certificación se utiliza ampliamente en muchos sectores y servicios, el reconocimiento facial, pese a su alto nivel de escrutinio, todavía se despliega sin ninguna certificación existente. Creemos que la transparencia y la confianza en este ámbito solo pueden lograrse con mecanismos de este tipo.
Perspectivas de futuro
Estos cuatro pasos pueden ayudar a orientar el diseño de sistemas responsables para casos de uso de gestión de flujos en el FRS. También pueden garantizar que sus diseñadores y usuarios cumplan de forma efectiva con estos principios alcanzables.
La certificación es un paso alcanzable hacia la regulación del FRS. La cooperación entre actores de la industria, responsables de políticas, académicos y la sociedad civil en este proyecto de políticas ha demostrado una fuerte voluntad de contar con normas para el uso comercial del FRS.
Sin embargo, los gobiernos deben intervenir para aprobar leyes que garanticen una regulación sostenible del FRS, junto con normas internacionales que definan qué constituye un uso responsable de la tecnología. También necesitan abordar la compleja cuestión del FRS para la aplicación de la ley y determinar los niveles adecuados de supervisión y rendición de cuentas para sus casos de uso relacionados.
La reciente petición de regulación de organizaciones como IBM, Microsoft y Amazon debería ir seguida de nuevas normativas o directrices; de lo contrario, es probable que veamos un despliegue del FRS que conduzca a la desconfianza y al rechazo por parte de los consumidores.
