Cada vez usamos más la IA para contratar. ¿Cómo podemos garantizar que sea justa?

• El papel de la inteligencia artificial (IA) en el mercado laboral y en la contratación se ha expandido rápidamente, con la proliferación de sistemas de contratación algorítmicos.

• Una encuesta reveló que el 55 % de los responsables de recursos humanos en Estados Unidos utiliza algoritmos predictivos en la contratación.

• Si bien algunos sistemas de IA ofrecen oportunidades para reducir los sesgos sistémicos, otros crean nuevas formas de discriminación.

• Las auditorías algorítmicas se han propuesto como una de las formas de garantizar dichas normas.

• Alex Engler, de The Brookings Institution, explica cómo funcionan.

Los sistemas de contratación algorítmicos se están multiplicando y, aunque algunos ofrecen oportunidades para reducir los sesgos sistémicos, otros crean nuevas formas de discriminación. En términos generales, el uso de algoritmos puede hacer que los procesos de empleo sean más justos, pero esto no está garantizado sin normas significativas. Las auditorías algorítmicas se han propuesto como una de las formas de garantizar dichas normas, y ya se han publicado al público los primeros ejemplos de auditorías de sistemas de contratación algorítmicos. Un examen de estas auditorías y de los incentivos pertinentes demuestra que la auditoría algorítmica no producirá rendición de cuentas por sí sola. Este documento presenta pasos hacia normas específicas sobre lo que constituye una auditoría algorítmica y una vía para hacerlas cumplir mediante supervisión regulatoria.

Introducción

El papel de la inteligencia artificial (IA) en el mercado laboral y en la contratación ha ido expandiéndose rápidamente—una encuesta del sector reveló que el 55 % de los responsables de recursos humanos en Estados Unidos utiliza algoritmos predictivos en la contratación. Hoy existen herramientas algorítmicas para casi todas las etapas del proceso de empleo. Los candidatos pueden encontrar ofertas de empleo y los reclutadores pueden encontrar candidatos a través de plataformas de búsqueda como LinkedIn, Monster e Indeed. Muchas empresas emplean sistemas algorítmicos para analizar currículos, mientras que otro grupo de empresas, como JobScan y VMock, utiliza algoritmos para mejorar la forma en que los currículos aparecen ante otros algoritmos. Otras empresas, como Pymetrics y PredictiveHire, crean cuestionarios y evaluaciones especializados como datos de entrada para que la IA prediga el rendimiento laboral. Las empresas pueden usar la IA para transcribir a texto las declaraciones grabadas y después analizar esas respuestas textuales mediante procesamiento del lenguaje natural. Algunos proveedores, como HireVue y TalView, han utilizado análisis facial en estas entrevistas, una tarea que va mucho más allá de los límites de lo que puede hacer la IA. Más allá de estos proveedores, las grandes empresas también desarrollan sus propias herramientas algorítmicas internas para ayudar en la contratación. Incluso la vigilancia de los empleados durante el trabajo, que a menudo utiliza datos para determinar en parte la retención, los salarios y los ascensos, puede considerarse parte de este embudo algorítmico.

La característica común de estas herramientas algorítmicas es que utilizan datos recopilados sobre un candidato para inferir lo bien que podría desempeñarse en un puesto, a menudo mediante un subcampo de la IA denominado aprendizaje automático supervisado. Las empresas desarrollan o adquieren estas herramientas para reducir la duración y el coste de la contratación, así como para mejorar potencialmente la diversidad en el lugar de trabajo y el rendimiento de los nuevos empleados, según un análisis exhaustivo sobre los problemas de discriminación en el empleo algorítmico realizado por Upturn. Para los candidatos individuales, los efectos no son tan evidentes, y quienes no encajan con claridad en las expectativas algorítmicas podrían quedar excluidos. Además, la proliferación de algoritmos en todo el proceso de contratación no tiene precedentes, lo que suscita preocupaciones sobre cómo estos sistemas afectan a la economía laboral, especialmente en torno a la discriminación sistémica.

Las investigaciones han sugerido que existen muchas formas en que el sesgo puede colarse en los procesos de contratación algorítmicos. Los modelos de aprendizaje automático que predicen métricas de éxito laboral, como las evaluaciones de desempeño o el salario, pueden atribuir buenas calificaciones a la competencia, cuando en parte son el resultado de el resultado de factores ambientales no relacionados con la habilidad, como los sesgos históricos en los lugares de trabajo.

Los modelos utilizados para analizar el lenguaje natural, como en los currículos o en transcripciones de entrevistas, han mostrado sesgos contra las mujeres y las personas con discapacidad. Los modelos de reconocimiento de voz han mostrado sesgos claros contra afroamericanos y posibles problemas en las variaciones dialectales y regionales del habla. El análisis facial comercial mediante IA, además de ser en gran medida pseudocientífico, ha mostrado disparidades claras según el color de piel y resulta muy preocupante para las personas con discapacidad. Los algoritmos que difunden ofertas de empleo pueden producir, sin intención, resultados sesgados contra las mujeres jóvenes en empleos STEM y de forma similar, el edadismo contra los candidatos de más edad. Las numerosas instancias documentadas de sesgos algorítmicos son especialmente problemáticas a la luz de la larga serie de evaluaciones algorítmicas detalladas anteriormente: pequeños sesgos en algoritmos individuales podrían acumularse fácilmente hasta convertirse en problemas estructurales mayores.

Como demuestra un artículo influyente que intercambió nombres que suenan a blancos y nombres que suenan a afroamericanos en currículos por lo demás idénticos, los seres humanos también muestran sesgos significativos en la contratación. En 2017, un metaanálisis de 28 estudios constató «ningún cambio en el nivel de discriminación en la contratación contra afroamericanos en los últimos 25 años» y una disminución modesta de la discriminación contra los latinos. Por desgracia, un metaanálisis exhaustivo de la investigación psicológica muestra que es muy difícil de mitigar los sesgos implícitos en la toma de decisiones humanas. La investigación también muestra que las intervenciones de diversidad e inclusión no han mejorado los resultados, por ejemplo para las mujeres en el sector tecnológico. Otras herramientas de evaluación de candidatos actualmente en uso, como las pruebas de aptitud cognitiva, también pueden presentar notables sesgos raciales que dan lugar a un impacto dispar. Las pruebas de aptitud cognitiva, incluidos los test de CI, han desempeñado un papel amplio en los procesos de contratación durante décadas, pese a las importantes pruebas de su sesgo y a la evidencia relativamente débil de su eficacia. Por tanto, es fundamental considerar que los procesos de contratación previos a las herramientas algorítmicas también presentan sesgos sistémicos y no deberían considerarse necesariamente preferibles.

En términos generales, el uso de algoritmos puede, en determinadas circunstancias y con una implementación cuidadosa, reducir la prevalencia del sesgo en un proceso de toma de decisiones. El sesgo puede reducirse a nivel técnico dentro de los modelos de lenguaje o modificando la variable de resultado que se predice. Alternativamente, cambiar la forma en que se utilizan las clasificaciones generadas algorítmicamente puede permitir resultados justos a partir de un modelo por lo demás sesgado. En concreto en la contratación, los algoritmos también se han utilizado para ayudar a corregir sesgos en aspectos específicos del proceso de empleo, como ayudar a ocultar la raza, el género y la información demográfica de las solicitudes, y para reformular las descripciones de puestos con el fin de atraer a candidatos más diversos.

El artículo de 2019 “Discrimination in the Age of Algorithms” defiende de forma más integral el argumento a favor de los algoritmos, concluyendo acertadamente que los algoritmos pueden ser más transparentes que la toma de decisiones humana y, por tanto, “tienen el potencial de lograr avances importantes en la lucha contra la discriminación”. La evidencia predominante respalda esta conclusión, aunque requiere más evaluación en entornos aplicados. Por ejemplo, todavía no ha habido análisis sistémicos de los efectos de los algoritmos de empleo en la práctica, debido a su naturaleza patentada. No obstante, el estado actual profundamente defectuoso y la capacidad potencial de los enfoques algorítmicos para reducir el sesgo justifican que se considere qué sistemas sociotécnicos e incentivos conducirían a los mejores resultados.

Es importante considerar cómo los incentivos del mercado y la supervisión gubernamental afectan al desarrollo de los algoritmos, porque no es evidente que las mejores prácticas vayan a imponerse por sí solas. En ausencia de supervisión o de amenaza de litigios, existen buenas razones para ser escépticos respecto a que estos modelos de empleo sean, por lo general, rigurosos en su enfoque de la equidad. La más destacada de estas razones es que adoptar un enfoque exhaustivo de la equidad resulta más caro. Requiere mucho tiempo encargar a científicos de datos e ingenieros altamente cualificados la tarea de crear procesos algorítmicos sólidos y justos, en lugar de desarrollar nuevas funciones o entregar un modelo a un cliente. Además, recopilar datos más diversos y representativos para desarrollar estos modelos antes de desplegarlos añade costes. La escala a la que pueden operar estos sistemas también es motivo de preocupación: en conjunto, estos algoritmos de empleo afectan a decenas de millones de personas. Esto significa que los resultados discriminatorios pueden perjudicar fácilmente a muchos miles o incluso millones de personas. Las empresas clientes, que adquieren estos sistemas algorítmicos para contratar personal, pueden estar a menudo genuinamente interesadas en fomentar la diversidad mediante sistemas de contratación algorítmicos. Sin embargo, puede resultar difícil diferenciar entre los proveedores de estos sistemas en términos de no discriminación, porque todos ellos hacen afirmaciones contundentes sobre «modelos sin sesgos». Las auditorías algorítmicas son una vía prometedora para verificar estas afirmaciones sobre no discriminación.

Auditorías algorítmicas en el empleo

Crece el interés por el papel de las auditorías algorítmicas como respuesta a las preocupaciones sobre el sesgo en los sistemas algorítmicos. En una auditoría algorítmica, una parte independiente puede evaluar un sistema algorítmico en busca de sesgos, pero también de precisión, robustez, interpretabilidad, características de privacidad y otras consecuencias no deseadas. La auditoría identificaría problemas y sugeriría mejoras o alternativas a los desarrolladores. Más allá de mejorar los sistemas, la auditoría algorítmica también puede ayudar a generar confianza entre consumidores y clientes si sus resultados se hacen públicos. Se ha desarrollado una pequeña industria en torno a esta idea, que incluye empresas especializadas en auditoría algorítmica, como O’Neil Risk Consulting & Algorithmic Auditing (ORCAA) y Parity AI, y otras empresas centradas en la monitorización algorítmica, como Fiddler, Arthur y Weights & Biases.

Aunque existe una larga historia de auditorías en seguridad informática y privacidad de bases de datos, la idea de auditoría algorítmica es relativamente nueva y sigue definiéndose de forma imprecisa,[1] aunque la investigación está en curso. La falta de una definición formal significa que pueden tomarse innumerables decisiones dentro de los límites de una auditoría algorítmica. Un proveedor de sistemas algorítmicos puede tener muchos modelos distintos[2] en uso, por lo que un auditor puede examinar un modelo, muchos modelos de un mismo tipo o una muestra aleatoria de algunos o todos los tipos de modelo. El auditor podría acceder directamente a los datos de la empresa para realizar sus propias pruebas estadísticas, o podría solicitar y utilizar las estadísticas proporcionadas por la empresa auditada. El auditor también podría examinar directamente los propios modelos algorítmicos para analizar sus características y probar nuevos casos de uso. Además, el auditor podría hacer públicas sus conclusiones de forma total o parcial, o limitarse a proporcionar los resultados a la empresa cliente.

Estas decisiones determinan si el efecto de una auditoría es una introspección privada, una rendición de cuentas pública significativa o un mero teatro de relaciones públicas. Ejemplos recientes del sector muestran algunos de los posibles resultados.

• HireVue contrató a ORCAA para realizar una auditoría muy limitada de una de sus evaluaciones y ofrecer sugerencias sobre otras prácticas de modelización. La auditoría de ORCAA examinó únicamente la documentación de HireVue sobre una de sus evaluaciones de candidatos. Con base en esos documentos, la auditoría de OCRAA determinó que la evaluación cumplía un umbral legal de no discriminación. El resto de la auditoría de ORCAA consistió en una conversación con el personal de HireVue y con partes interesadas externas para identificar posibles formas de mejorar las herramientas de HireVue. La auditoría no analizó de forma independiente los datos de HireVue ni evaluó directamente sus modelos, sino que debatió formas de mejorar sus enfoques. Como señala la auditoría, no fue representativa de los modelos de HireVue ni evaluó los tipos de modelos con más probabilidad de producir resultados sesgados. Además, HireVue tergiversó la auditoría en un comunicado de prensa y sometió la auditoría a un acuerdo de confidencialidad. Aunque la auditoría contribuyó de forma factible a que HireVue considerara formas de mejorar sus procesos, HireVue permitió una transparencia o rendición de cuentas pública muy limitada.

• Una auditoría reciente realizada conjuntamente por Pymetrics e investigadores independientes de la Universidad Northeastern es mucho más exhaustiva, ya que analiza la documentación, los datos y el código fuente facilitados por Pymetrics. Sin informar a Pymetrics sobre lo que implicaría el examen, los auditores analizaron siete modelos diferentes, algunos de ellos seleccionados al azar entre clientes recientes. La auditoría utilizó datos representativos de empleados y candidatos que han realizado las evaluaciones de Pymetrics, y también generó datos sintéticos para someter a prueba de estrés el código de modelización. La auditoría sí estableció que el proceso de modelización cumplía un umbral legal de no discriminación, pero no reveló estadísticas específicas de sesgo de los modelos finalizados. Aunque el código fuente, los datos y la documentación patentados siguen bajo un acuerdo de confidencialidad, el auditor conservó el derecho a informar públicamente sobre la auditoría, que se publicará como artículo en una conferencia líder sobre ética de la IA. Los auditores analizaron con detenimiento su independencia, incluido el hecho de haber recibido financiación en forma de subvención entregada antes de los resultados de la auditoría. Aunque esta auditoría reconoce limitaciones importantes, permite un nivel significativo de transparencia pública.

La diferencia tanto en la profundidad del análisis como en el nivel de transparencia resultante es notable, y ambos aspectos fueron sustancialmente mejores en el caso de Pymetrics y de los investigadores de Northeastern. No obstante, ambas auditorías tienen algunas ventajas: la auditoría de HireVue generó una transparencia algo mayor que la introspección completamente privada y podría haber impulsado otros cambios en los procesos algorítmicos. Como alternativa, considérese el caso de Amazon, que descubrió que su herramienta de análisis de currículos sesgaba contra las candidatas y acabó desactivando el sistema. Amazon no hizo público esto y solo se descubrió unos años más tarde gracias a un periodista de investigación de Reuters. Más allá de la transparencia, estas primeras auditorías algorítmicas muestran cómo los proveedores más pequeños podrían evaluar y mejorar sus servicios algorítmicos si no cuentan con experiencia interna en estos temas.

Los incentivos de la auditoría algorítmica

Una auditoría algorítmica no evitará automáticamente el uso de algoritmos sesgados en el empleo. Si bien la idea de auditoría se asocia con la rendición de cuentas, la auditoría no produce automáticamente rendición de cuentas. Cuando un desarrollador de sistemas de contratación algorítmicos contrata a un auditor algorítmico, ese auditor presta un servicio a un cliente, un servicio del que a menudo depende económicamente. Esa dependencia financiera puede socavar fundamentalmente el valor público de la auditoría. Aunque una empresa auditora puede preocuparse por su reputación pública o por mantener estándares profesionales elevados, la necesidad de vender sus servicios será el factor más importante y acabará decidiendo qué auditores sobreviven y cuáles fracasan. Aunque tanto ORCAA como los investigadores de la Universidad Northeastern cobraron por su trabajo de auditoría, es relevante que la auditoría más exhaustiva la realizaran investigadores académicos con otras fuentes de financiación, y la menos exhaustiva, una empresa con una dependencia financiera directa. Esto invita a considerar los incentivos que llevarían a las empresas a elegir y posibilitar auditorías exhaustivas, así como los incentivos para que los auditores realicen auditorías sólidas y críticas.

En este tema pueden extraerse lecciones importantes de la contabilidad financiera, donde tres mecanismos potenciales destacan por su relevancia para la auditoría algorítmica. Estos mecanismos son la supervisión gubernamental que verifica dichas auditorías, los incentivos de mercado que exigen auditorías rigurosas y exhaustivas, y las normas profesionales que obligan a los auditores individuales a cumplir un alto estándar. Por desgracia, todos ellos están en gran medida ausentes en la auditoría algorítmica, pero podrían activarse de forma análoga a la contabilidad financiera.

En primer lugar, consideremos los incentivos de mercado. Si los clientes de una firma de auditoría financiera siguen publicando balances limpios hasta el momento de quebrar, el auditor perderá una confianza crucial. Por ejemplo, considérese el daño reputacional que Ernst & Young ha sufrido por no detectar un presunto fraude de 2000 millones de dólares en su cliente Wirecard. Que Ernst & Young reciba tales críticas es algo positivo: significa que otras firmas de auditoría financiera tomarán nota y evitarán errores similares. Las firmas de auditoría no solo verifican los estados financieros públicos, sino también los controles y procesos internos que previenen el fraude. Esto significa que los accionistas y los directivos escrupulosos tienen buenas razones para contratar auditores eficaces, y las firmas de auditoría financiera compiten activamente por destacar en las evaluaciones de la calidad de los auditores. Sin embargo, no existe un equivalente en la auditoría algorítmica, ya que los daños algorítmicos tienden a ser individualizados y difíciles de identificar. Las empresas no quiebran si sus algoritmos son discriminatorios, y, aun cuando surjan pruebas públicas de discriminación, no está claro que afronten consecuencias proporcionales.

Las normas profesionales y los códigos de buenas prácticas también se utilizan para garantizar el rigor en los servicios de auditoría profesional. En la contabilidad financiera, una organización del sector privado, el Financial Accounting Standards Boards, aplica un conjunto común de principios, las Normas Generalmente Aceptadas de Auditoría (GAAS, por sus siglas en inglés), que detallan cómo debe auditar una organización independiente la contabilidad financiera. De manera crucial, las GAAS limitan el número de opciones que pueden tomarse dentro de una auditoría. Aunque aún existe cierta flexibilidad y margen para una posible manipulación, las normas permiten una evaluación más coherente de si las auditorías se realizan de forma exhaustiva. De nuevo, no existen directrices equivalentes en la contabilidad algorítmica, lo que explica en parte la enorme diferencia de profundidad entre las auditorías de HireVue y de Pymetrics. De hecho, si se estableciera un conjunto claro de normas, el análisis de HireVue quizá ni siquiera cumpliría los requisitos de una auditoría, sino que debería definirse como un estudio de caso o una revisión.

El gobierno desempeña un papel en la supervisión de la contabilidad financiera de dos formas fundamentales. En primer lugar, los contables son responsables si participan a sabiendas en un fraude financiero, o lo facilitan por negligencia, al igual que la empresa que lo comete. Los auditores que se desvían de las mejores prácticas de las normas GAAS tienen más dificultades para defender sus acciones como diligentes y de buena fe si un cliente, o sus inversores y acreedores, les demandan por permitir un fraude. Una vez más, en la contabilidad algorítmica no existe responsabilidad civil establecida: si una empresa fuera declarada libre de efectos discriminatorios por un auditor pero después fuera demandada con éxito por discriminación en sus algoritmos, el auditor no compartiría esa responsabilidad a menos que estuviera explícitamente recogida en un contrato. Este escenario también es poco probable, porque demostrar la discriminación algorítmica en un litigio puede resultar muy difícil, ya que a menudo exigiría que los demandantes accedieran de forma amplia a los datos de contratación de muchos candidatos, y no solo a su propio caso.

Más allá de la responsabilidad civil, la supervisión gubernamental directa puede ser un mecanismo para mantener honestas las auditorías. En el ámbito financiero, una organización sin ánimo de lucro llamada Public Company Accounting Oversight Board (PCAOB) desempeña esta función. Sin embargo, en la práctica el PCAOB no ha hecho un uso extensivo de sus facultades de supervisión, y su efecto en el mercado es incierto. La contabilidad fiscal ilustra con más claridad el papel de la supervisión gubernamental: si los clientes de un determinado contable fiscal son multados de forma sistemática por el Servicio de Impuestos Internos (IRS), los clientes potenciales sabrán acudir a otra parte. Sin embargo, tampoco existe un paralelo claro con las auditorías del IRS ni con la supervisión del PCAOB en la auditoría algorítmica.[3]

Por desgracia, como no existe ninguno de estos controles para los sistemas de contratación algorítmicos, introducir actividades ilegales o poco éticas en un algoritmo puede, en la práctica, protegerlas del escrutinio. Sin embargo, existen cambios claros que pueden introducirse para mejorar esta situación. Crear una definición específica y sólida de lo que constituye una auditoría algorítmica, y luego habilitar la supervisión gubernamental y la responsabilidad civil como mecanismos de cumplimiento, mejoraría notablemente la situación actual.

Definición de una auditoría algorítmica

Definir qué debe incluirse en las auditorías algorítmicas de sesgos en los sistemas de empleo puede favorecer auditorías futuras más rigurosas y ofrecer un punto de referencia para comparar las auditorías completadas. Por supuesto, esta tarea no puede realizarse en un único documento analítico. Requerirá un esfuerzo colectivo de la comunidad, con contribuciones de expertos de diversos ámbitos y la adhesión de las empresas del sector, por ejemplo a través de una organización de normas profesionales. Además, muchas consideraciones serán específicas de cada aplicación de modelización y de la forma en que se despliega. No obstante, existen algunos criterios importantes que a menudo serán aplicables. Estos pueden servir como punto de partida para dichas normas y ayudar a evaluar la calidad de las auditorías voluntarias realizadas antes de que existan tales normas.

Consideraciones sobre el proceso de auditoría

• Independencia del auditor: Una auditoría algorítmica debe estructurar deliberadamente los contratos para preservar la independencia de los resultados del auditor. El auditor debe mantener plena independencia en la publicación y difusión de los resultados de la auditoría, con únicamente excepciones específicas y limitadas acordadas de antemano en relación con la información de propiedad exclusiva. El auditor no debe revelar a la empresa auditada los detalles del proceso de investigación. Además, el pago de la auditoría debe realizarse antes de la entrega de sus resultados, y el auditor no debe mantener ninguna otra relación financiera con la empresa.[4]
  

• Análisis representativo: Una auditoría algorítmica no necesita examinar todos los modelos desplegados para cada cliente de un proveedor de algoritmos de empleo, pero sí debe examinar un número suficiente de modelos para garantizar que se aplica un proceso justo. Esto puede consistir simplemente en una muestra aleatoria de todos los modelos; sin embargo, también puede estar justificado un enfoque de muestreo aleatorio estratificado. En una muestra aleatoria estratificada, un auditor podría tomar muestras aleatorias de distintos tipos de modelos (por ejemplo, los basados en juegos frente a los basados en preguntas abiertas) o de distintas categorías de empleo (por ejemplo, modelos para vendedores frente a representantes de atención al cliente).

• Acceso a datos, código y modelos: Una auditoría algorítmica debe tener acceso sin restricciones a alguna combinación de los datos, el código y los modelos entrenados, de modo que pueda evaluar directamente estos sistemas. Esto implica que las empresas sujetas a control deberían conservar las versiones desplegadas de los modelos y los datos pertinentes para auditorías futuras. En la mayoría de los casos, bastaría con una muestra representativa de datos y código fuente, ya que con ellos pueden entrenarse los modelos; no obstante, examinar también los modelos desplegados sería un enfoque más exhaustivo. Cabe señalar que los datos, el código y los modelos de propiedad exclusiva no tienen por qué hacerse públicos, ya que ello supondría riesgos para la privacidad y una desventaja competitiva indebida para la empresa auditada.

• Considerar acciones adversariales: Los auditores generalmente no deben presuponer la buena fe de las empresas auditadas. En la medida de lo posible, deben examinar los datos, el código y los modelos proporcionados en busca de posibles manipulaciones y considerar otras vías para verificar la información facilitada.

Dependencias de modelado y documentación

• Proceso de recopilación de datos: Una auditoría algorítmica debe considerar activamente el proceso de recopilación y depuración de datos, en especial cualquier exclusión de observaciones, truncamiento de valores atípicos (top-coding), consolidación de variables categóricas o imputación de datos faltantes, así como sus posibles efectos en el entrenamiento de los modelos y en sus resultados.

• Representatividad de los datos de entrenamiento:Los conjuntos de datos utilizados para entrenar modelos de aprendizaje automático deben evaluarse en cuanto a su representatividad, en la medida en que se disponga de datos demográficos. Por ejemplo, en algunos algoritmos de empleo será importante que los datos de entrenamiento no solo sean diversos en cuanto a los candidatos, sino que también incluyan numerosos ejemplos de contrataciones exitosas de distintos subgrupos.

• Análisis de dependencias:Una auditoría algorítmica debe considerar y reportar los efectos de los paquetes de software y bibliotecas en los que se basa el sistema algorítmico de la empresa auditada. Los modelos de aprendizaje automático preentrenados utilizados en un sistema algorítmico de contratación, o adaptados para él, en especial los destinados al análisis facial, el análisis de voz, la transcripción de voz, la traducción de idiomas y el procesamiento del lenguaje natural, deben analizarse cuidadosamente en cuanto a sus repercusiones posteriores.

• Revisión de la documentación: Una auditoría algorítmica debe revisar la documentación de los modelos y asegurarse de que describe con precisión su funcionamiento. Esto es especialmente crítico en dos escenarios: (1) en cualquier situación en la que una empresa cliente reciba modelos o resultados de modelos, ya que la interpretación que haga el cliente de los resultados es crucial y en sí misma puede conducir a resultados sesgados; (2) en las afirmaciones publicitarias y otras comunicaciones públicas, como las fichas de modelo (model cards) o las etiquetas nutricionales de datos (data nutrition labels).

Revisión de modelos

• Clasificaciones de candidatos: Una auditoría algorítmica debe examinar minuciosamente las clasificaciones de candidatos a empleo y las puntuaciones asociadas que genera un sistema algorítmico. Estas puntuaciones son el resultado más importante, ya que determinan, por lo general, quién pasa a la siguiente fase del proceso de contratación. Por ello, es fundamental que el auditor evalúe cómo el proceso algorítmico genera las clasificaciones de los nuevos candidatos, analizando la tasa de selección entre subgrupos y otras medidas estadísticas relacionadas, algunas de las cuales están disponibles como código abierto, como el paquete Audit-AI. Un auditor debe ser más específico que limitarse a medir si el sistema cumple los criterios legales, como la “tasa de selección sustancialmente diferente”, e debe informar de estadísticas concretas que sean representativas de los modelos analizados.

• Rendimiento con datos históricos: Una auditoría algorítmica debe considerar también cómo se comportaron los modelos entrenados con los datos utilizados para desarrollarlos. Esto difiere de analizar únicamente las clasificaciones de candidatos, ya que las puntuaciones del modelo pueden compararse con quiénes fueron efectivamente contratados según los datos históricos. Las auditorías deben informar sobre las métricas de equidad pertinentes, y pueden recurrir a herramientas como Aequitas y AI Fairness 360. Por ejemplo, las métricas de igualdad de oportunidades pueden resultar muy pertinentes, ya que estas estadísticas miden si el modelo asigna puntuaciones justas a los empleados contratados con éxito en distintos subgrupos. Aunque es probable que algunos modelos no puedan ser perfectamente equitativos, sigue siendo valioso informar de estos resultados para permitir comparaciones entre sistemas algorítmicos.

• Consideraciones sobre subgrupos: Una auditoría algorítmica debe examinar los modelos para determinar la relevancia de las variables que denotan subgrupos, en especial las características protegidas. La auditoría debe examinar si los subgrupos se incluyen como entradas del modelo o si otras variables incluidas actúan como sustitutos (proxies) de esos subgrupos. Además, la auditoría debe examinar subgrupos más allá del alcance exigido por la ley, teniendo en cuenta la interseccionalidad (por ejemplo, la superposición de género y raza) y los subgrupos raciales dentro de otros grupos (por ejemplo, distinguir a las personas de Oriente Medio de las blancas) cuando sea posible.

• Datos hipotéticos: Los auditores pueden generar datos sintéticos para someter a pruebas de estrés el proceso de construcción del modelo. Este proceso podría comprobar si una supervisión automatizada o con intervención humana detectaría un modelo entrenado de forma problemática. Además, podría ayudar a examinar lo que podría ocurrir con las personas que quedan fuera de las distribuciones de los datos con los que se entrenaron los modelos, lo que podría ser especialmente cierto para las personas con discapacidad.

• Definición del problema: Una auditoría algorítmica debe considerar cuidadosamente las variables de resultado elegidas y cómo podrían facilitar sesgos. Muchas métricas que sugieren el éxito de un empleado pueden estar parcialmente determinadas por un trato preferencial arraigado en la cultura laboral. Por ejemplo, las ventas totales de un vendedor podrían depender más de la calidad de los contactos comerciales que recibe que de su calidad como empleado. En este caso, la variable de resultado del modelo no está alineada con la cualidad de interés, lo que puede conducir con frecuencia a resultados sesgados, y el auditor podría sugerir una métrica alternativa.

• Frecuencia: La auditoría algorítmica debe considerar cómo se actualizan los modelos con el tiempo y qué implica eso para la deriva del modelo (model drift), en especial la posibilidad de degradación del rendimiento. Esta consideración debe dar lugar a una recomendación sobre la frecuencia con la que sería necesario realizar una auditoría del modelo.

Estos criterios pretenden servir de punto de partida para un debate más amplio. Probablemente no se apliquen en todas las situaciones ni sean plenamente suficientes, por lo que resultan necesarios más debate e inversión. Como han señalado otros análisis, ir más allá de las implementaciones técnicas para llegar a una evaluación más amplia de las necesidades de las partes interesadas también puede ser una función importante de las auditorías algorítmicas, aunque es menos probable que la ley la exija. Además, el sesgo no es la única preocupación de los algoritmos de empleo, y las auditorías también pueden considerar cómo hacer que los modelos sean más transparentes para los candidatos o cómo garantizar la protección segura de los datos sensibles.

Implicaciones para la gobernanza federal

Crear normas formales y sólidas para las auditorías algorítmicas es un paso importante, pero debe respaldarse igualmente con la supervisión gubernamental. En Estados Unidos, la Comisión para la Igualdad de Oportunidades en el Empleo (EEOC, por sus siglas en inglés) debería considerar qué medidas concretas son necesarias para llevar a cabo auditorías algorítmicas de este tipo. Parece que este trabajo se inició a finales de 2016, pero no está claro que haya continuado durante la administración Trump (aunque otros trabajos relevantes sí lo han hecho). La Oficina de Cumplimiento de Contratos Federales del Departamento de Trabajo también podría hacer cumplir nuevas normas, garantizando que el gobierno federal solo celebrara contratos con empresas de contratación algorítmica que presentaran pruebas convincentes de resultados no sesgados.

Como he argumentado anteriormente, la administración Biden debería abordar estos desafíos con seriedad. En el caso de la EEOC, esto incluye explorar las limitaciones de la autoridad de la agencia para acceder a datos corporativos al responder a denuncias por discriminación en el empleo. De hecho, 10 senadores escribieron recientemente a la EEOC, preguntando específicamente por su capacidad para investigar a las empresas que desarrollan y despliegan algoritmos de empleo. Se trata de una cuestión fundamental, ya que apenas puede realizarse un análisis riguroso sin que el gobierno tenga acceso a los datos utilizados por estos sistemas algorítmicos. Las agencias competentes también podrían necesitar nuevos conocimientos técnicos, y fue alentador ver que la EEOC abriera ofertas de empleo para dos científicos de datos como parte de un esfuerzo importante para mejorar los procesos federales de contratación.

Además de desarrollar la capacidad para realizar auditorías algorítmicas, la EEOC necesita revisar las políticas vigentes y elaborar nuevas directrices para adaptarse a la proliferación de sistemas algorítmicos. Esto incluye replantear la idea de validez predictiva en las Directrices uniformes sobre selección de empleados de la EEOC. Como han sostenido Manish Raghavan y Solon Barocas en sus trabajos, las Directrices uniformes permiten actualmente a los desarrolladores de algoritmos defenderse de las acusaciones de efectos discriminatorios demostrando que su herramienta es predictiva, aunque también sea discriminatoria. Se trata de una norma poco razonable, porque estos sistemas suelen emplear aprendizaje automático supervisado, lo que implica que son, por definición, predictivos. Esta disposición debe cambiar, o apenas podrá existir supervisión. Además, la EEOC debería aclarar que, al auditar sistemas algorítmicos de contratación, analizará un abanico más amplio de métricas que las meras diferencias en las tasas de selección por subgrupo, que desde hace tiempo se utilizan como regla empírica para medir el impacto discriminatorio. También es necesario considerar requisitos para que las empresas reguladas almacenen datos, código y modelos, de modo que puedan ser auditados. La EEOC debería considerar asimismo otras formas de potenciar la responsabilidad civil como mecanismo para hacer cumplir el uso justo de los algoritmos.

El objetivo de la intervención gubernamental en este ámbito no es que el mercado laboral funcione a la perfección, sino elevar de forma significativa el nivel mínimo de calidad en la evaluación algorítmica de los empleados. Al exigir a las empresas un estándar coherente y más alto, las empresas responsables que invierten tiempo y dinero en el despliegue de algoritmos justos podrán competir mejor, mientras que las empresas poco escrupulosas se enfrentarán a multas y demandas. Es probable que las auditorías algorítmicas por sí solas sean insuficientes para prevenir abusos, y conviene considerar otras intervenciones. Por ejemplo, merece la pena estudiar una prohibición total del uso del análisis facial de afecto en los servicios de empleo. Además, es posible que estas auditorías no se apliquen claramente a las plataformas en línea de búsqueda de empleo, como Monster, LinkedIn e Indeed. Dada la importancia de estas empresas para el mercado laboral, trabajar para abrir sus datos al acceso de investigadores independientes podría ser un paso valioso.

Si el gobierno logra crear una supervisión regulatoria significativa, las auditorías algorítmicas serían mucho más eficaces. Esto generaría incentivos más sólidos para invertir en sistemas algorítmicos más justos, y el mundo de la contratación algorítmica podría mejorar frente a los sesgos generalizados presentes en los procesos de revisión de candidatos realizados por personas o en las pruebas cognitivas obsoletas. Si esto llegara a ocurrir, la EEOC incluso podría destacar las mejores prácticas del sector e instar a los empleadores a avanzar hacia procesos de selección de candidatos algorítmicamente sólidos y responsables. Con estos cambios, la proliferación de algoritmos en los sistemas de empleo podría alcanzar su potencial y reducir de forma significativa los sesgos sistémicos que han perjudicado a numerosas personas y debilitado el mercado laboral en su conjunto.