Por qué la tecnología debe centrarse en las necesidades de los grupos marginados

• Los grupos marginados no están bien representados en el diseño y la implementación de las nuevas tecnologías.
  

• El discurso dominante sugiere que la tecnología puede "arreglarse" para abordar los problemas sistémicos presentes en la sociedad.
  

• Lo que necesitamos es una participación inclusiva que se centre en las preocupaciones de estos grupos.

Al hablar del impacto de la tecnología en los grupos marginados, con demasiada frecuencia la atención se centra en “arreglar la tecnología” para hacer frente a los perjuicios contra estos grupos. Este relato adolece de un defecto fundamental: parte de la premisa de que la tecnología es impuesta a los grupos marginados por un tercero que, en el mejor de los casos, desconoce – y en el peor, es indiferente – a cómo afectará a estos grupos.

También ignora que desplegar incluso la tecnología más perfecta puede afectar negativamente a los grupos debido al contexto en el que se implanta. Es hora de tener en cuenta las necesidades de los grupos marginados al diseñar e implementar la tecnología, incluida la participación, la consulta y el fomento de la intervención de estos grupos durante el proceso, en lugar de seguir alimentando una falsa narrativa sobre las "soluciones" tecnológicas a las dinámicas de poder estructurales.

Persiste la idea de que la tecnología que afecta negativamente a los grupos marginados y racializados de nuestra sociedad puede corregirse mediante "arreglos". Esta idea se refuerza incluso cuando los responsables políticos buscan actuar contra reproducir las estructuras de poder de la sociedad a través de la tecnología, como demuestra la reciente propuesta de reglamento sobre inteligencia artificial.

El Libro Blanco sobre ética e inteligencia artificial de la Comisión, anterior a la propuesta de reglamento y publicado en abril de 2021, afirmaba que “el uso de algoritmos puede perpetuar e incluso estimular el sesgo racial si los datos para entrenar los algoritmos no reflejan la diversidad de la sociedad de la UE”, y la propuesta de reglamento sigue esa línea al tratar de abordar el "sesgo" en la tecnología de IA.

Esta postura, por razones evidentes, también es muy popular entre las grandes tecnológicas. Por ejemplo, IBM afirma que las deficiencias de la tecnología de reconocimiento facial –que un estudio de Joy Buolamwini, entonces investigadora del MIT Media Lab, demostró que solo funcionaba con precisión en rostros masculinos y blancos– no era "un problema de la tecnología de IA en sí misma, per se, sino de cómo se entrenan los sistemas de reconocimiento facial basados en IA".

Los grupos marginados y racializados soportan desproporcionadamente las consecuencias del aumento del uso de la tecnología en nuestras sociedades, y es necesario abordarlo con urgencia. Sin embargo, centrarse en las soluciones tecnológicas no es el debate que deberíamos estar manteniendo.

¿Cuál es el problema y cómo podemos solucionarlo?

Es cierto que tenemos un problema de "brogrammers" que arraiga las decisiones tomadas por un grupo de diseñadores e ingenieros mayoritariamente blancos, varones y privilegiados, y las incorpora a la tecnología que diseñan, imponiendo así su percepción del mundo. Y, sí, existen serios problemas con los conjuntos de datos utilizados para entrenar la tecnología, que reproducen las estructuras de poder de nuestras sociedades y mantienen vigentes los sistemas de opresión contra los grupos racializados y marginados. Pero centrarse únicamente en estos aspectos alimenta una falsa narrativa según la cual, mientras logremos que la tecnología sea la adecuada, si podemos "arreglarla", usarla estará bien. Se trata de un error: no vamos a deshacer siglos de opresión estructural modificando unos pocos conjuntos de datos.

Como señaló EDRi (Derechos Digitales Europeos), la mayor organización europea de socios en materia de derechos digitales en su respuesta a la propuesta de reglamento de la Comisión de la UE: "No existe un ‘arreglo rápido’, ni una evaluación de riesgos lo bastante sofisticada, para deshacer siglos de racismo y discriminación sistémicos. El problema no está solo incorporado a la tecnología, sino también a los sistemas en los que vivimos."

El despliegue de la tecnología, por sí mismo, puede constituir violencia contra determinados grupos. Basta con observar el uso de la tecnología para la vigilancia de la migración y de las fronteras, la aplicación de la ley, o para la prestación de servicios públicos esenciales y una infinidad de ejemplos de cómo esto agrava aún más las dificultades, refuerza las estructuras de poder y obstaculiza, e incluso a veces impide, el acceso a la justicia.

Para abordar esto de verdad, necesitamos un cambio fundamental en el debate. En lugar de aceptar y reforzar la noción de una dinámica de poder en la que la tecnología es diseñada por un selecto grupo de privilegiados para luego imponerse a los grupos marginados, deberíamos centrarnos en garantizar que la tecnología se diseñe y construya en torno a las necesidades de las personas y las comunidades, y con su participación.

Ya existen ejemplos de participación y de titularidad comunitaria en la tecnología sobre los que podemos construir: una aplicación para registrar y almacenar de forma segura los incidentes de violencia policial, creada por un colectivo liderado por familiares que perdieron a un ser querido a causa de la brutalidad policial en Francia; un ejemplo más institucional en EE. UU. es una aplicación similar desarrollada por la ACLU; un enfoque decolonial de las ciudades inteligentes en Togo; hasta proyectos de infraestructura feministas que, en lugar de centrarse en la mecánica de la tecnología, examinan cómo las prácticas tecnológicas pueden convertirse en herramientas emancipadoras para todos nosotros.

Estas prácticas demuestran que existe otra vía posible. Es cierto, como señala Laurence Meyer en un artículo reciente, que "la tecnología no surge de la nada... es producto de la extracción, la explotación, el desplazamiento y la violencia". Pero esta realidad actual es obra humana y puede ser modificada por nosotros. El objetivo es empezar a introducir cambios ahora, mientras aún podemos crear un futuro más justo para todos en nuestra sociedad. Quienes fijan las pautas de los debates políticos sobre tecnología y derechos humanos, los reguladores, quienes invierten en tecnología y quienes la adquieren e implementan no deberían perder ni un instante.