Los algoritmos que nos gobiernan

Alrededor del 1200 a. C., la dinastía Shang en China desarrolló un sistema fabril para la creación de miles de enormes recipientes de bronce destinados a usos domésticos y ceremoniales. En este temprano ejemplo de producción en masa, el proceso de fundido del bronce demandaba una complicada planificación y la coordinación de grandes grupos de trabajadores, que debían realizar una tarea distinta cada uno, en un orden exacto.

Un proceso de igual complejidad se utilizó para la confección del famoso ejército de guerreros de terracota revelado mil años después por Qin Shi Huang, primer emperador de China. Según el Museo de Arte Asiático de San Francisco, las estatuas “se crearon mediante un sistema de producción en serie, precursor de futuros avances en la producción en masa y el comercio”.

Algunos estudiosos han conjeturado que estas tempranas formas de tecnologías de trabajo regulado tuvieron un papel importante en la configuración de la sociedad china. Entre otras cosas, habrían predispuesto a las personas a aceptar estructuras burocráticas, una filosofía social con énfasis en lo jerárquico y la creencia de que hay una sola manera correcta de hacer las cosas.

Cuando las fábricas industriales aparecieron en Europa en el siglo XIX, hasta críticos incondicionales del capitalismo como Friedrich Engels reconocieron que la producción en masa requería una autoridad centralizada, sin importar que el sistema económico fuera capitalista o socialista. En el siglo XX, teóricos como Langdon Winner extendieron esta línea de pensamiento a otras tecnologías. Winner pensaba que la bomba atómica, por ejemplo, debía considerarse un “artefacto inherentemente político” porque “sus propiedades letales exigen que sea controlada por una cadena centralizada y rígidamente jerárquica de comando”.

Hoy podemos extender aún más esas ideas. Piénsese en los algoritmos de aprendizaje automático, la tecnología multipropósito más importante de la actualidad. Estos algoritmos, que imitan las capacidades cognitivas humanas usando datos tomados de la realidad, están cada vez más presentes en los entornos de trabajo. Pero para su plena capitalización, las organizaciones deben redefinir las tareas humanas como tareas predictivas, que son las que mejor se adaptan a las capacidades de los algoritmos.

Un aspecto clave del aprendizaje automático es que su desempeño mejora conforme aumenta la cantidad de datos. Eso lleva a que su uso genere una presión tecnológica hacia convertir la información de las personas en datos registrables y utilizables. Como el sistema de producción en masa, los algoritmos son “inherentemente políticos”, porque su funcionalidad central demanda ciertas prácticas sociales y desalienta otras. En particular, los algoritmos de aprendizaje automático van en la dirección contraria al deseo de privacidad personal de los individuos.

Un sistema basado en la disponibilidad pública de información sobre miembros individuales de la comunidad puede parecerle adecuado a comunitaristas como el sociólogo Amitai Etzioni, quien considera las limitaciones a la privacidad como un medio de hacer cumplir las normas sociales. Pero a diferencia de los comunitaristas, los algoritmos son indiferentes a esas normas. Su único objetivo es hacer mejores predicciones, y eso demanda la transformación de cada vez más áreas de la vida humana en conjuntos de datos pasibles de extracción y análisis.

Además, la fuerza de un imperativo tecnológico que está convirtiendo a occidentales individualistas en comunitaristas por accidente también los vuelve más dependientes de una cultura meritocrática basada en evaluaciones algorítmicas. En el trabajo, en la escuela o incluso en las aplicaciones de citas, ya nos hemos acostumbrado a que herramientas impersonales evalúen nuestra aptitud y nos asignen posiciones en una jerarquía.

Es verdad que la evaluación algorítmica no es algo nuevo. Hace una generación, estudiosos como Oscar H. Gandy advirtieron que nos estábamos convirtiendo en una sociedad donde a las personas se las califica y clasifica, y demandaron más responsabilidad y la corrección de los errores provocados por la tecnología. Pero a diferencia de los modernos algoritmos de aprendizaje automático, las viejas herramientas de evaluación se comprendían razonablemente bien. Tomaban decisiones sobre la base de factores normativos y empíricos pertinentes. Por ejemplo, no era ningún secreto que acumular deuda en la tarjeta de crédito podía perjudicar la calificación crediticia del titular.

En cambio, las nuevas tecnologías de aprendizaje automático bucean las profundidades de grandes conjuntos de datos para hallar correlaciones que, pese a su poder predictivo, no se comprenden bien. En el lugar de trabajo, los algoritmos pueden hacer un seguimiento de las conversaciones de los empleados, del lugar donde almuerzan y de cuánto tiempo pasan con la computadora, el teléfono o en reuniones. Y con esos datos, el algoritmo elabora sofisticados modelos de productividad que superan con creces las intuiciones del sentido común. En una meritocracia algorítmica, aquello que los modelos exijan se convertirá en la nueva norma de la excelencia.

Pero la tecnología no es un hado inexorable: nosotros le damos forma, antes de que ella nos lo haga a nosotros. Las empresas y los gobiernos pueden desarrollar y desplegar las tecnologías que quieran, según sus necesidades institucionales. Tenemos el poder de tender redes de privacidad en torno de áreas delicadas de la vida humana, para proteger a las personas contra usos nocivos de los datos, y exigir que en el uso de los algoritmos se busque un equilibrio entre la exactitud predictiva y otros valores tales como la equidad, la responsabilidad y la transparencia.

Pero si seguimos el flujo natural de la lógica algorítmica, será inevitable el surgimiento de una cultura más meritocrática y comunitarista. Y esta transformación sostenida tendrá amplias repercusiones en las instituciones democráticas y las estructuras políticas. Como han señalado los sinólogos Daniel A. Bell y Zhang Weiwei, la principal alternativa política a las tradiciones liberal‑democráticas de Occidente son las instituciones comunitaristas chinas (cuya evolución aún continúa).

En China, las decisiones colectivas no se legitiman por el consenso explícito de los ciudadanos, y por lo general la gente tiene menos derechos exigibles contra el gobierno, en particular en lo concerniente a la vigilancia. El papel de un ciudadano chino ordinario en la vida política se limita en gran medida a participar en las elecciones locales. En tanto, los dirigentes nacionales surgen de un proceso meritocrático y se consideran a sí mismos custodios del bienestar del pueblo.

No es probable que las democracias liberales se transformen completamente en un sistema político de esa naturaleza. Pero si continúan las tendencias actuales en la cultura empresarial y de consumo, puede que pronto tengamos más en común con las tradiciones meritocráticas y comunitaristas chinas que con nuestra propia historia de individualismo y democracia liberal. Si queremos cambiar de rumbo, tenemos que poner nuestros propios imperativos políticos por encima de los de nuestras tecnologías.