En el siglo XVI, según la leyenda, la esposa del líder espiritual de Praga invocó una criatura mágica hecha de arcilla –un golem– para aliviar a la ciudad de la escasez de agua. Le ordenó al golem que trajera agua y luego olvidó decirle que se detuviera. Praga obtuvo toda el agua que necesitaba –y más– y la inundación resultante anegó la ciudad y causó la muerte de muchas personas.
Hoy en día tenemos nuestras propias creaciones mágicas: fórmulas matemáticas llamadas algoritmos de IA. Utilizados con sabiduría, estos motores de decisión basados en datos pueden resolver muchos problemas empresariales complejos. Utilizados con ignorancia, estos motores pueden causar estragos, inundando a las empresas de cursos de acción limitados que pueden provocar tanto perjuicios financieros como reputacionales.
Las empresas que actualmente implementan la IA como parte de sus procesos de toma de decisiones, o que planean hacerlo, deben aprender a utilizar estos golems digitales con sabiduría, o pagar el precio.
La IA es una fuerza imparable
No se equivoquen: la IA está alcanzando la madurez en muchas empresas de todo el mundo. Una reciente encuesta de MIT / BCG reveló que, a nivel internacional, el 20% de las empresas encuestadas está empezando a implementar la IA a gran escala, con equipos de IA completamente dotados de personal y motores de IA totalmente industrializados. La encuesta concluye que este pequeño grupo de líderes en IA podrá utilizar la capacidad de autoaprendizaje de la IA para seguir aumentando su ventaja. El desafío para las empresas rezagadas (y para países enteros), por tanto, es cerrar esta brecha antes de que se vuelva insalvable.
Por desgracia, los equipos directivos de visión corta que intentan alcanzar a los líderes mediante una especie de implementación de IA por «fuerza bruta» corren el riesgo de sufrir un fracaso aún más espectacular.
Los modelos de decisión impulsados por IA están diseñados para maximizar una función objetivo, ya sea optimizar el margen, minimizar el inventario o alcanzar cualquier número de objetivos empresariales. Pero, carentes de corazón y alma, estos algoritmos basarán sus decisiones únicamente en números, con consecuencias en ocasiones terribles.
Las implicaciones reales de una IA sin control
Por si alguien piensa que se trata de un asunto oscuro que deben dirimir matemáticos, científicos de datos y programadores encerrados en una habitación, considere estos tres resultados reales de decisiones empresariales dictadas por la IA, pero no supervisadas por personas.
⦁ Varios minoristas han quedado atrapados en algoritmos diseñados para gestionar los precios con el fin de maximizar los márgenes a corto plazo. Estos algoritmos se diseñaron para evaluar la sensibilidad al precio de cada punto de venta. Aquellos puntos de venta en los que la demanda de productos se veía relativamente poco afectada por el aumento de precios se consideraron idóneos para una serie de subidas de precios.
El único problema fue que las tiendas seleccionadas por el algoritmo se encontraban en barrios pobres. Cuando trascendió que las empresas estaban subiendo los precios a sus clientes más pobres, la reacción de los medios fue muy dura. Cada una de las empresas abandonó rápidamente las subidas de precios, pero no antes de que se hubiera producido el daño a su reputación. Si alguna de las empresas hubiera implantado un proceso que incluyera la revisión humana de las decisiones de la IA, es posible que esta pesadilla de relaciones públicas se hubiera evitado.
⦁ Un motor de IA creado por una cadena de moda fue diseñado para identificar qué artículos tendrían más probabilidades de gustar a un cliente determinado. Incluso con algoritmos totalmente imparciales, el minorista descubrió que el motor de IA promovía de forma indiscriminada moda étnica específica entre miembros de determinados grupos étnicos. El riesgo para el minorista es que este tipo de selección puede parecer que respalda estereotipos. Y si el minorista programa el algoritmo de forma fija para evitarlo, ¿no será esto simplemente una forma más sutil de estereotipar?
⦁ Basándose en un análisis de IA de la secuencia de tratamientos médicos de cada cliente, una aseguradora de salud puso en marcha un programa que ofrecía servicios especiales a los clientes con mayor probabilidad de ser hospitalizados. Cuando la aseguradora empezó a proponer estos servicios a clientes seleccionados, el personal del centro de llamadas se dio cuenta de que algunos pacientes aún no sabían que, de hecho, tenían más probabilidades de necesitar atención hospitalaria. Una implementación insuficientemente meditada del motor de IA colocó al personal de la aseguradora en la incómoda posición de tener que explicar a los clientes por qué se les ofrecían servicios hospitalarios que desconocían que necesitarían.
El sentido común como antídoto contra cálculos sin control
Los líderes están acostumbrados a fijar objetivos para sus equipos. Estos objetivos suelen adoptar la forma de metas que, a un nivel más alto y abstracto, no tienen en cuenta las condiciones del mundo real. Afortunadamente, los miembros del equipo suelen saber por experiencia cómo alcanzar el objetivo utilizando el sentido común, la ética empresarial y los valores morales.
Pensemos, por ejemplo, en el empleado que comprende el objetivo general, pero se dice a sí mismo: «Sé que no debo conceder este descuento a ese cliente, pero si no lo hago, perderé al cliente»; o que sabe que «debería hacer esperar a esta persona mayor en la cola como a todos los demás, pero voy a dejarla pasar delante de la cola»; o que «no debería permitir que la gente se vaya sin pagar la cuenta, pero en esta situación tiene más sentido empresarial concederles más tiempo».
El problema de los algoritmos es que carecen por completo de este tipo de «sentido empresarial». Son máquinas desprovistas de experiencia en el mundo real, de sentido común o de principios morales. Al carecer de estos atributos fundamentales, la IA no puede ajustar sus decisiones a la ambigüedad de nuestro mundo real. Sin control, los algoritmos son perfectamente capaces de generar millones de decisiones inapropiadas –y de hacerlo literalmente a la velocidad de la luz, lo que supone un riesgo con cada decisión para la rentabilidad y la reputación de la empresa.
Y, para que quede claro, no me refiero a algoritmos desarrollados por personas dispuestas a infringir la ley o a difundir ideologías tóxicas. Me refiero a criaturas matemáticas invocadas por equipos con las mejores intenciones.
Les presentamos al nuevo CEO (con una «E» de Ética)
Para las empresas, evitar los riesgos que plantean las decisiones de la IA irreflexivas y carentes de sensibilidad implica aprender primero a anticipar las consecuencias no deseadas. Para ello, las empresas deben crear «barreras de protección», es decir, salvaguardas que garanticen que las directrices de la IA no se apliquen de forma irreflexiva. Estas barreras pueden crearse programándolas de forma fija en el propio algoritmo y reforzarse mediante indicadores clave de rendimiento (KPI) específicos.
En ocasiones, las barreras de protección pueden ser relativamente sencillas de crear. Una conocida cadena de comida rápida, por ejemplo, desarrolló un motor avanzado para enviar promociones personalizadas a sus clientes fieles. Si las promociones se basaran únicamente en el algoritmo, la empresa podría ofrecer sin darse cuenta tantas ofertas de menús que podrían perjudicar la salud de sus clientes. Afortunadamente, la empresa introdujo el sentido común en la ecuación al limitar cada semana el número total de calorías de los productos que promociona.
En otras situaciones, puede resultar mucho más difícil crear barreras de protección para mitigar las decisiones de la IA. Debe implantarse una nueva función de «ética» para formar a los directivos operativos a fin de anticipar los riesgos empresariales reales que plantea la IA. El objetivo de esta función sería trabajar con científicos de datos para tener siempre presente una verdad simple sobre los algoritmos: dado que incluso los motores de IA imparciales dependen de datos del mundo real (que, por su propia naturaleza, están sesgados), el procesamiento de información basado en IA puede llevar a tomar decisiones sesgadas tanto como lo puede hacer el procesamiento humano.
La función de ética debe tener un alcance más amplio que las funciones habituales de cumplimiento normativo, como las diseñadas para establecer y hacer cumplir procesos que protejan a las empresas del riesgo jurídico. El objetivo general de una función de ética relacionada con la IA es formar a los directivos y a los equipos de ciencia de datos para evitar los fracasos estrepitosos que pueden derivarse de la aplicación incorrecta de estos algoritmos similares a golems. Para dar a esta función la solemnidad que merece, las empresas deberían nombrar a un director de ética (Chief Ethics Officer) que apoye al otro CEO en el establecimiento de las políticas de IA y la definición de las directrices correspondientes.
Las empresas que sienten la presión de ponerse al día con las empresas líderes en IA deben implantar la IA a gran escala con mucho cuidado, pensando más allá de cuestiones más directas de diseño de algoritmos e implementación técnica. Al igual que en el caso del golem de Praga, el proceso de crear una criatura mágica es, en cierto sentido, la parte fácil. El verdadero desafío consiste en que esa criatura sea realmente útil.
En el mundo de la IA, el proceso de programar un algoritmo representa aproximadamente el 10% de los recursos totales necesarios. La implementación de los algoritmos en sistemas informáticos heredados supone otro 20%. La gran mayoría del esfuerzo –el 70% restante– consiste en entrelazar el factor humano con el algoritmo para crear decisiones empresariales acertadas. Este último 70% suele ser subestimado por las empresas, pero es la única manera de garantizar que la inteligencia artificial conduzca a decisiones que, en el mundo real, sean realmente inteligentes.
