¿Por qué los humanos no confían en los algoritmos?

Los modelos matemáticos se utilizan para reforzar o reemplazar la toma de decisiones por parte de los seres humanos desde la invención de la calculadora y gracias a la idea de que las máquinas no cometen errores. Sin embargo, muchas personas se oponen a la utilización de algoritmos, prefiriendo en lugar de eso confiar en sus instintos a la hora de tomar una serie de decisiones. Una nueva investigación de Cade Massey y Joseph Simmons, profesores del departamento de Operaciones, Información y Decisiones de Wharton, y J. Berkeley Dietvorst, de la Universidad de Chicago, encontró que el control es un elemento clave en la toma de decisiones. Si damos a los tomadores de decisiones un cierto control sobre el modelo, hay una gran probabilidad de que ese individuo vaya a usarlo.

¿Podría hacer un resumen de la investigación? Es un complemento de algo que hizo hace poco, ¿verdad?

Joseph Simmons: Estamos estudiando un fenómeno llamado “aversión al algoritmo”, que es la tendencia que tienen las personas de no querer seguir reglas específicas basadas en evidencias cuando se toman decisiones, aunque muchos estudios muestran que es precisamente de este modo que se deben emitir juicios y hacer predicciones. Muchas personas sólo quieren confiar en sus instintos y hacer las cosas siguiendo el camino que piensan que debe seguirse. Ellos no quieren depender de reglas coherentes basadas en la evidencia, aunque deberían hacerlo.

Desde hace algunos años estamos estudiando por qué, o bajo qué circunstancias, la gente prefiere no confiar en los algoritmos. Nuestro segundo estudio fue averiguar cómo hacer que las personas se vuelvan más propensas a confiar en los algoritmos. Encontramos básicamente que si le dices a las personas, “pueden confiar en un algoritmo que les dará consejos, o pueden confiar en su propia opinión,” y luego les preguntas: “¿Qué desean hacer?”, no tendrán ningún problema en decir: “Voy a utilizar el algoritmo”.

Sin embargo, desde el momento en que se les da algún ejercicio y pueden ver el rendimiento de su algoritmo, de repente deciden que no quieren usarlo. Esto se explica por el hecho de que la gente ve al algoritmo cometer errores. En el momento en que ven al algoritmo o al computador cometer errores, prefieren no usarlo más, aunque el algoritmo o el ordenador cometan errores menores o menos frecuentes que ellos.

Se supone que los algoritmos son perfectos.

Simmons: Eso es. La gente quiere que los algoritmos sean perfectos y esperan que lo sean, pero nuestro deseo es ser un poco mejor que los humanos. Nuestro primer estudio es un tanto pesimista y muestra que cuando las personas ven el algoritmo en acción, no quieren usarlo. Nuestro segundo estudio muestra que es posible que la gente use los algoritmos, siempre y cuando se les de un cierto control sobre ellos. Usted les dice: “El algoritmo dice que tal persona va a tener un GPA [nota media general] de 3.2 ¿Cuál cree que será su GPA?” Ellos simplemente no quieren aceptar el 3.2 que predijo el algoritmo. Sin embargo, si usted dice: “Se puede hacer un ajuste del 0,1”, entonces la respuesta será: “Muy bien, entonces voy a utilizar el algoritmo”. Puesto que usted proporciona a la gente algo de control sobre estas cosas, es más probable que las vayan a usar. Esto es muy bueno y fue lo que descubrimos.

Cade Massey: Trabajamos en un contexto experimental, pero estamos motivados por el contexto del mundo real. Algunas de las primeras ideas para esta investigación provienen del trabajo que hemos hecho con empresas donde acudimos con modelos de toma de decisiones sobre contrataciones y reclutamiento de nuevos empleados. Sobre la base de muchos años de datos analíticos válidos y muy buenos, estábamos seguros de ofrecer el mejor asesoramiento posible. Sin embargo, estas empresas eran reacias a utilizar los modelos porque querían confiar en su propia intuición.

Esto es muy común en la contratación, en la evaluación del rendimiento, es común, ambos inclusive, y cada vez más en algunas áreas en las que se automatiza la toma de decisiones, por ejemplo, la gestión de un fondo de cobertura o la previsión de ventas de algún producto. Todos estos son casos en los que las predicciones o consejos cada vez más automatizados se encuentran disponibles. Llamamos a este procedimiento algoritmo. Quien toma la decisión final tiene la facultad de escuchar a este consejo, utilizar sus instintos o una combinación de ambos.

Su principal conclusión fue que las personas son menos reacias al uso de algoritmos si pueden tener algún control sobre ellos. Hay, sin embargo, una conclusión que les sorprendió sobre el grado de control que era necesario conceder a la gente para que se sintiesen mejor. ¿Podrían comentarlo?

Massey: No se sabe con certeza qué grado de control sería necesario para que aceptasen la idea. El inconveniente de darles el control a ellos es que se empiezan a degradar el algoritmo. En la mayoría de los ámbitos, no son tan buenos como el modelo. Cuanto más introducen su opinión en cualquier área, peor será el rendimiento. En cierto sentido, nos gustaría darles un mínimo de control y todavía conseguir que aceptasen el algoritmo. No sabíamos cuál sería la respuesta a eso. Tuvimos evidencias desde el principio de que no habría una respuesta muy significativa. Empezamos entonces a probar los límites de la idea y nos pareció que podríamos darles solamente un poco de control. Algo alrededor del 5% aproximadamente, de manera que se interesasen más en el uso del algoritmo. Si se les da más que eso, no hará ninguna diferencia. Si se les diera un poco, es casi lo mismo que si les diese una influencia moderada.

Simmons: Lo interesante es que cuando ajustan el algoritmo, lo empeoran. Sin embargo, si el ajuste sólo es un poco, el daño es pequeño. Y una vez que se encuentran más propensos a usarlo de esta manera, su decisión final va a terminar estando casi perfectamente correlacionada con el algoritmo. Es imposible que la gente use el algoritmo al 100%, pero podemos hacer que usen el 99%, y eso mejora sustancialmente su decisión.

En el caso del dueño de una empresa o una persona que tiene el mandato de utilizar un algoritmo, ¿cómo se puede aplicar su investigación en la vida real?

Massey: Descubrimos que simplemente no se puede imponer un modelo monolítico o un modelo tipo “caja negra” y decir: “Así es cómo va a tomar sus decisiones. Así es cómo debe codificar su toma de decisiones”. La gente reaccionará contra eso. Lo mejor es dejar que tengan su criterio. Dependiendo del lugar, la forma en que se dé eso va a ser diferente. Piense en una escuela de posgrado que está revisando posibles admisiones, hace una clasificación de los candidatos y, en algún momento, trazan una línea y a partir de ahí hacen excepciones. Tratan con gente. Puede automatizar parte de este proceso. Incluso si se toma en cuenta la opinión de las personas en el modelo, se puede utilizar un modelo automático y decir: “Estas son las personas que debemos admitir”.

Por un lado, podemos decir. “Aquí está el modelo. Mire lo que dice; acéptelo o no. Vamos a automatizar el proceso”. Seguramente habrá una revuelta. Pero si dice: “Aquí está un modelo para su consulta. Sugerimos que lo tome en cuenta. Si desea realizar cambios para que funcione, hágalos”. Trabajamos con las escuelas de esta manera. En principio, hay un cierto escepticismo. Ellos a su vez recurren algo al modelo y, con el tiempo, prácticamente usan todo el modelo, tal y como es, aunque queda a discreción de las personas cambiarlo tanto como quieran.

Creo que sería importante en la presentación que la gente supiera que tiene este control.

Simmons: Creo que lo más importante es evitar una estructura del tipo todo o nada, por ejemplo, tener que aceptar el algoritmo el 100% del tiempo. Si las personas reaccionan de la manera que usted describe, habrá reticencias. Sin embargo, si se presenta el siguiente escenario: “Vamos a utilizar el algoritmo en el 99% de las veces, pero usted tiene la opción de cambiarlo o no seguirlo en un momento dado”, va a hacer que las personas se vuelvan más receptivas a su uso.

Otro contexto puede ser el coche autónomo. Es posible imaginar la incomodidad de las personas en un coche autónomo si no tienen algún control sobre él. Sin embargo, si usted dice .. “Bueno, se puede hacer tal cosa. Es un poco difícil y fuera de lo común, pero se puede hacer eso para controlar el coche en circunstancias en las que es posible que tenga que hacerlo. Descubrimos que las personas nunca tienen que hacerlo, pero la opción está ahí”, en esta circunstancia, la gente se siente mucho más receptiva para acceder a un coche autónomo porque hay algo de control disponible. En general, el piloto automático es mucho más seguro que el piloto real, pero la gente quiere un piloto presente, aunque muchos accidentes aéreos se deban a un error del piloto. Se sienten mejor de esa manera. Nuestra investigación juega un poco con este punto.

¿Hay otras historias en las noticias que se aplican a la investigación?

Massey: ¿Qué hay de los pronósticos electorales?

Simmons: Sí. En noviembre del año pasado, tuvimos una elección presidencial que sorprendió al mundo. Había mucha gente haciendo predicciones basadas en información sobre los resultados de las elecciones pasadas. Quizás el caso más famoso es el de Nate Silver, que escribe para FiveThirtyEight.com. Dijo que había un 70% de posibilidades de que Hillary Clinton ganara las elecciones y el 30% de posibilidades de que Donald Trump se llevase la victoria. Por supuesto, ganó Trump. Hubo mucha reacción contra Nate Silver al final. El estaba equivocado, las personas pensaban, en parte debido a que el modelo era incorrecto. El hecho es que el modelo no era necesariamente malo ya que el 30% es un porcentaje que es el 30% del tiempo. Cuando un experto hace una información pública y dice que algo va a pasar, la reacción no es tan grande como una persona que utiliza estadísticas y un algoritmo falla, ahí las personas esperan que sea correcto al 100%. Creo que la reacción contra Nate Silver está en línea con lo que hemos señalado anteriormente.

Massey: Todo vuelve a la primera investigación, en la que las personas son más duras con los modelos y los algoritmos cuando cometen errores que con otros seres humanos. Apenas lo perdonan. Ya hemos tratado un poco de eso, pero la conclusión es que los modelos y los algoritmos ocupan un nivel superior.

Pero ¿tiene sentido? Ninguna persona o cosa es perfecto.

Massey: Creemos que las personas actúan así por varias razones. Una de ellas es que pueden mejorar con el tiempo, mientras que un modelo es relativamente fijo. Estas dos cosas no son necesariamente ciertas. Los modelos pueden mejorar con el tiempo, pero la gente no necesariamente mejorará con el tiempo. La psicología de esta idea es convincente, pero no necesariamente correcta. Es cierto que hay algunos escenarios en los que la gente puede mejorar más que el modelo, pero creemos que las personas confían en esta intuición más de lo que deberían.

¿Hay algo que diferencie esta investigación de otros trabajos en esta área?

Massey: No somos los primeros en hablar de la diferencia entre el criterio de un modelo y el criterio de un humano. Se ha sabido durante décadas que los modelos son muy buenos. Nuestra relativa anticipación en este tema consistió en tratar de entender la razón de eso y cómo reparar las percepciones a ese respecto.

Simmons: Pocas personas documentaron previamente las razones por las cuales las personas son reacias al uso de algoritmos. Siempre hubo informes, textos de por qué a la gente no les gustan estas cosas, pero nadie había examinado de forma sistemática el tema antes.

Massey: Volvemos a la motivación. La motivación era trabajar con las empresas, queremos utilizar más modelos, necesitamos saber cómo romper este prejuicio. No se puede prescribir nada hasta comprender mejor por qué existe tal cosa.

¿Cuál es el siguiente paso en su investigación?

Massey: Seguimos lidiando con algunos factores que pueden ayudar a entender la reticencia de la gente a usar algoritmos, pero también queremos hacer más pruebas en el mundo real. Si trabajamos con profesionales con dinero real en juego, ¿también caerían en estos mismos prejuicios? ¿Hay maneras de ayudarlos? Hay algunas empresas con las que hemos hablado a lo largo del tiempo y están interesadas en experimentar con sus empleados o clientes para ver si lo que vemos en el laboratorio sucede en el plano real.