Si alguna vez ha visto un anuncio de un producto de inversión, habrá oído la frase «los resultados anteriores no garantizan resultados futuros». Por supuesto que no los garantizan. Pero eso no impide que empresas, gobiernos, organizaciones y particulares intenten predecir el futuro. En un esfuerzo por mejorar nuestras probabilidades, una agencia gubernamental de investigación —la Actividad de Proyectos de Investigación Avanzada de Inteligencia (IARPA)— ha patrocinado competiciones anuales entre equipos universitarios para idear mejores formas de medir y mejorar el arte de pronosticar acontecimientos mundiales.
Barbara Mellers, profesora de Marketing de Wharton, ha dirigido uno de esos equipos, que ganó la competición tres años seguidos.
En esta entrevista con Knowledge@Wharton, Mellers habla de los hallazgos de su equipo, de qué hace que algunas personas sean mejores pronosticadoras y de cómo se puede impulsar a los mejores pronosticadores.
A continuación, la transcripción editada de la conversación.
Reclutar a la élite intelectual:
He participado en un torneo de pronósticos de varios años patrocinado por IARPA, que es la rama de investigación de la comunidad de inteligencia. IARPA patrocinó a cinco equipos universitarios distintos que compitieron entre sí para idear las mejores formas posibles de medir pronósticos agregados sobre acontecimientos en todo el mundo. Estos incluyen conflictos militares, elecciones, pandemias, flujos de refugiados e incluso cosas como el precio de las materias primas.
«En el caso del Gobierno de EE. UU., los responsables de formular políticas se enfrentan a decisiones que implican miles de millones de dólares y miles de vidas. Y, en estos casos, lo que está en juego es tan importante que incluso una ventaja mínima supone un gran avance».
Lo que hicimos fue reclutar a miles de pronosticadores de blogs, asociaciones profesionales, centros de investigación y otros ámbitos, y pedirles que hicieran pronósticos durante un año. Recibían preguntas cada dos semanas. Iniciaban sesión en un sitio web, donde formulaban sus predicciones, y volvían para actualizar sus pronósticos con la frecuencia que quisieran.
No sabíamos realmente qué hacer para mejorar los pronósticos, así que hicimos lo que nos salió de forma natural: realizar experimentos. Descubrimos que tres factores funcionaban muy bien. Uno era capacitar a las personas. Diseñamos un módulo de capacitación en probabilidades de una hora, y parecía mejorar las predicciones. Formamos equipos en lugar de hacer que trabajaran individualmente, y eso mejoró las predicciones. La interacción, el intercambio de información y los debates sobre los fundamentos aumentaron la precisión.
Por último, descubrimos que el seguimiento mejoraba enormemente la precisión de los pronósticos. Al final de cada año, seleccionábamos al 2 % superior de esos miles de pronosticadores, los reuníamos en grupos de élite y les dábamos el título de Superpronosticadores. Estas personas aumentaron su precisión de más maneras de las que podríamos haber imaginado. Interactuaban más. Buscaban más información. El resultado neto fue asombroso. De hecho, nos ayudaron a ganar el torneo tres años seguidos.
Hacer mejores predicciones:
Todo el mundo se basa en predicciones, y sabemos mucho más sobre ellas que antes de este torneo. En el mundo empresarial, a las personas les importa decidir si invertir en investigación o expandirse a un mercado nuevo; también les importa qué querrán los consumidores, qué extensiones preferirán y cuándo estarán listos los productos para su distribución.
Y creo que las empresas pueden aprovechar las conclusiones de este torneo para hacer mejores predicciones. No todo se generaliza necesariamente sin dificultad, pero ahora conocemos muchas conclusiones psicológicas y estadísticas que permiten mejorar las predicciones.
Hallazgos sorprendentes:
Hubo muchísimas cosas de este torneo que me sorprendieron. Me sorprendió que nuestro módulo de capacitación funcionara. Es difícil diseñar un módulo que tenga algún efecto en la precisión de los juicios.
Me sorprendió mucho que los equipos funcionaran mejor que los pronosticadores independientes. Leí «The Wisdom of the Crowds» y supuse que los pronosticadores independientes lo harían mejor y que los errores se compensarían al promediarse. Pero los beneficios de compartir información y hablar de los fundamentos superaron los beneficios de la independencia. Así que, en nuestro caso, los equipos funcionaron mejor.
Y me sorprendieron muchísimo los efectos de los Superpronosticadores. Es como agrupar a los niños en las escuelas y poner juntos a los mejores. La sinergia que surgió de ahí fue fenomenal.
Buenas prácticas:
Creo que hay varias razones por las que nuestros equipos funcionaron tan bien. Una es que trabajaban en línea. Así que es difícil que alguien domine e intimide en línea. Las personas iniciaban sesión cuando les apetecía. Por eso, las interacciones eran secuenciales, no simultáneas, contexto en el que creo que es más probable que se produzca el pensamiento grupal. Se respetaban mucho entre sí, como pronosticadores, y creo que ese es otro ingrediente importante de una buena fórmula.
«Tenemos comentaristas, expertos, gurús y especialistas que hacen predicciones sobre lo que ocurrirá en el futuro. Muchas de esas predicciones están formuladas de forma tan vaga que no podríamos, ni en un millón de años, averiguar cómo ponerlas a prueba».
El valor de una buena predicción:
Creo que las empresas pueden mejorar sus predicciones. Pueden crear su propio grupo de superpronosticadores y hacer un mejor trabajo al pronosticar el futuro Twitter. Y «mejor» es algo relativo. Es decir, basta con hacerlo mejor que el siguiente.
No buscamos la perfección y, obviamente, no la vamos a alcanzar. En el caso del Gobierno de EE. UU., los responsables de formular políticas se enfrentan a decisiones que implican miles de millones de dólares y miles de vidas. Y, en estos casos, lo que está en juego es tan importante que incluso una ventaja mínima supone un gran avance.
Creo que una de las implicaciones de nuestro trabajo es que las buenas predicciones requieren tanto psicología como estadística. Se trata de una combinación de comprender a la persona y entender los aspectos de las distribuciones estadísticas y la información estadística. Ahora sabemos cómo diseñar mucho mejores algoritmos que agregan múltiples pronósticos. También sabemos mucho sobre qué condiciones o entornos sacan lo mejor de los pronosticadores individuales.
Poner a prueba las predicciones:
Todos los días oímos predicciones. Tenemos comentaristas, expertos, gurús y especialistas que hacen predicciones sobre lo que ocurrirá en el futuro. Muchas de esas predicciones están formuladas de forma tan vaga que no podríamos, ni en un millón de años, averiguar cómo ponerlas a prueba. Son afirmaciones como: «Puede que aumente el conflicto en Yemen en las próximas dos semanas». O: «La situación en Bagdad empeorará antes de mejorar». O algo por el estilo: eso no es una pregunta ni una afirmación que supere la prueba de la clarividencia. Después no se puede averiguar quién acertó y quién se equivocó.
Ahora bien, buscamos el consejo de estas personas. Buscamos sus perspectivas. Y obtenemos muy poco de esas predicciones vagas. Creo que podemos hacerlo mejor llevando la cuenta de los aciertos. Tenemos que formular las predicciones de tal manera que puedan ponerse a prueba. Entonces podremos averiguar quién acierta y quién se equivoca, y cómo aprender a hacerlo mejor.
«Sabemos algo más sobre las diferencias individuales que se correlacionan con la precisión de los pronósticos. Así que podemos decir un poco más sobre quiénes son los mejores pronosticadores».
Conclusiones clave:
Tenemos la suerte de contar con una base empírica para las afirmaciones que hacemos. Sabemos qué funciona basándonos en datos y experimentos. Muchos de los libros, métodos y técnicas para mejorar los pronósticos simplemente no se han puesto a prueba. Así que creo que el componente empírico es claramente algo único de nuestro proyecto.
Hemos aprendido mucho sobre qué permite mejorar las cosas. Por ejemplo, hemos aprendido que los formatos de encuesta con algoritmos estadísticos que combinan los pronósticos pueden superar a los mercados de predicción. Hemos aprendido que, si se miden las probabilidades mientras las personas operan en el mercado y también se les pregunta «¿Qué probabilidad asigna a que ocurra el evento X?», se puede mejorar la precisión de los pronósticos combinando tanto los precios como las probabilidades. Ambas cosas resultan sorprendentes desde una perspectiva económica.
Sabemos algo más sobre las diferencias individuales que se correlacionan con la precisión de los pronósticos. Así que podemos decir un poco más sobre quiénes son los mejores pronosticadores, especialmente en este contexto geopolítico.
Como era de esperar, tienden a ser inteligentes, a saber mucho y a tener amplios conocimientos políticos. Pero también es más probable que sean pensadores activamente abiertos de mente. Son más analíticos. Es más probable que adopten una visión científica del mundo. Es más probable que consideren una pregunta desde múltiples perspectivas y utilicen múltiples clases de referencia. También es más probable que empleen las probabilidades de forma más granular o matizada. Es más probable que digan 17 % y 83 % en lugar de 20 % y 80 %.
Y resulta que esa granularidad adicional contiene información. Si se redondean los pronósticos al 10 %, 20 %, 30 % o 40 % más cercano, la mayoría de los pronosticadores obtiene peores resultados, lo que sugiere que esa granularidad contiene señales valiosas, no solo ruido.
Planes futuros:
El torneo de IARPA concluirá el 2 de junio, dentro de otro mes. Pero ese no será el final de nuestros pronósticos. The Good Judgment Project abrirá un torneo público este otoño. Y tenemos muchas hipótesis que poner a prueba. Necesitaremos muchos voluntarios. Y nos encantaría contar con personas vinculadas a Wharton.
Así que, si esto le interesa, o conoce a alguien a quien le pudiera interesar, visite goodjudgmentproject.com para obtener más información. Le agradeceríamos muchísimo que se uniera a nosotros y nos alegraría mucho contar con su participación.
Reproducido con autorización de Knowledge@Wharton (http://knowledge.wharton.upenn.edu), la revista en línea de investigación y análisis empresarial de la Wharton School de la Universidad de Pensilvania. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autora: Barbara Mellers es profesora de Marketing en Wharton.
Imagen: Un hombre mira un panel de cotizaciones bursátiles frente a una casa de bolsa en Tokio, el 11 de mayo de 2012. REUTERS/Toru Hanai.
