La revolución del big data puede ofrecernos herramientas analíticas con las que los investigadores anteriores solo podían soñar. Pero los datos por sí solos no bastan. Como demuestran Carmen Reinhart y Kenneth Rogoff, y ahora Thomas Piketty, la transparencia del método es igual de crucial.
En “A Critique of Reinhart and Rogoff”, el artículo que por primera vez cuestionó la conclusión del trabajo de 2010 de la pareja, “Growth in a Time of Debt”, los autores Thomas Herndon, Michael Ash y Robert Pollin afirmaron haber descubierto que “los errores de codificación, la exclusión selectiva de datos disponibles y la ponderación no convencional de las estadísticas resumidas dan lugar a errores graves que representan de forma inexacta la relación entre la deuda pública y el crecimiento del PIB”.
Uno de los problemas más claros que se identificaron fueron los errores cometidos al introducir datos en las hojas de cálculo. Estos errores hicieron que cinco países quedaran excluidos del análisis y, junto con otros errores de codificación, llevaron a los autores a subestimar las tasas medias de crecimiento de los países muy endeudados y a sobrestimar el crecimiento de los menos endeudados.
Sin embargo, los errores de codificación representan solo un pequeño porcentaje del resultado global (y fueron aceptados por Reinhart y Rogoff como errores). En cambio, la discrepancia entre las conclusiones de los dos artículos se debe en gran medida a la corrección de lo que Reinhart y Rogoff denominaron “la exclusión selectiva de datos disponibles y la ponderación no convencional de las estadísticas resumidas”. Es decir, la principal cuestión planteada por Herndon, Ash y Pollin fue la metodología del artículo original, y no solo los datos.
Esto nos lleva a la controversia actual en torno al economista francés Thomas Piketty y a su nuevo libro, El capital en el siglo XXI. Tras analizar los datos que Piketty ha publicado en internet de forma loable, el Financial Times descubrió lo que, según afirmó, eran “entradas de datos inexplicadas y errores en las cifras que sustentan algunos de los gráficos clave del libro”. Estos fueron lo suficientemente graves, a juicio de Chris Giles, editor de economía del FT, como para socavar la tesis central del libro, según la cual la parte de la riqueza en manos de los más ricos de la sociedad ha crecido de forma inexorable.
De forma similar al incidente de Reinhart y Rogoff, se descubrieron problemas en los datos introducidos por Piketty y sus investigadores. Sin embargo, al igual que en el caso anterior, los errores de transcripción por sí solos no explican la mayor parte de los presuntos fallos detectados por el FT. En cambio, estos son consecuencia de desacuerdos metodológicos relacionados con “alteraciones no explicadas de los datos originales de la fuente” y con ponderaciones incoherentes.
Como era de esperar, al igual que en el caso anterior, el autor y sus defensores niegan rotundamente las acusaciones formuladas contra el libro. En primer lugar, Piketty sostiene que los ajustes a los datos fueron necesarios para mantener la coherencia a lo largo del tiempo y entre países. Y, en segundo lugar (a diferencia del ejemplo de Reinhart y Rogoff), los presuntos fallos detectados en el análisis no logran refutar la tendencia general de aumento de la desigualdad en la riqueza.
Sea cual sea su opinión sobre la veracidad de estas afirmaciones y contraafirmaciones, lo que demuestran ambos casos es que no aclarar los supuestos y los ajustes que sustentan la metodología deja los resultados expuestos a este tipo de críticas. Incluso si existe una justificación convincente para haber realizado ajustes en los datos subyacentes, la ausencia de explicación puede llevar fácilmente a suponer motivos perversos donde quizá no los haya.
Comprender cómo se han seleccionado y recopilado los datos es fundamental para quienes desean replicar los resultados, una práctica que no solo ayuda a corregir errores, sino que también puede hacer que las conclusiones finales sean más sólidas. Además, permite a los lectores saber por qué se han tomado determinadas decisiones, de modo que puedan entender mejor el argumento.
En esa medida, Piketty, Reinhart y Rogoff son responsables de haber asumido que el camino seguido en su investigación importaba menos que los resultados. Sin embargo, este fallo no es solo suyo. Si queremos aprovechar el potencial del big data, debemos ir más allá de abrir simplemente nuestras hojas de cálculo al escrutinio. La lección es clara: solo cuando revelamos las decisiones que tomamos al seleccionar datos, la transparencia puede convertirse en rendición de cuentas.
Autor: Tomas Hirst trabaja para el equipo digital del Foro Económico Mundial.
Imagen: una ilustración muestra una proyección de código binario alrededor de la sombra de un hombre con un ordenador portátil en una oficina de Varsovia, el 24 de junio de 2013. REUTERS/Kacper Pempel
