Los modelos macroeconómicos tienen mala reputación en cuanto a su precisión empírica. La macroeconomía ha sido objeto de amplias críticas (p. ej., Hansen y Heckman, 1996) por ser subjetiva e imposible de someter a pruebas con los escasos datos disponibles; por ello, los macroeconomistas construyen modelos de equilibrio general dinámico estocástico (DSGE) muy abstractos, basados en sus propias creencias, ya sea imponiendo parámetros calibrados o estimándolos mediante métodos bayesianos que imponen esas creencias a los datos. Además, la práctica generalizada de comparar hechos estilizados con simulaciones de modelos no se basa en distribuciones estadísticas adecuadas.
Por tanto, no sorprende que se hayan buscado formas eficaces de contrastar los modelos macroeconómicos con los datos. Un método de este tipo son las pruebas de «pronóstico fuera de muestra» (OSF, por sus siglas en inglés). Uno de los economistas que recientemente ha dedicado mucho esfuerzo a probar modelos DSGE de esta manera es Refet Gürkaynak, junto con varios coautores (Edge y Gürkaynak, 2010; Gürkaynak et al., 2013). Su método ha consistido en establecer varios modelos de series temporales no restringidos y comprobar si el modelo DSGE podía pronosticar mejor o peor que estos; la idea es que la eficiencia de los pronósticos mejora al imponer restricciones bien especificadas a los datos. Así, un modelo DSGE que supera a los demás debe incorporar una buena teoría que proporcione tales restricciones. En sus trabajos, Gürkaynak y sus coautores han obtenido resultados dispares. Algunos modelos funcionan mejor que ciertos modelos de series temporales en algunos episodios, y peor en otros. Todos los episodios son de duración limitada y, por tanto, constituyen muestras pequeñas.
Nuevas pruebas
En un trabajo reciente, Yongdeng Xu, Peng Zhou y yo preguntamos: ¿qué nos dicen estas pruebas sobre la calidad de los modelos DSGE (Minford[RB1] et al., 2014)? Para los usuarios, como los responsables de la formulación de políticas, son pertinentes dos cualidades de los modelos:
¿Qué tan buena es la especificación del modelo (algo pertinente para evaluar los efectos de los cambios de política)?
¿Qué tan bien pronostica el modelo (algo pertinente dada la extendida necesidad de pronósticos)?
Respondemos a esta pregunta mediante un experimento de Monte Carlo con un modelo DSGE de uso generalizado, el modelo de Smets y Wouters (2007) (basado en Christiano et al., 2005); el experimento supone que este modelo, con algunos procesos de error derivados de datos de EE. UU., es correcto y genera a partir de él numerosas muestras de datos del tamaño empleado en estas pruebas. Luego comprobamos cómo funcionarían, en pruebas de pronóstico con estas muestras de datos, modelos con grados progresivos de falsedad, en comparación con un modelo de series temporales no restringido: usamos el más general, el VAR. Queremos saber si las pruebas OSF permiten identificar si un modelo tiene tanto una buena especificación (es decir, no es demasiado falso) como un rendimiento de pronóstico sistemáticamente bueno.
Siempre cabe la posibilidad de que un experimento como este arroje conclusiones distintas si se supone otro modelo, una tarea para futuras investigaciones. Sin embargo, los modelos DSGE empleados en estos ejercicios tienen casi todos la estructura de Smets y Wouters, por lo que los resultados no deberían inducir a error respecto de la mayoría de las pruebas OSF realizadas hasta ahora.
Pruebas OSF de la especificación de un modelo
La tabla 1 resume lo que encontramos sobre la capacidad de la prueba OSF para identificar una especificación deficiente.
La tabla muestra con qué frecuencia la prueba rechaza el modelo con un nivel de confianza del 95 % a medida que su falsedad aumenta hasta x %; esto refleja la potencia de la prueba frente a una especificación cada vez más incorrecta.
Para crear falsedad, todos los parámetros del modelo se modifican alternadamente en +/-x %.
La prueba se realiza sobre el crecimiento del PIB, la inflación y los tipos de interés.
Las columnas pertinentes son las dos últimas, que muestran el rendimiento conjunto de las tres variables. Hay dos horizontes de pronóstico: 4 trimestres (4Q) y 8 trimestres (8Q). Nos centramos sobre todo en 4Q porque 8Q tiene una potencia extremadamente débil. Incluso en 4Q observamos una potencia baja; la tasa de rechazo solo supera un tercio cuando la falsedad llega al 10 %.
Tabla 1. Potencia de la prueba OSF
Crecimiento del PIB Inflación Tipo de interés Conjunto de 3
%F 4Q 8Q %F 4Q 8Q %F 4Q 8Q %F 4Q 8Q
Verdadero 5.0 5.0 Verdadero 5.0 5.0 Verdadero 5.0 5.0 Verdadero 5.0 5.0
1 10.2 5.0 1 5.8 4.7 1 4.7 4.8 1 6.0 4.9
3 23.2 5.0 3 7.9 4.8 3 6.5 4.2 3 9.4 5.2
5 34.9 5.2 5 13.4 5.1 5 11.5 4.2 5 15.3 6.0
7 42.5 5.1 7 21.3 6.9 7 18.9 5.4 7 22.9 6
10 52.3 5.5 10 35.6 10.7 10 30.3 6.5 10 36.2 9.8
15 58.0 11.0 15 62.7 23.7 15 48.9 11.9 15 73.8 29.5
20 49.9 60.5 20 97.8 72.4 20 62.7 21.3 20 99.8 90.7
Esto nos indica que las pruebas OSF no identificarán de manera fiable los modelos deficientes; son una prueba débil de la especificación. Para ponerlo en perspectiva, la tabla 2 muestra su potencia junto a la de una prueba de inferencia indirecta dentro de la muestra que Le et al. (2014) han considerado muy eficaz: esta prueba rechaza el modelo más de la mitad de las veces cuando la especificación incorrecta alcanza apenas el 3 %. La prueba se basa en las simulaciones del modelo y pregunta si los datos simulados se comportan de la misma manera que los datos reales de la muestra, con cierto grado de confianza estadística.
Tabla 2. Tasas de rechazo: inferencia indirecta y razón de verosimilitud para 3 variables
Conjunto de 3
% de especificación incorrecta Inf. ind. 4Q 8Q
Verdadero 5.0 5.0 5.0
1 19.8 6.0 4.9
3 52.1 9.4 5.2
5 87.3 15.3 6.0
7 99.4 22.9 6.6
10 100.0 36.2 9.8
15 100.0 73.8 29.5
20 100.0 99.8 90.7
¿Por qué podría tener tan poca potencia la prueba OSF? En los pronósticos, los modelos DSGE utilizan errores ajustados y, cuando el modelo está mal especificado, esto genera errores mayores que absorben la especificación incorrecta del modelo; estos nuevos errores se proyectan hacia el futuro y podrían compensar, en cierta medida, el peor rendimiento de los parámetros mal especificados. Dicho de otro modo, a medida que el modelo DSGE produce errores mayores y reduce la contribución relativa del modelo estructural propiamente dicho, esos errores mayores adquieren parte de las características de un VAR no restringido. En cambio, en la inferencia indirecta, los errores falsos agravan la incapacidad del modelo para generar las mismas características de los datos que los datos reales.
Pruebas OSF de la capacidad de pronóstico de un modelo
Esta escasa potencia de la prueba OSF implica que un modelo puede ser bastante falso y, aun así, pronosticar razonablemente bien: la prueba «aprueba» esos modelos porque pronostican mejor que el modelo de series temporales. Encontramos un grado crítico de falsedad a partir del cual el modelo DSGE pronostica igual de bien, pero no mejor, que el modelo de series temporales: en el caso de este modelo, para el horizonte 4Q era del 7 %. Quien solo esté interesado en la capacidad de pronóstico de un modelo M querrá saber si el modelo M está por encima o por debajo de ese umbral de falsedad.
Hay dos maneras de establecerlo estadísticamente. Se puede usar la prueba OSF y comprobar si el modelo M es rechazado en la cola izquierda o en la cola derecha de la prueba OSF (según Diebold y Mariano, 1995). Si el rendimiento de los pronósticos del modelo M se encuentra en la cola izquierda, se puede rechazar con confianza la hipótesis de que el modelo M pronostica mejor por azar; si se encuentra en la cola derecha, entonces el modelo M pronostica peor por azar.
La tabla 3 muestra la potencia de estas dos pruebas de cola. Vemos que la prueba de cola derecha tiene cierta potencia, pero la de cola izquierda tiene una potencia muy débil. Por tanto, la prueba identifica claramente los modelos falsos que pronostican mucho peor que los modelos de series temporales, pero nótese que tienen que ser realmente malos: al menos un 15–20 % falsos. Mientras tanto, es difícil tener certeza de que un modelo pronostique sistemáticamente mejor que los modelos de series temporales, porque el rendimiento de los pronósticos de todos los modelos con un 7 % de falsedad o menos es muy similar. Esto explica los hallazgos de Gürkaynak et al.: es difícil afirmar con seguridad si los modelos DSGE son mejores o peores que los modelos de series temporales.
Tabla 3. Potencia de las pruebas OSF para la cola izquierda y la cola derecha
Conjunto de 3 - Cola derecha Conjunto de 3 - Cola izquierda
% F 4Q % F 4Q
Verdadero Verdadero 16.7
1 1 14.2
3 3 9.8
5 5 7.2
7 5.0 7 5.0
10 11.3 10
15 46.8 15
20 99.5 20
Sin embargo, hay una solución ingeniosa a esta cuestión si se está dispuesto a utilizar la prueba de inferencia indirecta para establecer el grado de falsedad del modelo M. Volvamos a la tabla 2: frente al modelo con un 7 % de falsedad, la prueba de inferencia indirecta tiene una potencia del 99.4 %. Así que, si los responsables de la formulación de políticas pudieran encontrar un modelo DSGE que no fuera rechazado por esta prueba, podrían tener plena confianza en que pronosticaría al menos tan bien como un modelo de series temporales. Además, ese modelo sería fiable para evaluar políticas.
Conclusiones
Las pruebas OSF se utilizan cada vez más para establecer la calidad de los modelos DSGE, tanto su especificación como su capacidad de pronóstico. En Minford et al. (2014), mis coautores y yo evaluamos, mediante un experimento de Monte Carlo con un modelo de uso generalizado, qué pueden establecer con confianza las pruebas OSF. Encontramos que estas pruebas no pueden distinguir de manera fiable entre modelos bastante seriamente falsos ni entre estos y el modelo verdadero (tienen poca potencia frente a una especificación incorrecta); en cuanto a la capacidad de pronóstico, tampoco distinguen de manera fiable entre los modelos buenos o malos y un modelo que simplemente logra igualar el rendimiento de las series temporales; por tanto, también tienen poca potencia frente a los modelos con buenos y malos pronósticos. Esto explica los resultados ambivalentes de las comparaciones entre los pronósticos DSGE y los de series temporales. Sin embargo, si los usuarios están dispuestos a someter su modelo DSGE a una prueba de inferencia indirecta dentro de la muestra, esta puede utilizarse para establecer de manera fiable tanto la calidad de la especificación del modelo como su capacidad de pronóstico.
Referencias
Christiano, L J, M Eichenbaum, C L Evans (2005), «Nominal Rigidities and the Dynamic Effects of a Shock to Monetary Policy», Journal of Political Economy 113(1): 1–45.
Diebold, F X and R S Mariano (1995), «Comparing Predictive Accuracy», Journal of Business and Economic Statistics 13: 253–263.
Edge, R M and R S Gürkaynak (2010), «How Useful Are Estimated DSGE Model Forecasts for Central Bankers?», Brookings Papers on Economic Activity 41(2): 209–259.
Gürkaynak, R S, B Kisacikoglu, and B Rossi (2013), «Do DSGE models forecast more accurately out-of-sample than VAR models?», CEPR Discussion Paper 9576, julio.
Hansen, L P and J J Heckman (1996), «The empirical foundations of calibration», Journal of Economic Perspectives 10(1): 87–104.
Le, V P M, D Meenagh, P Minford, and M Wickens (2014), «Testing DSGE models by indirect inference and other methods: some Monte Carlo experiments», Cardiff Economics Working Paper E2012/15, actualizado en 2014.
Minford, P, Y Xu and P Zhou (2014), «How good are out of sample forecasting tests?», CEPR Discussion Paper 10239.
Smets, F and R Wouters (2007), «Shocks and Frictions in US Business Cycles: A Bayesian DSGE Approach», American Economic Review 97(3): 586–606.
Este artículo se publica en colaboración con VoxEU. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Manténgase al día con Forum:Agenda suscríbase a nuestro boletín semanal.
Autor: Patrick Minford es profesor de Economía en la Universidad de Cardiff, donde dirige el Instituto Julian Hodge de Macroeconomía Aplicada.
Imagen: Un hombre camina junto a edificios en el distrito financiero central de Singapur, el 14 de febrero de 2007. REUTERS.
