Este artículo se publica en colaboración con VOX EU.
Al igual que cualquier otro grupo de profesionales, los economistas académicos son extremadamente competitivos y están muy preocupados por medir su éxito, en una especie de autocontemplación profesional. Se centran, e incluso en algunos casos están obsesionados, con medir el impacto de su trabajo en la producción académica, en el mundo en general y en su posición frente a otros miembros de la profesión.1 Las clasificaciones y las medidas de éxito cumplen un propósito más amplio que la mera competencia dentro del grupo: indican en qué medida los logros de un investigador como tal afectan a otros académicos y, por tanto, en última instancia, al debate público y a las políticas públicas. El problema es cómo comparar los logros, y por ello es especialmente importante contar con algunas medidas consensuadas de los logros individuales y colectivos.
La mayoría de los economistas académicos (y otros investigadores) juzgan sus propios logros y los de sus pares por el número de publicaciones, con especial énfasis en las publicaciones en revistas consideradas más prestigiosas. La razón es sencilla: estas señales de logro requieren muy poco esfuerzo para reunir información y casi no exigen reflexión. Aunque un grupo selecto de revistas de economía se conoce comúnmente como las «Top Five», juzgar la calidad basándose simplemente en dónde aparece un artículo es una forma extremadamente deficiente de evaluarla.2 Como mínimo, debería prestarse atención a en qué medida las revistas influyen en otras investigaciones, es decir, a las citas que reciben los artículos de una revista. Un árbol puede caer en un bosque muy concurrido, pero si nadie oye su caída, ¿importa?
Dentro de este grupo selecto de revistas existe una enorme heterogeneidad entre los artículos publicados. Tomando cada artículo que apareció en estas revistas en 2007 y 2008, la Figura 1 muestra gráficamente la distribución del número de citas recibidas desde su fecha de publicación hasta enero de 2015, según se mide en Web of Science.3 Mientras que el artículo promedio había sido citado 50 veces, el artículo mediano había recibido solo 35 citas de académicos y otros autores que podrían leer la revista. Además, solo el 21 % había recibido más de 100 citas. El prestigio de las principales revistas de economía surge principalmente porque unos pocos artículos que publican atraen una atención muy amplia. Aunque otros no son totalmente ignorados, su impacto es reducido.4
Figura 1. Distribución de las citas en Web of Science de las publicaciones Top Five, 2007-08
Gran parte de la investigación publicada en otras revistas tiene un impacto que supera al de la investigación publicada en los medios más prestigiosos. Tomando las dos revistas generales de economía que se consideran los siguientes peldaños hacia abajo en la «cadena alimentaria» de la publicación en economía, la Figura 2 muestra en qué posición colocarían las citas recibidas por los artículos de estos medios menores si hubieran sido publicados en uno de los medios Top Five.5 Si bien es cierto que la mayoría de estos artículos atraen menos atención que los artículos de las revistas principales, incluso el artículo con mediana de citas en estas revistas «menores» recibe más atención que el 30 % de las publicaciones en las revistas principales. La producción académica es heterogénea, por lo que, al juzgarla, hay que considerar casos individuales y no simplemente evaluar la investigación según dónde se publica.
Figura 2. Percentil de citas de los artículos del Economic Journal y de la Review of Economics and Statistics en la distribución de citas de las publicaciones Top Five, 2007-08
La investigación en economía se caracteriza cada vez más por la coautoría: hoy en día, la gran mayoría de los artículos académicos tienen dos o más autores, y una proporción considerable tiene tres o más (véase Hamermesh 2013). Al juzgar las contribuciones individuales a la investigación, ¿cómo pueden evaluarlas los posibles empleadores, los estudiantes y los externos, cuando suelen ser el resultado de una producción conjunta? Esto es especialmente cierto cuando los autores principales, cuya reputación está consolidada, tienen incentivos para exagerar las contribuciones de sus coautores júnior, que pueden estar buscando empleo o promoción.
No hay forma de conocer de antemano el impacto de un artículo académico, pero podemos relacionar las citas posteriores que recibe un artículo de economía con su número de autores. Esta función de producción del impacto académico indica la atención media que recibe la investigación según el número de investigadores que la producen, y mide implícitamente la productividad marginal de un coautor adicional.
La Figura 3 presenta el número medio de citas posteriores en Web of Science que recibieron los artículos publicados en las revistas «Top Five» en 2007 y 2008, en función del número de autores. Los coautores adicionales son, en promedio, efectivamente productivos en términos de citas adicionales, pero el efecto marginal sobre el impacto académico de añadir otro coautor es mucho menor que proporcional. Pasar de trabajos de un solo autor a trabajos de dos autores aumenta las citas apenas un 20 %, y pasar de uno a cuatro autores ni siquiera duplica el impacto académico de un artículo. La productividad marginal de un coautor adicional es, como sugeriría la teoría económica, decreciente en el número de coautores.
Figura 3. Media de citas en Web of Science de las publicaciones Top Five, 2007-08, por número de autores
La productividad marginal decreciente de los coautores adicionales sugiere que, al evaluar el éxito de los investigadores en economía, no basta con contar artículos, ni artículos ajustados por la calidad de la revista, ni, lo que sería preferible, las citas que recibe cada artículo individual. Al juzgar una investigación recién publicada, hay que reducir la estimación del impacto medido de cada autor individual, dividiéndola quizá por el número de autores, N, o al menos por algún número mayor que 1. Al final, muchos años después de la publicación, cuando el impacto académico final de la investigación se ha revelado casi por completo, dividir el crédito por el número de autores parece ser el único enfoque sensato para medir las contribuciones y el éxito de un individuo.
El grado de heterogeneidad en los logros de los economistas individuales también es enorme. Incluso si se toman solo los académicos sénior de élite, es decir, quienes obtuvieron su doctorado hace más de 15 años y que están en escuelas clasificadas entre las 20 primeras de EE. UU., una superestrella (es decir, un investigador que se encuentra entre el 1 % más citado de este grupo) recibe 14 veces más citas que el académico mediano del grupo; y el académico mediano recibe 6 veces más citas que alguien del decil inferior de investigadores clasificados por citas en este grupo de élite. Unos pocos individuos explican la gran mayoría de la atención que recibe este grupo: el 15 % de estos economistas acapara la mitad de todas las citas que recibe el grupo. Hay unos pocos economistas superestrella, más estrellas, y aún más planetas, pero la mayoría son asteroides académicos.
Además de juzgar el éxito individual, también juzgamos los logros de los grupos de investigadores en economía, es decir, las facultades a las que están afiliados los individuos, ya que estos juicios son importantes para los estudiantes que consideran estudios de posgrado, los jóvenes investigadores que buscan empleo y los externos que buscan expertos en cuestiones económicas. Una amplia variedad de medidas, basadas en publicaciones o citas, que analizan promedios, medianas o los logros de los mejores investigadores de una institución, producen clasificaciones notablemente similares, en las que Harvard, Princeton, Chicago, Stanford, MIT y Berkeley se sitúan de forma constante entre las diez primeras facultades de economía de EE. UU. Las mejores facultades de economía de Europa suelen quedar muy por debajo de este grupo según estas medidas habituales.6
Aquí también, sin embargo, prestar atención a la heterogeneidad (considerar los logros de los miembros individuales de la facultad) es al menos tan importante como analizar las estadísticas resumidas. Al menos el 25 % de los investigadores de las facultades de economía clasificadas entre el 6.º y el 10.º puesto tienen historiales que los sitúan por encima del académico con mediana de citas en al menos una de las facultades de economía clasificadas entre el 1.º y el 5.º puesto, y los investigadores de escuelas clasificadas, en promedio, en la segunda decena tienen historiales que los situarían por encima del académico con mediana de citas en al menos una de las facultades del top 10. Lo mismo ocurre con las mejores facultades de economía europeas. Existe un enorme solapamiento en calidad entre las instituciones de élite, de modo que juzgar las facultades según los logros promedio pasa por alto la mayor parte de la variación en los logros individuales.
El mensaje central que se desprende del análisis de los logros de los economistas es que no se pueden clasificar los logros individuales de los académicos —sus carreras o sus contribuciones individuales a la investigación— mediante medidas resumidas, como el lugar donde se publica la investigación o la institución a la que está afiliado un académico. Las mejores escuelas tienen algunos académicos mediocres, mientras que las escuelas con menor clasificación tienen algunas estrellas. Las principales revistas publican más de las mejores investigaciones académicas que otras revistas, pero también publican muchas investigaciones que en su mayoría son ignoradas. Juzgar correctamente el éxito en economía requiere prestar atención a los resultados individuales, no a los agregados, que son malos indicadores de los resultados individuales de los que están compuestos.
Nota del autor: Esta columna se basa en el Documento de Trabajo n.º 21754 de la NBER, «Citations in Economics: Measurement, Uses and Impacts».
Referencias
Cartter, A. (1966), An Assessment of Quality in Graduate Education, Washington, DC: American Council for Education.
Davis, P. y G. Papanek (1984), «Faculty Ratings of Major Economics Departments by Citations», American Economic Review 74, pp. 225-250.
Dusansky, R. y C. Vernon (1998), «Rankings of U.S. Economics Departments», Journal of Economic Perspectives 12, pp. 157-170.
Ellison, G. (2013), «How Does the Market Use Citation Data? The Hirsch Index in Economics», American Economic Journal: Applied Economics 5, pp. 63-90.
Hamermesh, D. (2013), «Six Decades of Top Economics Publishing», Journal of Economic Literature 51, pp. 162-172.
Notas finales
[1] Se han elaborado numerosas clasificaciones de economistas individuales y de grupos durante más de cuatro décadas; algunos ejemplos son Davis and Papanek (1984), Dusansky and Vernon (1998) y Ellison (2013).
[2] Se trata de American Economic Review, Econometrica, Journal of Political Economy, Quarterly Journal of Economics y Review of Economic Studies.
[3] Estos y los resultados posteriores de este artículo son esencialmente los mismos si se utiliza la otra fuente principal de citas a artículos académicos, Google Scholar.
[4] Se llega a la misma conclusión si adoptamos una perspectiva más amplia y examinamos las citas posteriores a los artículos publicados en estas revistas en 1974 y 1975.
[5] Se trata de Economic Journal y Review of Economics and Statistics.
[6] Estas seis escuelas figuraron entre las siete primeras en 1964, en la primera clasificación integral de programas de economía en Estados Unidos; véase Cartter (1966).
La publicación de este artículo no implica que el Foro Económico Mundial respalde sus opiniones.
Para estar al día con la Agenda suscríbase a nuestro boletín semanal.
Autor: Daniel S. Hamermesh es catedrático de Economía en la Royal Holloway University of London y profesor emérito Sue Killam en la Universidad de Texas en Austin.
Imagen: Un hombre camina frente a edificios en el distrito financiero central de Singapur. REUTERS/Nicky Loh.
