La rápida expansión de la evidencia sobre evaluaciones de impacto ha venido acompañada de una proliferación de revisiones sistemáticas. En pocas palabras, se supone que una revisión sistemática debe «resumir la mejor investigación disponible sobre una pregunta específica». Encontramos 238 revisiones en la base de datos de 3ie de revisiones sistemáticas sobre «la eficacia de las intervenciones sociales y económicas en países de ingreso bajo y medio», que buscan resumir la mejor evidencia sobre temas tan diversos como el efecto de la gestión forestal descentralizada en la deforestación y el efecto del microcrédito en el control de las mujeres sobre el gasto del hogar.
Pero ¿hasta qué punto son realmente concluyentes estas revisiones sistemáticas? En los últimos dos años, observamos que había varias revisiones sistemáticas sobre un mismo tema: cómo mejorar los resultados de aprendizaje de los niños en países de ingreso bajo y medio. De hecho, encontramos seis. Por supuesto, estas revisiones no son exactamente iguales: algunas solo incluyen ensayos controlados aleatorizados (ECA), y otras incluyen estudios cuasiexperimentales. Algunas examinan únicamente cómo mejorar los resultados de aprendizaje, mientras que otras incluyen tanto los resultados de aprendizaje como los de acceso. Una solo incluye estudios de África. Pero todas comparten el objetivo fundamental de identificar qué mejora los resultados de aprendizaje.
Estos son los seis estudios:
Identificación de intervenciones educativas eficaces en África subsahariana: un metaanálisis de evaluaciones rigurosas de impacto, de Conn (2014)
Recursos escolares y resultados educativos en países en desarrollo: revisión de la bibliografía de 1990-2010, de Glewwe et al. (2014)
El desafío de la educación y el aprendizaje en el mundo en desarrollo, de Kremer et al. (2013)
¿Educación de calidad para todos los niños? Qué funciona en la educación de los países en desarrollo, de Krishnaratne et al. (2013)
Mejora del aprendizaje en las escuelas primarias de los países en desarrollo: un metaanálisis de experimentos aleatorizados, de McEwan (2014)
Mejora de los resultados educativos en los países en desarrollo: lecciones de evaluaciones rigurosas, de Murnane & Ganimian (2014)
En conjunto, abarcan una enorme cantidad de investigación educativa. Identifican 227 estudios que miden el impacto de alguna intervención en los resultados de aprendizaje en el mundo en desarrollo. 134 de ellos son ECA. Hay estudios de todo el mundo, muchos de ellos de China, India, Chile y — lo adivinaste — Kenia. Pero, al leer los resúmenes y las introducciones de las revisiones, observamos algunas coincidencias, aunque también bastantes divergencias. Una destacó que las intervenciones pedagógicas eran las más eficaces; otra, que las intervenciones de información y tecnología informática eran las que más elevaban las puntuaciones de las pruebas; y una tercera destacó que los materiales escolares eran lo más importante.
¿Qué está pasando? En un artículo reciente, intentamos averiguarlo.
Composiciones diferentes. Aunque abordan el mismo tema, estos estudios no examinan los mismos artículos. De hecho, ni siquiera se acercan. De los 227 estudios en total que miden resultados de aprendizaje y que aparecen en las seis revisiones, solo 3 están incluidos en las seis, según la figura siguiente. Esto quizá no sorprenda, dado que existen diferencias en los criterios de inclusión (solo ECA, solo África, etc.). Tal vez algunos de esos estudios no sean de la más alta calidad. Pero apenas 13 estudios aparecen siquiera en la mayoría de las revisiones (4, 5 o 6). De todos los estudios, 159 (¡el 70 por ciento!) se incluyen en una sola revisión. 74 de ellos son ECA y, por tanto, podría decirse que son de mayor calidad y deberían incluirse en más revisiones. (Por supuesto, hay ECA de baja calidad y estudios que no son ECA de alta calidad. Es solo un ejemplo.) La más exhaustiva de las revisiones abarca menos de la mitad de los estudios.
Si hacemos un análisis más parsimonioso, examinando solo ECA con resultados de aprendizaje en el nivel primario entre 1990 y 2010 en África subsahariana (lo que básicamente corresponde a la intersección de los criterios de inclusión de las seis revisiones), encontramos 42 estudios en total, y la mediana de estudios incluidos en una revisión sistemática determinada es 15, aproximadamente un tercio. Por tanto, hay sorprendentemente poca coincidencia entre los estudios que examinan estas revisiones.
¿Y qué hay de la categorización? Las revisiones también difieren en la forma en que clasifican los mismos estudios. Por ejemplo, un programa que ofrece becas por mérito a niñas en Kenia se clasifica alternativamente como una reducción de las tasas escolares, una transferencia de efectivo, un incentivo para estudiantes o un incentivo al rendimiento. Del mismo modo, un programa que ofrecía aprendizaje asistido por computadora en India se clasifica alternativamente como «computadoras o tecnología» o «materiales».
¿Qué determina las distintas conclusiones? ¿La composición o la categorización? Seleccionamos una recomendación positiva de cada revisión y examinamos qué estudios sustentaban esa recomendación. Luego contamos cuántos de esos estudios estaban incluidos en otras revisiones. Como muestra la figura siguiente, la proporción varía enormemente, pero el valor mediano es del 33 %: en otras palabras, es probable que otra revisión incluyera apenas un tercio de los estudios que sustentan una recomendación importante en una revisión determinada. Así que la composición importa mucho. Por eso, por ejemplo, McEwan encuentra resultados mucho mayores para las computadoras que otros autores: las demás revisiones incluyen, en promedio, apenas un tercio de los estudios que sustentan su resultado.
Al mismo tiempo, la categorización también influye. Una revisión destaca la provisión de materiales como una de las mejores formas de mejorar las puntuaciones de las pruebas. Pero varios de los estudios clave que esos autores llaman «materiales», otros autores los clasifican como «computadoras» o «tecnología educativa». Aunque sin duda son materiales, no todos los materiales son iguales.
La variación es mayor por dentro. Las revisiones sistemáticas tienden a agrupar las intervenciones en categorías (como «incentivos», «provisión de información» o «computadoras»), pero afirmar que una de estas ofrece los mayores rendimientos promedio oculta que la variación dentro de estos grupos suele ser tan grande o mayor que la variación entre grupos. Cuando McEwan concluye que las intervenciones con computadoras ofrecen los mayores rendimientos promedio, es fácil olvidar que esa misma categoría de intervenciones incluye muchos fracasos, como se puede ver en el gráfico forestal de su artículo, a continuación. (Nos referimos a One Laptop Per Child en Perú o en Uruguay; pero no al programa que proporcionó computadoras portátiles en China. ¡Vaya, incluso hay heterogeneidad dentro de las subcategorías de intervención!) De hecho, de las 11 categorías de intervenciones del artículo de McEwan, 5 tienen una desviación estándar de los tamaños del efecto dentro de la categoría mayor que la desviación estándar de los tamaños del efecto en toda la muestra de la revisión. Y en otras 5, la desviación estándar dentro de la categoría supera la mitad de la desviación estándar de la muestra completa. Esto es un argumento a favor de informar la eficacia con niveles más bajos de agregación de las categorías de intervención.
Fuente: McEwan (2014)
¿Qué nos dice esto? Primero, vale la pena invertir en una búsqueda exhaustiva. Quizá incluso valga la pena replicar las búsquedas. Segundo, puede ser conveniente combinar metodologías de revisión sistemática, como el metaanálisis (que es muy sistemático, pero excluye algunos estudios) y la revisión narrativa (que no es muy sistemática, pero permite incluir muchos estudios y examinar los elementos específicos de una categoría de intervención que hacen que funcione o no). Tercero, hay que mantener un bajo nivel de agregación de las categorías de intervención para que estas puedan ser realmente útiles.
Por último, y quizá lo más importante, conviene tomar las revisiones sistemáticas con cautela. Es muy probable que sus recomendaciones estén respaldadas por buena evidencia, pero quizá no correspondan a la mejor categoría de intervención, ya que es probable que mucha evidencia no se haya incluido en la revisión.
Ah, y ¿cuáles son los tres estudios ganadores que aparecieron en las seis revisiones sistemáticas?
¿Muchos niños quedaron rezagados? Libros de texto y puntuaciones en las pruebas en Kenia, de Kremer, Glewwe, & Moulin (2009)
Análisis retrospectivo frente a prospectivo de los insumos escolares: el caso de los rotafolios en Kenia, de Glewwe, Kremer, Moulin y Zitzewitz (2004)
Incentivos para aprender, de Kremer, Miguel, & Thornton (2009)
Mañana escribiremos brevemente sobre los tipos de intervenciones que se recomiendan con mayor coherencia en las distintas revisiones.
Trabajo futuro. ¿Podría alguien hacer ahora una revisión sistemática de nuestra revisión sistemática de las revisiones sistemáticas?
Este artículo se publicó originalmente en el blog Development Impact del Banco Mundial. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autor: David es economista sénior en la Oficina del Economista Jefe para la Región de África del Banco Mundial. Anna Popova es analista de investigación en la Oficina del Economista Jefe para la Región de África del Banco Mundial, donde trabaja en la evaluación de impacto de intervenciones de desarrollo humano.
Imagen: Una mujer recoge hojas de té en una plantación de Nandi Hills, en la región de las tierras altas de Kenia, al oeste de la capital, Nairobi, el 5 de noviembre de 2014. REUTERS/Noor Khamis.
