Tras ver durante más de un año las diapositivas de PowerPoint con los resultados preliminares, es grato poder informar que el estudio en seis países que evalúa el enfoque de «graduación de la pobreza extrema» (asociado originalmente con BRAC) por fin se ha publicado. Los resultados parecen impresionantes y sin duda generarán un breve ciclo de noticias y entusiasmo, por lo que podría ser útil analizar las fortalezas y debilidades del estudio (con vistas a la reducción sostenible de la pobreza en los países en desarrollo) y ofrecer algunas conclusiones para quienes diseñan programas de protección y promoción social e inclusión productiva.
El artículo, publicado en Science, no es muy extenso y vale la pena leerlo, pero aquí va un resumen muy breve. El programa del estudio se dirige a las personas en situación de pobreza extrema (de aquí en adelante, TUP) y trabaja intensamente con los hogares seleccionados de las comunidades durante unos 24 meses. Colabora con los hogares para identificar una actividad generadora de ingresos, les transfiere el principal activo productivo (mediante una subvención), entrega efectivo mensual en forma de estipendios para proteger los activos productivos, realiza visitas de seguimiento frecuentes a los beneficiarios y ayuda con la inclusión financiera, entre otras cosas. Lo fundamental es que, aunque se trata de una intervención única que termina, sí dura con cierta intensidad un par de años; esto es importante. En general, estos programas son más costosos que los de microcrédito porque otorgan subvenciones en vez de préstamos y dedican una cantidad considerable a servicios adicionales, pero la idea es que tengan un impacto sostenido una vez que el programa termine. Además, se dirigen a hogares individuales, no a grupos, como ocurre en otros programas.
El estudio se centra en 10 ámbitos importantes en los que estos programas pueden tener efectos, entre ellos el consumo, los ingresos, la acumulación de activos, el empleo, la inclusión financiera, la salud, la participación política y el empoderamiento de las mujeres. Examina los efectos inmediatamente al término del programa de dos años, es decir, justo después de que cesa todo el apoyo del programa, y vuelve a analizarlos un año más tarde. La tabla 3 resume los resultados generales: al final del programa se observan mejoras significativas en ocho de los 10 ámbitos, y un año después, en siete. En términos estandarizados, los efectos no son abrumadores: oscilan entre 0,05 y 0,25 desviaciones estándar. Por tanto, estos hogares siguen siendo pobres, aunque menos que antes.
¿Cuáles son las fortalezas y debilidades del estudio? Empecemos por lo positivo:
Diversos contextos: Hace tiempo que se dispone de evidencia sobre la implementación por parte de BRAC de un programa del mismo tipo en Bangladesh (véase Bandiera et al. 2013). Este estudio aplica el mismo concepto en otros seis países, colabora con ONG locales en cada caso y demuestra que puede funcionar en otros lugares.
Medición de múltiples resultados: Los autores abarcan muchas de las medidas pertinentes para las mejoras del bienestar y las condiciones necesarias para reducir la pobreza de forma sostenida. No solo miden los ingresos, el empleo, los activos, la inclusión financiera y el consumo, sino también la salud, el empoderamiento de las mujeres y la inclusión social.
El horizonte temporal tiene sentido: La intervención busca cambiar algo de forma permanente para la generación actual, de modo que estos hogares no dependan (o dependan menos) de programas similares en el futuro. Por eso, la intervención tiene un principio y un final: es una cuerda que ofrece una oportunidad, no una red de seguridad, como suele decir un querido colega. La evaluación también reconoce que examinar los impactos inmediatamente al término del programa no tiene mucho sentido por sí solo: lo que nos importa son los efectos sostenidos en el bienestar, cuando ya no se recibe este apoyo. Dado que hay tan pocos programas que demuestren claramente efectos sostenidos en la reducción de la pobreza, esto es realmente importante.
Interesantes análisis de las implicaciones y limitaciones: Los autores analizan varios aspectos interesantes de su estudio. Por ejemplo, reconocen con franqueza que se trata de un paquete y que todavía no sabemos con certeza qué componentes son más importantes que otros; para averiguarlo se necesitarían más experimentos. También ofrecen un buen análisis comparativo entre sus resultados y los de GiveDirectly, que, por así decirlo, representa el enfoque exactamente opuesto al de TUP: tomar todo el dinero que TUP gasta en activos, capacitación, seguimiento, etc., y entregárselo al hogar en efectivo (quizá incluso en un único pago global por teléfono móvil: muy barato). Hay indicios de que los efectos de TUP podrían durar más que los de una transferencia global de efectivo, pero por ahora la comparación no es del todo equivalente: se trata de distintos países, grupos destinatarios, montos, etc. Aun así, es mejor que nada, pues algunos responsables de políticas públicas se interesan por estas comparaciones. También es bienvenido el análisis de las externalidades y los efectos de equilibrio general.
Ahora, veamos las limitaciones que probablemente recibirán menos atención en la cobertura:
Muestras pequeñas en cada país: el número de hogares que recibieron el tratamiento en cada país es muy reducido: entre 450 y 800. Quienes trabajan en gobiernos suelen señalar que una cosa es que una ONG se concentre intensamente en una zona y preste un paquete de servicios bajo un mismo techo, y otra muy distinta que un gobierno coordine la prestación de esos servicios (quizá a través de varios ministerios sectoriales y proveedores locales) a gran escala para millones de personas.
Pocos hogares en cada comunidad: el número de hogares tratados en cada aldea es de tan solo 4 (sí, cuatro) y llega como máximo a 20. Sin duda representan una proporción ínfima del total de hogares de esas comunidades. Los autores restan importancia a la posibilidad de efectos de equilibrio general (por ejemplo, la disminución del rendimiento de una misma actividad a medida que aumenta el número de personas que la realizan en una zona pequeña), y sostienen que estos programas se ampliarían más bien geográficamente y no dentro de las aldeas. No estoy de acuerdo: el hecho de que los hogares elegibles se asignaran aleatoriamente dentro de cada aldea me indica que al menos podríamos duplicar el número de hogares tratados por comunidad. Además, si este programa ayuda, y me estoy inventando esta cifra, a solo un 3-4 % de la población, ¿puede ser realmente tan útil como programa principal de reducción de la pobreza, incluso si es costoeficaz?
Selección de beneficiarios: el punto anterior plantea otra cuestión importante: cómo se define a los beneficiarios elegibles. Las ONG de cada país aplicaron criterios de elegibilidad distintos para seleccionar a los posibles beneficiarios. Aunque los gobiernos utilizan criterios de selección para diversos programas, a menudo fragmentados, el objetivo final es reducir la pobreza. Por tanto, nuestro objetivo sería encontrar un programa (o conjunto de programas) que funcione con un criterio de selección más sencillo, es decir, para el X % más pobre; pueden elegir que X sea 10, 25 o incluso más. No sabemos qué efecto tuvieron los métodos exactos de selección empleados en el éxito de TUP en este estudio, pero sigue en pie la pregunta de si los gobiernos podrían reproducir resultados similares con grupos destinatarios más grandes…
Efectos indirectos negativos: Un aspecto nada desdeñable del diseño del estudio es que, en los seis países, los hogares del grupo de tratamiento y los del grupo de control viven en las mismas comunidades. Por tanto, los resultados principales reflejan las diferencias entre los hogares asignados aleatoriamente al grupo de tratamiento y los asignados al de control dentro de las aldeas. Sin embargo, en tres de los seis países se realizó una aleatorización en varios niveles —primero a nivel de aldea y luego a nivel de hogar—, lo que permite a los autores examinar los efectos indirectos en esos tres países. A partir de este subconjunto, los autores analizan los efectos indirectos en la página 12 del artículo y afirman que no afectan sustancialmente los resultados. Sin embargo, esta afirmación se basa en la pregunta: «¿Hay efectos indirectos significativos?», cuya respuesta suele ser «no». Pero deberíamos plantear una pregunta relacionada, aunque distinta: «¿Influyen los efectos indirectos en las inferencias que pueden extraerse?». La respuesta a esta pregunta es mucho más debatible y yo diría que «sí». Recordemos que en la tabla 3 observamos efectos significativos en siete de los 10 ámbitos un año después de que terminara el programa. En la tabla S6b, esa cifra baja a dos: inclusión financiera e ingresos y ganancias. Los efectos en el consumo, la seguridad alimentaria, los activos, el trabajo y la salud no son significativos; esto no se debe solo a la pérdida de potencia estadística: hay suficientes indicios de efectos indirectos negativos en ambas mediciones finales (el efecto en la salud mental es particularmente llamativo, pues también hemos encontrado efectos negativos de este tipo en el grupo asignado aleatoriamente al grupo de control en este artículo). Es excelente que el efecto de 0,2 desviaciones estándar en los ingresos y las ganancias persista un año después del fin de todo el apoyo, pero si la tabla S6B fuera la tabla principal de este estudio, hablaríamos mucho menos de él. No es ideal que los tres países en los que los efectos comunicados son mayores (Etiopía, India y Pakistán) sean también aquellos donde solo hubo aleatorización a nivel de hogar, es decir, donde no podemos estimar los efectos indirectos.
Efectos a largo plazo: Aunque hay que reconocer el mérito de los autores por examinar los efectos un año después de que cesara todo el apoyo, ese plazo sigue siendo demasiado corto. Quisiéramos ver que estos efectos duren más para poder reorientar fondos hacia este enfoque con confianza.
Heterogeneidad de los efectos: Si una responsable de políticas públicas estuviera considerando adoptar este enfoque en su país, ¿qué tasa de éxito podría esperar? ¿Cómo se compara la heterogeneidad dentro de los países con la que existe entre ellos? En uno de los seis países (Honduras), el programa no funcionó en absoluto. Un segundo ensayo controlado aleatorizado (RCT) realizado en otro lugar de India no se incluyó en este metaanálisis (por problemas de comparabilidad de los datos), pero la nota al pie 10 indica que no tuvo impacto. De hecho, originalmente había 10 sitios, cuatro de los cuales, por una u otra razón, no se incluyeron en este artículo (la nota al pie 10 los describe bien). Considerar la heterogeneidad de los efectos entre países y la probabilidad de fracaso en caso de adopción no resta valor a los impresionantes impactos promedio de este metaanálisis, pero es algo que quienes diseñan políticas públicas deben hacer.
Entonces, ¿qué conclusiones deberían extraer los gobiernos que diseñan programas para reducir la pobreza?
Los resultados deberían considerarse, como mínimo, interesantes y prometedores para nuestros esfuerzos por identificar programas con efectos persistentes en los ingresos y el consumo. Harían bien los gobiernos en estudiar los resultados, debatir los detalles y su pertinencia para los contextos locales, y analizar cómo este enfoque podría ayudarlos a diseñar programas de protección social más eficaces. Muchos gobiernos cuentan con sistemas que proporcionan redes de seguridad social a las personas pobres, pero aún no hay pruebas de programas que encaminen a los pobres hacia una trayectoria de crecimiento sostenido que les permita salir de la pobreza.
Sin embargo, también debemos comprobar si los gobiernos pueden adoptar al menos algunos elementos de este modelo y lograr que tengan efectos persistentes. Por tanto, el siguiente paso es experimentar a escala.
Los gobiernos también tendrán que decidir si este enfoque puede funcionar para un número mayor de personas pobres. De no ser así, tendrán que idear una serie de programas de graduación, mediante los cuales los hogares pasen de uno a otro y necesiten servicios distintos, pero menos asistencia en cada etapa.
También tenemos que experimentar con los componentes del paquete TUP: esto podría mejorar la costoeficacia si algunos componentes son útiles, pero no esenciales para el éxito.
Necesitamos evaluaciones a más largo plazo, pues salir de la pobreza no es fácil ni rápido. En muchos casos, los resultados a corto plazo de los estudios se revierten a largo plazo, por lo que es importante hacer un seguimiento de los resultados a corto, medio y largo plazo.
Por último, al experimentar, los gobiernos no deberían temer probar distintos enfoques al mismo tiempo. Como es legítimo que no sepamos cuál funciona mejor, podría tener sentido hacer que dos o tres enfoques prometedores «compitan» a escala y en igualdad de condiciones. Cuantos más países generen este tipo de evidencia, mayor será nuestra confianza en los enfoques que funcionan y en los que no.
Este artículo se publicó originalmente en el blog Development Impact del Banco Mundial. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para estar al día sobre la Agenda, suscríbase a nuestro boletín semanal.
Autor: Berk Özler es economista sénior del Grupo de Investigación sobre el Desarrollo, Unidad de Pobreza.
Imagen: Una mujer que lleva a su bebé camina junto a árboles caídos en Tanna el 18 de marzo de 2015. REUTERS/Edgar Su.
