Las pruebas de las evaluaciones de impacto en los países en desarrollo están aumentando. Si necesitamos pruebas de ello, aquí hay dos ejemplos: primero, el número acumulado de evaluaciones de impacto (por fecha de publicación) sobre la mejora del aprendizaje, a partir de una serie de revisiones sistemáticas publicadas en los últimos dos años, recopiladas por un colega y por mí. Segundo, el número acumulado de evaluaciones de impacto sobre la reducción de la mortalidad materna e infantil, según una revisión sistemática reciente (IEG 2013). Las pruebas están aumentando rápidamente.
Uno de los principales objetivos de toda esta investigación es influir en las políticas. (Como Langou & Weyrauch (2013) señalan, este ha sido uno de los objetivos de las ciencias sociales durante «los últimos dos siglos». Hay muchos instrumentos para influir en las políticas, pero uno muy habitual es la «nota de políticas». La nota de políticas ha formado parte del plan de difusión de casi todas las propuestas de evaluación de impacto que he escrito o revisado. La lógica es sencilla: los responsables de formular políticas no tienen tiempo para leer un artículo académico completo, y mucho menos un montón de ellos, así que redactaremos un documento breve y no técnico que describa los principales resultados y sus implicaciones para las políticas.
¿Marcan alguna diferencia?
Después de hacer y leer todas estas promesas de producir notas de políticas, me entusiasmó encontrar un experimento que evaluaba si estas notas tienen algún impacto (estudio publicado; informe anterior de libre acceso). Masset et al. (2013) enviaron correos electrónicos a 75.000 personas de listas de distribución de organismos de desarrollo para invitarlas a participar. Alrededor del uno por ciento respondió y completó la encuesta de referencia. Por lo tanto, desde la perspectiva de la validez externa, se trata de un grupo sumamente selecto de personas, potencialmente muy interesadas en el tema o para quienes el tiempo tiene poco valor. Aun así, creo que el experimento plantea algunas ideas interesantes sobre cómo comunicar los resultados de las evaluaciones de impacto para influir en las políticas.
A 807 participantes (el uno por ciento) se les envió por correo electrónico uno de los siguientes materiales: (1) una nota de políticas; (2) una nota de políticas con un artículo de opinión del director de una organización de desarrollo (apelación a la autoridad); (3) una nota de políticas con el mismo artículo de opinión, esta vez atribuido a un investigador asociado (opinión sin más); y (4) una nota de políticas placebo (es decir, una nota sobre un tema totalmente ajeno y, por tanto, poco probable que influyera en las creencias sobre el tema estudiado). También se les envió un enlace para completar una encuesta de seguimiento en un plazo de siete días. En los tres meses siguientes, recibieron dos correos electrónicos más que los invitaban a completar encuestas de seguimiento adicionales.
La nota de cinco páginas en cuestión resumía una revisión sistemática sobre «la eficacia de las intervenciones agrícolas destinadas a mejorar el estado nutricional de los niños». La revisión presentó tres hallazgos, resumidos en el experimento de Masset et al.:
«Las intervenciones agrícolas basadas en alimentos aumentan eficazmente la producción y el consumo de los alimentos que promueven, y hay algunas pruebas de que esto incrementa la ingesta de vitamina A».
«No hay pruebas de que estas intervenciones tengan efectos en el estado nutricional de los niños (antropometría)».
«Los estudios que evalúan estas pruebas son escasos y a menudo recurren a metodologías débiles».
Nota de políticas del grupo de tratamiento
[ENLACE]
Nota de políticas placebo
[ENLACE]
Al inicio del estudio y de nuevo en el seguimiento, se preguntó a los participantes si creían que ciertas intervenciones eran eficaces para mejorar el estado nutricional de los niños y qué solidez atribuían a las pruebas sobre cada intervención. («No lo sé» era una de las opciones.) Se les hicieron estas preguntas sobre las cuatro intervenciones incluidas en la nota de políticas (por ejemplo, la biofortificación y los huertos familiares), así como sobre otras cuatro intervenciones no relacionadas (por ejemplo, las transferencias de efectivo y la desparasitación).
La pérdida de participantes fue de alrededor del 50 % en el primer seguimiento y de alrededor del 70 % en el seguimiento final (tres meses después). Una vez más, esto dificulta interpretar los resultados, que pasan de la categoría de convincentes a la de interesantes. Dicho esto, los autores muestran que la pérdida de participantes no difiere entre los grupos de tratamiento. Parece que quienes permanecieron en el estudio tenían algo más de probabilidades de opinar sobre las intervenciones tratadas que quienes lo abandonaron (por ejemplo, el 49 % de quienes permanecieron frente al 43 % de quienes abandonaron tenía una opinión sobre la solidez de las pruebas relativas a la biofortificación), y también más probabilidades de creer que las intervenciones eran eficaces (entre quienes tenían una opinión al inicio del estudio), aunque estas diferencias nunca son estadísticamente significativas.
Mediante un análisis de regresión de diferencias en diferencias, los autores concluyen que el experimento aumentó significativamente la probabilidad de que los participantes tuvieran alguna opinión sobre la solidez de las pruebas relativas a los temas examinados y que, en el caso de la biofortificación, aumentó la probabilidad de que opinaran sobre la eficacia real de la intervención. (No tuvo ningún efecto en las intervenciones no relacionadas, como la desparasitación.) No hay diferencias significativas entre los grupos de tratamiento.
En cuanto a cómo afectó realmente la nota a las creencias —en lugar de limitarse a animar a las personas a formarse una opinión—, solo hubo un efecto en el caso de la biofortificación: los participantes rebajaron ligeramente su valoración de la solidez de las pruebas y, en dos de los tres grupos de tratamiento, revisaron a la baja su valoración de la eficacia real de la biofortificación. No sorprende que el efecto se concentrara en este tema: la biofortificación es la única intervención destacada en las implicaciones para las políticas de la primera página de la nota: «La biofortificación puede ayudar, pero aún no es una solución demostrada». Este efecto limitado se debe a los participantes que no habían expresado una opinión sobre los temas antes de leer la nota.
En resumen, los autores concluyen que la nota ayudó a las personas que no tenían una opinión sobre el tema a formarse una, concretamente una acorde con los hallazgos de la nota.
No todas las notas de políticas son iguales
Me encantaría ver este tipo de experimento (con una tasa de abandono menor) realizado con distintos tipos de notas y otras herramientas de comunicación. Revisé brevemente algunas series de notas de políticas: las del Banco Mundial From Evidence to Policy, Finance & Private Sector Development Impact y DIME Briefs; la serie Policy Briefcase del Poverty Action Lab; la serie conjunta de 3ie y el Institute for Development Studies, Evidence Matters ; y una nota independiente de mi único trabajo. Como puede verse en los ejemplos de abajo, todas tienen entre 2 y 5 páginas y presentan muchas similitudes (la mitad incluye una foto atractiva y la mayoría tiene mucho texto). Sin embargo, la forma de presentar la información varía bastante: algunas presentan los resultados con gráficos o figuras; otras destacan los hallazgos clave, y otras no hacen ninguna de las dos cosas (para quienes estén dispuestos a leer con mucha atención). Algunas notas de políticas presentan hallazgos poco concluyentes («Revisamos las pruebas y no hay muchas», como en el tema del experimento anterior); otras presentan un hallazgo «contundente» (por ejemplo, «Las transferencias de efectivo mejoran la nutrición» o «Los efectos de las transferencias de efectivo persisten después del programa»).
¿Qué diseño hace que las personas tengan más probabilidades de leer, compartir, entender o creer los resultados? En realidad, no lo sabemos.
[ENLACE]
[ENLACE]
[ENLACE]
[ENLACE]
[ENLACE]
[ENLACE]
Por otro lado, quizá «¿Cuál de estos modelos funciona?» sea la pregunta equivocada. Una encuesta a unos 500 actores interesados en las políticas (del gobierno, organizaciones no gubernamentales, el sector privado, los medios de comunicación, etc.), realizada entre 2009 y 2011 en América Latina y Asia meridional, situó las notas de políticas casi al final de la lista de formas de intercambio de información útiles para respaldar las políticas.
Mientras nosotros, como comunidad de investigación para el desarrollo, sigamos redactando estas notas sobre nuestras rigurosas evaluaciones de impacto, sería valioso realizar investigaciones rigurosas sobre la eficacia de los productos resultantes. Y llevar la nota de políticas al próximo evento presencial o al ofrecer asesoramiento en persona.
Este artículo fue publicado originalmente por el blog Development Impact del Banco Mundial. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para mantenerse al día con la Agenda suscríbase a nuestro boletín semanal.
Autor: David es economista sénior en la Oficina del Economista Jefe para la región de África del Banco Mundial.
Imagen: Una mujer con un bebé a la espalda observa un asentamiento informal en Luanda, la capital, el 30 de agosto de 2012. REUTERS.
