Todo el mundo tiene su historia favorita del proyecto que se convirtió en un espectacular movimiento social (SEWA) o produjo una innovación tecnológica (M-PESA) o dio lugar a una nueva organización próspera (New Internationalist, Fairtrade Foundation), pero esto no es más que seleccionar ejemplos a conveniencia. ¿Qué tal algo más riguroso: cómo diseñarían una investigación para analizar los efectos a largo plazo de todo nuestro trabajo? Algunas ideas iniciales, pero agradecería sus sugerencias:
Una opción sería hacer algo parecido a nuestras Revisiones de eficacia, pero retrospectivo: tomar una muestra aleatoria de 20 proyectos de nuestra cartera, por ejemplo, de 2005, y luego diseñar la investigación más rigurosa posible para evaluar su impacto.
Por supuesto, hacerlo plantearía serios desafíos metodológicos. Cuanto más atrás en el tiempo se retrocede, más acontecimientos y actores de confusión habrán aparecido entretanto, diluyendo la atribución como el agua que se filtra en la arena. Si las prácticas agrícolas son más productivas en este pueblo que en uno vecino, ¿quién puede decir que se debe a ese proyecto concreto que se llevó a cabo hace una década? Además, si las prácticas han dado buenos resultados, probablemente otras comunidades se habrán fijado en ellas: ¿cómo se tienen en cuenta los efectos indirectos positivos y los efectos en cadena? Y estos podrían haberse extendido mucho más: a las políticas gubernamentales o a cambios de actitudes y creencias.
Como siempre que alguna cuestión de MEL me da dolor de cabeza, recurrí a la gurú de Oxfam, Claire Hutchings. Ella considera que las dificultades prácticas son aún mayores de lo que imaginaba: «Incluso entender qué hizo realmente el proyecto se vuelve complicado cuando ya está cerrado. El personal y los socios que trabajaron en él suelen estar financiados con fondos restringidos. Cuando estos se acaban, se marchan y, sin ellos, es increíblemente difícil averiguar qué ocurrió realmente y superar lo que la documentación indica que harían o hicieron».
Y Claire cree que tratar de buscar atribución probablemente sea una búsqueda inútil: «Creo que debemos gestionar, y quizá modificar, las expectativas sobre lo que podemos evaluar de forma realista una vez que un proyecto lleva tiempo cerrado. Por ejemplo, intentar entender el propio proceso de cambio y los diversos factores que contribuyeron a él (de los cuales el proyecto puede ser uno), en lugar de centrarse en comprender, documentar y evaluar la contribución de un proyecto concreto a una parte del proceso de cambio».
Mi colega John Magrath, que hace las veces de memoria institucional no oficial de Oxfam, considera que una respuesta es recurrir más a historiadores y antropólogos, acostumbrados a una perspectiva a largo plazo. También señala que el nivel de volatilidad se ve de forma muy distinta desde la perspectiva de un donante que desde la de una organización local: los donantes van y vienen, pero las organizaciones locales suelen ser mucho más estables con el tiempo. Así que, en parte (haciendo eco de lo que dice Claire), deberíamos simplemente intentar entender el origen de su éxito, sin preocuparnos tanto por atribuirnos algún tipo de mérito.
Tim Harford sostiene en Adapt
que los éxitos suelen resurgir como el ave fénix de las ruinas de fracasos anteriores, y eso también se aplica al sector de la ayuda. ¿Cómo sabemos cuándo las personas han adquirido habilidades en algún proyecto abandonado y desaparecido hace tiempo y luego las han aplicado en otro lugar con enorme éxito? un programa social estadounidense. Si su MEL termina con el proyecto, quizá nunca lleguen a conocer ese éxito posterior.
El objetivo de todo esto sería explorar cómo el enfoque o el diseño de determinados proyectos afecta a su impacto a largo plazo y, así, orientar el diseño de la siguiente generación. ¿Hay alguna fundación interesada en aceptar el reto?
La buena noticia es que otras personas ya están pensando en esta línea: acabo de recibir esto de Janet Clark, de VSO:
«Como punto de partida, hemos encargado una evaluación un año después de cerrar todos nuestros programas en Sri Lanka. Aunque este es solo un pequeño paso para comprender la sostenibilidad, también estamos estudiando la viabilidad de evaluar el impacto durante un período más largo en otros programas.
Las preguntas de evaluación se centraron en cómo definían la capacidad los socios locales y qué contribución hicieron los voluntarios de VSO al desarrollo de capacidades; explicaciones alternativas de los cambios en la capacidad organizativa; consecuencias imprevistas del desarrollo de capacidades; y hasta qué punto se han mantenido los avances en este ámbito. También se exploró cómo se produjo el cambio: por ejemplo, cuáles son los factores clave para que el desarrollo de capacidades tuviera éxito inicialmente y se mantuviera después, y qué es lo que resulta singular y demostrablemente eficaz del desarrollo de capacidades mediante la asignación de voluntarios internacionales.
Un año después del cierre de nuestra oficina en el país, surgieron algunos desafíos logísticos prácticos para realizar una evaluación: recibimos un valioso apoyo de antiguos empleados, pero estaban ocupados con nuevos trabajos y proyectos. A veces, a los antiguos socios les costaba recordar los detalles de algunas intervenciones que se remontaban a diez años atrás y, en algunos casos, el personal clave de los socios ya se había marchado. Estos factores hicieron que el rastro de pruebas fuera a veces débil o se hubiera perdido, aunque no siempre fue así.
Este artículo apareció originalmente en el blog People, Spaces, Deliberation del Banco Mundial. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autor: El Dr. Duncan Green es director de Investigación en Oxfam GB y miembro visitante del Instituto de Estudios sobre el Desarrollo.
Imagen: Niños juegan en un aula escolar destruida. REUTERS.
