Cómo responden las personas a la evaluación

Cómo responden las personas a la evaluación
Este contenido ha sido traducido automáticamente con IA.

Mi resumen de los intentos recientes de cuantificar el efecto Hawthorne hace unas semanas dio lugar a intercambios útiles con colegas y comentaristas que me señalaron otros trabajos que aún no había leído. Resulta que, históricamente, el término «efecto Hawthorne» se ha utilizado de manera muy inconsistente. Se ha referido no solo a (a) las respuestas conductuales al conocimiento de una persona de que está siendo observada —la definición que solemos usar en la evaluación de impacto—, sino también a (b) las respuestas conductuales al simple hecho de participar en un estudio, e incluso a (c) el deseo de una persona de modificar su conducta para complacer al investigador. Por supuesto, todas estas definiciones guardan una relación general, pero es importante tener claridad conceptual al usar el término, ya que la naturaleza desordenada de las respuestas conductuales a la investigación plantea varios desafíos inferenciales distintos para la evaluación de impacto. El efecto Hawthorne es solo uno de esos posibles desafíos. Permítanme presentar una clasificación de distintas respuestas conductuales que, si llegan a producirse, pueden amenazar la validez de cualquier evaluación (con especial énfasis en «pueden»).

Primero, una digresión: es interesante señalar que los estudios originales de Hawthorne, realizados en la planta de Hawthorne, a las afueras de Chicago, no resisten un examen minucioso. Resulta que hay poco en los datos originales que apunte a un efecto Hawthorne real: la serie de estudios contenía muchas variables sin controlar, lo que hacía imposible identificar un efecto. Levitt y List vuelven a analizar la primera ronda de experimentos y concluyen: «Quizá la lección más importante de los experimentos originales de Hawthorne sea el poder de una buena historia. La mitología en torno a los experimentos de Hawthorne surgió, en gran medida, sin un análisis cuidadoso de los datos…». No obstante, Levitt y List admiten que, en general, es posible que exista un efecto Hawthorne, aunque no estuviera presente en los estudios de Hawthorne propiamente dichos.

Otros investigadores van aún más lejos. Un artículo de 2006 se titula «El efecto Hawthorne es un mito, pero ¿qué mantiene viva la historia?». Un segundo artículo sostiene que debería evitarse el término «efecto Hawthorne»: «En cambio… los investigadores deberían introducir variables psicológicas y sociales específicas que podrían haber afectado el resultado estudiado, pero que no se monitorearon durante el proyecto, junto con el posible efecto sobre los resultados observados». Sin embargo, esta propuesta presenta un problema evidente: no sabemos exactamente por qué ni en qué contextos se produce el efecto Hawthorne, por lo que sería difícil dar cuenta de él mediante las variables observables del estudio. Más importante aún, incluso si supiéramos exactamente por qué surge el efecto Hawthorne en un contexto determinado, quizá no podríamos evitarlo si el único método disponible para evaluar la conducta objetivo coincide con el conocimiento de los participantes de que están siendo observados.

Independientemente de que hubiera un efecto Hawthorne real en la planta de Hawthorne durante las distintas rondas de estudio de 1924-1933, numerosos estudios posteriores han identificado que una persona modifica su conducta (en el mundo real, no solo en el laboratorio) como resultado de la observación. En mi última publicación enumeré 12 estudios de este tipo que intentan cuantificar los efectos Hawthorne en la investigación sobre salud. Mi lista no pretendía ser exhaustiva.

Bien, a veces parece que el efecto Hawthorne es real. Dicho esto, no es la única respuesta conductual posible a la evaluación. Permítanme distinguir ahora las siguientes posibilidades conductuales:

  • La respuesta de una persona al saber que participa en una intervención de evaluación: esto es conceptualmente distinto del efecto Hawthorne porque afecta de manera diferente a las unidades tratadas y de control, incluso si ambos grupos están sometidos a niveles equivalentes de observación. Sin duda, es teóricamente posible que saber que se participa en una intervención experimental afecte la conducta. Entre los posibles canales de este efecto figuran la emoción ante un cambio en las actividades habituales o el deseo de complacer a los evaluadores. Llamaré a este efecto «efecto foco».

  • Por otro lado, si la conducta se ve influida por saber que se ha quedado fuera de una intervención de evaluación —quizá debido a la desmotivación que causa saber que se ha sido excluido—, se denomina efecto John Henry. Solo es aplicable a los grupos de control.

  • Reservemos el término efecto Hawthorne para referirnos a la respuesta de una persona al saber que está siendo observada. Supongo que, para que se produzca este efecto, normalmente tendría que percibirse algún beneficio por comportarse de cierta manera.

Como todos estos efectos son respuestas intencionales al conocimiento de la participación o de la observación, los impulsa el significado que una persona atribuye a (a) el hecho de estar bajo observación y/o (b) la participación en un experimento social. Como he escrito anteriormente al hablar de la «respuesta de significado» como explicación del efecto placebo, los experimentos sociales deben considerar cómo interpretarán los participantes su participación en el estudio y el hecho de estar bajo observación, y si podrían atribuir un significado no previsto a alguna de estas actividades. Levitt y List analizan algo muy parecido cuando señalan que el escrutinio (la observación) influye en el grado de conductas prosociales observadas en los experimentos de laboratorio.

  • Por último, aunque el efecto Hawthorne es una respuesta intencional al hecho de estar bajo observación, consideremos como posibilidad al menos teórica una respuesta distinta y no intencional a la observación. A este tipo de efecto lo llamaré «efecto sugestión»; se ha señalado en un estudio sobre seguro médico en el que la contratación del seguro, meses después de la entrevista, fue mucho mayor entre las personas encuestadas que entre aquellas cuyo seguimiento se realizó mediante datos administrativos y que no fueron entrevistadas.

Aquí hay una tabla que delimita estos cuatro efectos y propone posibles mecanismos para explicarlos. También esbozo quizá los únicos medios para identificar cada uno de ellos de forma concluyente:

Tengan en cuenta que en esta taxonomía solo considero efectos que pueden influir en la conducta real, y no los que afectan la veracidad de la información declarada (a diferencia de la conducta real). En el blog ya se han tratado métodos para reducir lo que se denomina sesgo de deseabilidad social en las respuestas a encuestas, aquí y aquí.

Entonces, ¿cuánto deberíamos preocuparnos por estos efectos? Por supuesto, es difícil decirlo, ya que las pruebas suelen ser escasas y el contexto importa mucho: ninguno de estos efectos puede producirse si las personas participantes en el estudio (a) no saben que participan en una evaluación y (b) no saben que están siendo observadas. Bastantes evaluaciones de impacto —por lo general, evaluaciones de políticas a gran escala que se basan principalmente en datos administrativos— cumplen estas dos condiciones.

El efecto Hawthorne probablemente es el que cuenta con más estudios dedicados a medirlo, pero incluso en este caso el número de estudios no es abrumador y los contextos estudiados no son muy diversos. Resulta algo tranquilizador que, según las observaciones de docentes y profesionales de la salud, el efecto Hawthorne parezca desaparecer bastante rápido a medida que la persona se habitúa a la observación.
No conozco ningún estudio que intente identificar y medir el «efecto foco» mediante los métodos de identificación propuestos en la tabla anterior. David revisó recientemente las pruebas sobre el efecto John Henry y concluye que, en el mejor de los casos, son escasas. El único artículo reciente que conozco que investiga el «efecto sugestión» es el citado anteriormente.

¿Son realmente infrecuentes los efectos «foco», John Henry y «sugestión»? ¿Qué contextos, si los hay, podrían propiciar estos efectos? ¿O quizá estos efectos son más generalizados de lo que sospechamos, pero aún no se han identificado? No lo sé.

Cuéntennos si conocen algún trabajo pertinente que no hayamos mencionado. Quizá el blog debería considerar mantener una lista abierta de investigaciones relevantes.

Esta publicación apareció originalmente en The World Bank Blog

Autor: Jed Friedman es economista sénior en el Grupo de Investigación sobre el Desarrollo (Equipo de Pobreza y Desigualdad) del Banco Mundial.

Imagen: Una niña de la comunidad hebrea israelita africana, conocida popularmente como «los hebreos negros», se esconde detrás de un adulto durante una celebración de la festividad de Shavuot en la localidad sureña de Dimona, el 15 de junio de 2014. REUTERS/Finbarr O’Reilly

Compartir:

Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso. Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.