Aunque muchos países utilizan pruebas de alto impacto para clasificar a los estudiantes a efectos de admisión universitaria, se desconocen en gran medida las consecuencias de esta política. ¿Tiene consecuencias a largo plazo para quienes realizan la prueba obtener un resultado particularmente bueno o malo en un examen de alto impacto, una vez tenida en cuenta la capacidad cognitiva del estudiante? En la medida en que las variaciones inducidas por perturbaciones completamente aleatorias en el rendimiento de los estudiantes tengan consecuencias salariales permanentes, esto sugiere que utilizar pruebas de alto impacto como método principal para clasificar a los estudiantes puede ser ineficiente. El bienestar agregado también puede reducirse si se depende demasiado de exámenes que ofrecen mediciones ruidosas de la calidad de los estudiantes, ya que esto puede dar lugar a una mala correspondencia entre estudiantes y ocupaciones y a una asignación ineficiente del trabajo. El debate reciente sobre el rediseño previsto de los SAT se ha visto motivado en parte por la preocupación de que la versión actual sea muy aleatoria y no constituya una medida justa de la calidad de los estudiantes (New York Times 2014).1 A pesar de la escasez de evidencia sobre las consecuencias de estas pruebas, se utilizan ampliamente en todo el mundo para clasificar a los estudiantes y asignar oportunidades, al actuar como filtro de admisión.
Evaluar las consecuencias de utilizar exámenes de alto impacto para clasificar a los estudiantes es difícil. En primer lugar, por lo general no se dispone de grandes muestras de datos que incluyan las puntuaciones de pruebas estandarizadas y los salarios en la edad adulta para una población representativa.2 En segundo lugar, dado que presumiblemente los estudiantes con mayor capacidad obtienen mejores resultados en las pruebas de alto impacto, resulta difícil distinguir por separado el rendimiento de la capacidad cognitiva y el rendimiento de obtener buenos resultados en el examen. Una posible solución es examinar las consecuencias de las fluctuaciones de un componente aleatorio que afecta al rendimiento en estas pruebas. Una posibilidad es la fluctuación de la contaminación del aire, que podría afectar a la agudeza cognitiva y a las puntuaciones de las pruebas, generando así una variación plausiblemente aleatoria en el resultado de un estudiante determinado. Se ha demostrado que la contaminación del aire afecta negativamente a la productividad humana en diversas tareas (Graff Zivin y Neidell 2012, Chang et al. 2014). Dado que se asigna a los estudiantes a los lugares de examen sin que conozcan de antemano los niveles de contaminación ni tengan la posibilidad de reprogramarlo, esta constituye un factor exógeno que afecta al rendimiento. Esto puede permitir medir directamente el rendimiento del componente de la puntuación de un estudiante atribuible enteramente a la suerte y aportar evidencia sobre si estas pruebas tienen o no consecuencias a largo plazo.
Contaminación y resultados de los exámenes en las escuelas secundarias israelíes
En dos artículos abordamos directamente esta cuestión mediante un conjunto de datos de estudiantes de secundaria israelíes, en el que observamos sus puntuaciones en el Bagrut, la contaminación a la que estuvieron expuestos durante el examen y sus ingresos y nivel educativo en la edad adulta. El Bagrut consiste en una serie de exámenes de alto impacto que los estudiantes realizan al terminar cada año de secundaria; tiene una enorme importancia para las posibilidades de admisión de los estudiantes israelíes en las mejores instituciones y también determina el abanico de ocupaciones al que puede acceder un estudiante. Nuestros dos artículos intentan evaluar, respectivamente, (1) la sensibilidad de las puntuaciones del Bagrut a la exposición a la contaminación y (2) la influencia de las puntuaciones del Bagrut en los resultados económicos en la edad adulta.
En el primer artículo examinamos el universo de estudiantes israelíes que realizaron las pruebas entre 2000–2002, para quienes observamos la contaminación y los resultados de más de 400,000 exámenes de distintas asignaturas. Como observamos a los mismos estudiantes en varias convocatorias de exámenes después de cada año de secundaria, podemos controlar tanto las características invariantes en el tiempo de cada escuela como las de cada estudiante. El rigor de las pruebas del Bagrut y la precisión de su puntuación ofrecen un contexto para analizar un posible vínculo entre la cognición y la contaminación del aire, incluso si esta solo provoca descensos modestos del rendimiento cognitivo. Además, el pequeño tamaño de Israel y su sistema de vigilancia bien desarrollado implican que la mayoría de los lugares de examen están cerca de una estación donde observamos niveles precisos de concentración de contaminantes. Por último, la heterogeneidad étnica de Israel ofrece un contexto para examinar la respuesta de distintos grupos a la contaminación y, posiblemente, distinguir entre los diferentes mecanismos por los que esta puede afectar al rendimiento cognitivo. En el artículo presentamos evidencia considerable de que la contaminación afecta significativamente a las puntuaciones, y la heterogeneidad de los efectos medidos apunta a un mecanismo fisiológico. Cabe señalar también que el efecto es muy transitorio. Como se muestra en la Figura 1, el impacto de la contaminación es pronunciado el día del examen, mientras que el día anterior o el posterior se observan efectos mucho menores.
Figura 1. Impacto de PM2.5 en las puntuaciones de las pruebas durante los días anteriores y posteriores al examen
Notas: La figura muestra los coeficientes de una regresión de las puntuaciones de las pruebas del Bagrut sobre las mediciones de PM2.5 en los días previos, el día del examen (Day=0) y los días posteriores. Los errores estándar se agrupan por escuela.
En el segundo artículo examinamos datos a nivel de estudiante y planteamos una pregunta económica más contundente: ¿qué implicaciones a largo plazo tiene para un estudiante pasar un «mal día» en un examen de alto impacto? Evaluamos esta cuestión con la misma muestra de estudiantes y su exposición promedio a la contaminación durante sus exámenes. Como los estudiantes de una misma escuela realizan exámenes en días distintos, existe una variación considerable en la exposición a la contaminación incluso después de incluir efectos fijos de escuela. Nuestros resultados se destacan en la Tabla 1. Estimamos que 10 unidades adicionales de PM2.5 (partículas en suspensión de menos de 2.5 μm) en la exposición promedio se asocian con una disminución del 0.023% en la puntuación compuesta del Bagrut de un estudiante, una disminución del 0.03% en la obtención del certificado de matriculación del Bagrut, una disminución del 0.019% en la matrícula en educación postsecundaria y una reducción de 0.15 años de educación universitaria. Las consecuencias salariales también son significativas: 10 unidades adicionales de PM2.5 en la exposición promedio a la contaminación reducen los ingresos mensuales en 109 shekels israelíes ($29), aproximadamente un 2%. Esto sugiere que los estudiantes que realizan un examen durante un episodio grave de contaminación sufren consecuencias no triviales a largo plazo, tanto académicas como económicas.
Tabla 1. Efecto de forma reducida de las partículas en suspensión sobre la educación postsecundaria y los ingresos en la edad adulta
Notas: Cada celda de la tabla representa una regresión independiente. La tabla presenta la relación entre el PM2.5 (AQI) promedio durante el Bagrut y el resultado indicado, estimada mediante la muestra a nivel de estudiante descrita en la Tabla 1. Todas las regresiones incluyen controles omitidos para la temperatura y la humedad promedio durante el Bagrut, los años de escolarización de la madre y del padre, el sexo y la edad en 2010. Los coeficientes se expresan por cada 100 unidades de AQI. Los errores estándar se agrupan a nivel de escuela, son robustos a la heterocedasticidad y se presentan debajo de los coeficientes, entre paréntesis.
En análisis posteriores aprovechamos la sólida relación de primera etapa entre la exposición promedio a la contaminación durante los exámenes del Bagrut y las puntuaciones compuestas del Bagrut para estimar el rendimiento económico de cada punto adicional en el Bagrut. Mediante mínimos cuadrados en dos etapas (2SLS), estimamos que cada punto vale (en 2010) 66 shekels ($18) de ingresos mensuales adicionales. Dado que la desviación estándar de las puntuaciones compuestas del Bagrut es de aproximadamente 24 puntos, esto implica que el examen tiene consecuencias salariales significativas, incluso ante desviaciones relativamente pequeñas en la puntuación de una persona. A la luz de la sólida relación entre la exposición a la contaminación durante el Bagrut y la educación postsecundaria, podemos utilizar 2SLS para estimar el rendimiento implícito de la educación superior. Estimamos que un año adicional de estudios postsecundarios vale 707 shekels ($191) al mes, lo que implica un rendimiento de la educación universitaria del 14%. Esta tasa es solo ligeramente superior a las estimaciones existentes del rendimiento de la educación postsecundaria en Israel y otros lugares (Frish 2009, Oreopoulos y Petronijevic 2013, Angrist y Chen 2011, Angrist y Lavy 2009). Aunque en este contexto podría incumplirse la restricción de exclusión, la similitud de nuestras estimaciones con las estimaciones existentes del rendimiento de la educación postsecundaria respalda que la magnitud de los efectos estimados de PM2.5 en la escolarización y los resultados económicos es razonable.3
Observaciones finales
Los resultados del estudio contribuyen a un creciente conjunto de evidencia de que la contaminación afecta a la cognición, lo que sugiere que centrarse de manera limitada en los beneficios para la salud de reducir la contaminación podría subestimar el verdadero beneficio de reducir la contaminación del aire. En segundo lugar, nuestro análisis pone de relieve una gran desventaja de utilizar exámenes de alto impacto para clasificar a los estudiantes. Si una variación completamente aleatoria de las puntuaciones puede seguir teniendo importancia diez años después de que un estudiante termine la secundaria, esto sugiere que dar demasiado peso a exámenes de alto impacto como el Bagrut podría no ser compatible con los principios meritocráticos. Además, al reducir temporalmente la productividad del capital humano, los altos niveles de contaminación pueden conducir a una ineficiencia asignativa, ya que los estudiantes con mayor capital humano podrían recibir una clasificación inferior a la de sus compañeros menos cualificados. Esto puede dar lugar a una asignación ineficiente de trabajadores entre ocupaciones y, posiblemente, a una fuerza laboral menos productiva. Los resultados ponen de relieve el peligro de dar demasiado peso al rendimiento de un estudiante en un examen de alto impacto, en lugar de a su expediente académico general.
Referencias
Angrist, J D y S H Chen (2011), «Schooling and the Vietnam-Era GI Bill: Evidence from the Draft Lottery», American Economic Journal: Applied Economics 3(2): 96–118.
Angrist, J y V Lavy (2009), «The Effects of High Stakes High School Achievement Awards: Evidence from a Randomized Trial», American Economic Review 99(4): 1384–1414.
Cawley, J, J Heckman y E Vytlacil (2001), «Three observations on wages and cognitive ability», Labour Economics 8: 419–442.
Chang, T, J Graff Zivin, T Gross y M Neidell (2014), «Particulate Pollution and the Productivity of Pear Packers», documento de trabajo NBER 19444.
Frisch, R (2009), «The Economic Returns to Schooling in Israel», Israel Economic Review 7(1): 113–141.
Graff Zivin, J S y M J Neidell (2012), «The Impact of Pollution on Worker Productivity», American Economic Review 102: 3652–3673.
Lewin, T (2014), «A New SAT Aims to Realign With Schoolwork», The New York Times, 5 de marzo.
Oreopoulos, P y U Petronijevic (2013), «Making College Worth It: A Review of Research on the Returns to Higher Education», documento de trabajo NBER 19053.
Notas al pie
1 En un debate reciente sobre las revisiones previstas de los SAT, el presidente del College Board afirmó que «solo el 20 por ciento… considera que las pruebas de admisión universitaria son una medida justa del trabajo realizado por sus estudiantes». (New York Times 2014)
2 Cabe señalar que en EE. UU., el Educational Testing Service (ETS) es notoriamente privado y que, hasta donde sabemos, no se ha realizado ningún estudio que vincule las puntuaciones del SAT con resultados en la edad adulta, ni siquiera para pequeños subconjuntos de la población. En el caso de los reclutas militares, se han facilitado los datos del ASVAB, pero no está claro hasta qué punto son pertinentes para otros subgrupos de población (Cawley et al. 2001).
3 Como la puntuación compuesta del Bagrut afecta directamente a las opciones de educación postsecundaria disponibles para un estudiante, los modelos 2SLS del rendimiento de la educación postsecundaria que utilizan la contaminación como instrumento estarán sesgados por la omisión de la puntuación compuesta del Bagrut.
Publicado en colaboración con VoxEU
Autores: Victor Lavy es titular de la cátedra William Haber de Economía en The Hebrew University of Jerusalem y catedrático de Economía en Royal Holloway University of London. Avraham Ebenstein es miembro del Departamento de Economía de The Hebrew University. Sefi Roth es candidato al doctorado en el Departamento de Economía de Royal Holloway, University of London.
Imagen: Retrato de estudiantes que toman asiento para la ceremonia de entrega de diplomas en Harvard University, en Cambridge. REUTERS/Brian Snyder.
