Las universidades cuentan con una enorme variedad de medidas para evaluar su grado de éxito. La mayoría tienen mucho que ver con el prestigio y poco con los resultados de sus egresados o con la calidad de la educación que reciben sus estudiantes.
Puntuaciones mínimas de admisión
Probablemente, la medida más extendida del éxito de las universidades en Australia y en muchos otros países sea la selectividad en el ingreso de estudiantes de grado, que en Australia se mide mediante puntuaciones mínimas de admisión. La puntuación mínima de admisión de un programa es la más baja necesaria para ingresar en él.
Las puntuaciones mínimas de admisión no son un buen indicador de la calidad ni siquiera del rendimiento previo de los estudiantes que ingresan, porque la mayoría obtiene una puntuación superior al mínimo. A menudo, los programas con una puntuación mínima de admisión de alrededor de 60, por ejemplo, aceptan a la mayoría de los estudiantes con puntuaciones superiores a 80. Una medida mucho mejor del rendimiento de quienes ingresan en un programa —en la medida en que sea una buena medida de algo— es la puntuación mediana, es decir, la puntuación intermedia de ingreso de los estudiantes.
No obstante, estudiantes, padres, centros educativos, gobiernos, el público e incluso el personal universitario, que debería saber más, consideran ampliamente que las puntuaciones mínimas de admisión son un indicador de la calidad de un programa y de una universidad. Un buen ejemplo son el ministro de Educación de Nueva Gales del Sur, Adrian Piccoli, y el selecto Group of Eight, integrado por universidades, que intentaron exigir puntuaciones mínimas de ingreso para acceder a programas de formación docente o a todos los programas universitarios de grado.
Encuestas a estudiantes
Australia, al igual que muchos otros países, depende en gran medida de las encuestas a estudiantes para evaluar el desempeño de las universidades. El cuestionario sobre la experiencia en los cursos se administra a los egresados unos cuatro meses después de que completan su programa.
Se ha evaluado rigurosamente y varios estudios han refutado las críticas habituales de que favorece a docentes superficiales o a evaluadores poco exigentes. Ya se dispone de más de 20 años de resultados del cuestionario sobre la experiencia en los cursos, que proporcionan una valiosa serie de datos sobre la enseñanza universitaria.
Junto con el cuestionario sobre la experiencia en los cursos, se administra la encuesta sobre el destino de los egresados. Esta informa sobre el empleo, los estudios u otras actividades de los egresados cuatro meses después de graduarse.
La encuesta posterior a la graduación informa sobre las actividades, los resultados y las experiencias de los egresados tres años después de graduarse.
El gobierno australiano también financia una encuesta sobre la experiencia universitaria. Esta encuesta consulta a estudiantes actuales durante el segundo semestre.
Estadísticas
El gobierno australiano publica numerosas estadísticas sobre estudiantes para evaluar el desempeño de las universidades en la admisión y el rendimiento de estudiantes de grupos que reciben medidas de equidad, así como la deserción, el éxito y la permanencia de los estudiantes.
La Commonwealth también publica datos sobre el personal de las universidades, sus resultados financieros y su desempeño.
Sitio web My University
Gran parte de estos datos de las encuestas a estudiantes y de las estadísticas sobre estudiantes y personal se publica para cada programa universitario en el sitio web del gobierno My University .
Aunque el sitio es bastante completo y cuenta con una función que permite comparar programas universitarios, no hay pruebas de que influya de manera considerable en la elección de programas por parte de los futuros estudiantes.
Por ello, el sitio será sustituido por indicadores de calidad de la enseñanza y el aprendizaje. Estos incluirán una nueva encuesta de satisfacción de los empleadores si se logran superar graves dificultades metodológicas.
Excelencia en la investigación para Australia
Las evaluaciones de excelencia en la investigación para Australia (ERA) constituyen evaluaciones rigurosas del desempeño investigador de cada universidad en 157 campos detallados, agrupados en 22 campos amplios y ocho áreas disciplinarias.
Actualmente se están llevando a cabo las evaluaciones de 2015 . Aunque las evaluaciones ERA son bastante rigurosas y, por consiguiente, influyen considerablemente en la política de investigación universitaria, hace falta tiempo y experiencia para interpretarlas de forma informativa.
Clasificaciones mundiales
La reputación de las universidades con buena financiación y la demanda de estas entre los estudiantes internacionales están muy influidas por las clasificaciones mundiales. Hay decenas de clasificaciones mundiales, con niveles muy variables de rigor, cobertura y temática. Existe, por ejemplo, una clasificación de ardillas de campus, que califica algunos campus de Estados Unidos y Canadá según el tamaño, la salud y el comportamiento de sus ardillas.
Entre las clasificaciones mundiales destacadas, la más rigurosa es la clasificación académica de universidades del mundo de la Universidad Jiao Tong de Shanghái. El rigor relativo de esta clasificación se logra a costa de un enfoque limitado a la investigación, en particular la investigación empírica.
Las otras dos clasificaciones destacadas se basan en encuestas de reputación. Quienes elaboran las clasificaciones publican poca información sobre sus encuestas, pero la información disponible deja claro que no superan los requisitos metodológicos básicos de las ciencias sociales en la enseñanza universitaria.
La mitad de la clasificación de QS Quacquarelli Symonds se basa en encuestas de reputación, por lo que es especialmente vulnerable al sesgo que las encuestas de reputación introducen y amplifican.
La clasificación de Times Higher Education (THE) es demasiado volátil, resultado de métodos deficientes. El año pasado, Times Higher Education volvió a cambiar su metodología y su proveedor de datos , por lo que los cambios de un año a otro ofrecen, en gran medida, poca información. A menos que THE mejore sus prácticas anteriores, sus clasificaciones de 2015 no deberían compararse con las de años anteriores.
Pruebas sobre los estándares universitarios
Aunque las universidades protestan contra las tablas de clasificación y los indicadores de calidad actuales, presumen de sus resultados en tablas de clasificación poco rigurosas e invierten muy poco en desarrollar alternativas. Las universidades deberían aportar pruebas de los estándares de sus egresados que puedan verificarse públicamente. En cambio, hay numerosos indicios de que los estándares varían considerablemente según el año, las titulaciones y las instituciones.
Una posible medida de los estándares de los egresados universitarios es la evaluación de los resultados del aprendizaje en la educación superior de la OCDE (Ahelo), que puso a prueba exámenes para egresados de economía e ingeniería. En la prueba participaron 23.000 estudiantes de 248 instituciones de educación superior de 17 países, incluida Australia.
Los resultados de la prueba Ahelo fueron dispares y el proyecto es controvertido. No debería sorprender en un proyecto que inicialmente se presentó como la versión de la educación superior de la prueba internacional para estudiantes en edad escolar PISA (Programa para la Evaluación Internacional de los Estudiantes).
No obstante, Ahelo sigue teniendo potencial y ofrece la mejor perspectiva para mejorar los métodos actuales de medición del éxito de las universidades. Sería la única medida internacionalmente comparable de la enseñanza o el aprendizaje, y evaluaría el rendimiento de los egresados, en lugar de limitarse a informar sobre sus experiencias o satisfacción.
Confíen en nosotros: somos los expertos
Probablemente Australia esté más avanzada que la mayoría de los países en la medición del éxito de sus universidades. Sin embargo, al igual que muchos otros países, depende en exceso de las medidas numéricas y las clasificaciones asociadas a ellas.
Existe una tensión entre el comprensible interés de la gente por un indicador sencillo de calidad y la distorsión que incluso el indicador más riguroso sufre por la «ley de Campbell», según la cual, cuanto más se convierte un indicador en un objetivo, más mide el esfuerzo por alcanzar ese objetivo en lugar del desempeño y más lo distorsiona.
A falta de una variedad de indicadores mejores, en particular para la enseñanza y el aprendizaje, sería preferible depender menos de indicadores sencillos y más del criterio de los expertos.
Este artículo se publica en colaboración con The Conversation. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para mantenerse al día con la Agenda, suscríbase a nuestro boletín semanal.
Autor: Gavin Moodie es profesor adjunto de RMIT.
Imagen: Perfil de estudiantes que toman asiento para la ceremonia de entrega de diplomas en la Universidad de Harvard, en Cambridge. REUTERS/Brian Snyder.
