2017/02/27

JOSU SIERRA
EX DIRECTOR DE ISEI-IVEI

Además de sicólogo, profesor, técnico en evaluación, investigador en educación bilingüe, ha sido director del Instituto Vasco de Educación e Investigación (ISEI-IVEI) de 2001 a 2009. Desde esa atalaya ha estudiado con detalle los sucesivos informes PISA.

«No damos la talla en los niveles altos y nos falta excelencia»
Mertxe AIZPURUA|DONOSTIA
0227_eg1_sierra1

Al margen del posicionamiento en el ranking y las reacciones desatadas tras los resultados obtenidos, lo cierto es que sabemos poco sobre lo que hay detrás del informe PISA. Para saber algo más, hemos acudido a Josu Sierra, una de las personas más expertas sobre el tema en nuestro entorno.

Hay quien denosta PISA por estar ligada de la OCDE o por otros motivos. ¿Qué opina?

Sí, hay gente a la que no le gusta la evaluación externa, gente que mata al mensajero porque no le gusta lo que dice PISA, gente que pone en duda lo que viene de la OCDE porque es una organización internacional gobernada por los estados occidentales con fama de pro-liberal o pro-mercado, pensando que quieren influir en la educación con esos fines y hay mucha gente que opina de oídas... pero opina.

¿Y qué valor concede usted a este informe?

La importancia de los informes PISA es muy dispar en los diversos países de la OCDE. En Europa ha producido siempre mucho mayor impacto que en USA –donde casi nadie lo conoce– o Canadá, por sus resultados comparativos, obviamente.

En 2001, cuando se presentó PISA 2000, nadie creía que Alemania tuviera aquellos resultados en competencias clave y Finlandia liderase el ranking. Fue un revolcón. Pero fue un éxito. Unos estados europeos participan a regañadientes en la evaluación y otros de buen grado, pero muchas economías emergentes fueron las más interesadas en compararse y hoy son más los países partners (asociados) que los de la OCDE.

PISA tiene la importancia de ser una evaluación orientada a la política educativa y no solo al ranking, contra lo que la gente cree. Lo más importante es la cantidad de datos que ofrece a cada país para hacerse su propia fotografía del sistema con muchas y potentes variables asociadas. Unos países los aprovechan bien y hacen fantásticos informes y otros no. Hay que tener gente especializada y ganas de saber. Pero es una evaluación de sistemas basada en las competencias clave. No implica a centros ni al profesorado, ni a familias ni al alumnado. Los resultados son de sistema y no son suficientes para hacer cambios en los centros.

¿Que un país tenga buenos resultados garantiza que su sistema educativo es bueno?

Hay que interpretar lo de «buenos», porque PISA no dice que lo sean. No es lo que la prensa dice «Euskadi suspende» y esas majaderías. PISA te coloca en un ranking y es cosa tuya valorar si es lo que querías o no, si eres eficiente dado lo que gastas o tu nivel de riqueza, o es una vergüenza y deberías mejorar. Si eres bueno en equidad o en excelencia, si tus vecinos consiguen lo mismo con menos recursos… pero, sobre todo, te da pistas de cómo lo hacen los mejores y cuáles son sus características, algo que no viene en el primer informe del ranking.

Nos hemos quedado con el dato de la posición, como si fuera una competición olímpica. ¿Qué opina de la forma en que se ha trasladado a la sociedad?

En los medios lo que vende es el catastrofismo sobre la educación y la norma es hablar de «lo mal que lo hace el gobierno de turno», pero el alumnado evaluado en PISA es el de 15 años, por lo que han pasado seguramente doce años con distintos gobiernos, leyes y responsables. Por lo tanto, lo que se suele hacer es una simplificación bastante grosera llena de lugares comunes. La educación no debería ser una arma arrojadiza entre partidos políticos o prensa-gobiernos sino algo mucho más consensuado y estable, por encima de la pelea política. Eso sería de gran ayuda. Los cambios de hoy tardarán 12 o 13 años en verse.

¿Qué conclusiones se pueden extraer de PISA que no hayan trascendido a los medios de comunicación?

Aparte del ranking, no ha trascendido casi nada y, sin embargo, llevamos desde 2003 participando en PISA y sabemos mucho más de nuestro sistema que antes. Sabemos que no somos todo lo buenos que pensábamos, sabemos que no tenemos grandes diferencias por niveles SEC (índice socioeconómico y sociocultural), pero no somos eficientes en cuanto a gasto/resultado… Otra cosa es cambiar las cosas y mejorar.

PISA sola no sirve para cambiar los centros educativos y la enseñanza, porque no da datos de centros ni de otras edades más tempranas. Por eso comenzamos las evaluaciones Diagnósticas censales en 2009. Para quien tenga interés educativo, le recomiendo el segundo volumen de PISA, “Políticas y prácticas para las escuelas exitosas” y el informe que haga el ISEI-IVEI.

Lo que sabemos es que no estamos tan bien y el punto débil reside en el conocimiento científico. ¿Le ha sorprendido?

No me puede sorprender el resultado en ciencias de Euskadi, porque hemos estado ahí desde 2003, con la excepción de 2012, que fue un resultado atípico, y los cambios, como ya he dicho, deben implicar a centros y profesorado para que sean reales. No basta con publicar normas en el Boletín o impulsar iniciativas generales si no son seguidas en el día a día de las aulas. El reto sigue estando ahí. Si quitas horas a ciencias para otras cosas, y estas son poquísimas, no mejorarás mucho; o si no cambias nada, simplemente, no mejorarás. La tendencia es lo que vale, no un resultado de un año aislado.

Indicadores como inversión, tasa de escolarización o estudios superiores son más altos que en otras comunidades del Estado que, sin embargo, dan mejores resultados. ¿Se puede concluir que la inversión no garantiza mejor educación?

Efectivamente. La inversión en educación tiene una correlación directa con los resultados cuando se parte de un nivel de inversión muy bajo, pero a partir de cierto nivel de gasto apenas hay mejora de resultados. Ya escribí un artículo en mi blog sobre ello. Cuando gastas mucho, como lo hacemos nosotros, lo importante no es cuánto sino en qué. Comunidades vecinas nos dan lecciones de eficiencia porque con menos recursos o con los mismos logran mejores resultados en todos los aspectos. Ahí tenemos mucho que aprender. También ha ocurrido con Finlandia. No son un sistema con grandes inversiones, el profesorado cobra menos, no son funcionarios, empiezan a la escuela más tarde… pero es una sociedad muy distinta a la vasca y es difícil «copiar» sistemas sin «copiar» la sociedad. No funciona.

¿El diferente nivel socioeconómico del alumnado se refleja en los resultados de PISA?

PISA no es una evaluación curricular sino de competencias adquiridas tanto en la escuela como en otros ámbitos y, además, todos los resultados educativos del mundo correlacionan con el nivel socioeconómico y cultural de la familia y el centro escolar. Esto es normal. Lo importante es que controlando esa variable podemos ver si damos la talla o no con los centros o alumnos similares, y no la damos en los niveles altos. Que nos falta excelencia es uno de nuestros perfiles más claros.

Si el alumnado de centros de alto nivel socioeconómico ha sacado peores resultados en PISA, ¿a qué se debe?

Los alumnos participantes de centros de alto nivel SEC han obtenido los mejores resultados, obviamente, pero si los comparamos con estos mismos alumnos de alto nivel de otros países OCDE, suelen estar por debajo. Puede deberse a que el valor añadido que parecen aportar los centros que tienen alumnado de alto nivel SEC, es muy reducido. También ocurre en otros países. Este alumnado viene, digámoslo así, muy aprendido y ese tipo de centro no parece aportarle demasiado en competencias clave.

Esto indicaría que la brecha social no actúa en perjuicio de sectores de bajo nivel económico, lo cual, a priori, no sería un mal dato…

Bueno, siempre nos consolamos diciendo que nuestro alumnado de bajo nivel SEC está bien respecto a la OCDE y que su diferencia con los del nivel alto es «pequeña» en nuestro país. Pero la diferencia es pequeña porque no hay excelencia prácticamente, lo que nos lleva a que nos situaríamos en la mediocridad.

Eso ya no parece tan positivo teniendo en cuenta nuestros recursos.

En esta cuestión, ¿hay diferencias entre centros concertados y públicos?

Gran parte de las diferencias entre centros concertados y públicos desaparecen al controlar la variable nivel SEC del alumnado y del centro. Pero hay bastantes centros públicos que atienden alumnado de alto nivel SEC y están en la misma situación respecto a la excelencia. Somos la comunidad con menor diferencia entre centros públicos y concertados.

¿Cómo incide la cuestión lingüística, por ejemplo, en quienes se escolarizan en euskara y sus progenitores no conocen el idioma? ¿Puede ser un factor en los resultados?

Somos de los pocos países realmente bilingües participando en PISA y eso trae algunas consideraciones. En mis tiempos del ISEI-IVEI hicimos un estudio junto con Luxemburgo acerca de la lengua de las pruebas de evaluación que luego se publicó.

El problema es cómo evaluamos al alumnado bilingüe: en la lengua de las clases o en la lengua que domina. Es fundamental hacerlo en la lengua que domina, ya que se comparará con hablantes nativos de sus respectivas lenguas. Aunque den las clases en euskera o en inglés, si son aprendices de esas lenguas no las dominan como para hacer una evaluación internacional de gran carga lingüística como es PISA.

Hay que evaluar en la lengua dominante del alumnado. Eso es clave aunque haya gente que no lo entienda. Si se evalúa en la lengua que está aprendiendo, corre un enorme riesgo de ser minusvalorado en sus resultados en competencias.

En la edición 2015 ha respondido a las pruebas en euskara no solo «el alumnado vascófono familiar», como se ha hecho hasta ahora, sino también «una parte del alumnado castellano hablante familiar». Es un despropósito que hayan cambiado las condiciones de aplicación de las pruebas en 2015.

En resumen, ¿qué falla?

Depende. ¿Qué sistema queremos? ¿Qué deseamos obtener? ¿Nos conformamos con no tener grandes diferencias? Es una reflexión que hace años debimos hacer y no la hacemos. Haría falta una ley de educación consensuada. En mi opinión, falla que seamos mediocres pudiendo ser mejores y además sin gastar más dinero. Hay que cambiar el «cuánto» por el «en qué gastamos» y evaluarlo. Además de los horarios o la formación, hay variables que correlacionan –no causalidad, sino correlación– con mejores resultados de sistema en competencias clave. La repetición no sirve para nada, pero nadie quiere meterle mano.

Los cambios estructurales son difíciles de lograr a corto plazo, pero son importantes: la autonomía de centros pero con rendición de cuentas, la profesionalidad de los equipos directivos, la pertenencia del profesorado a los centros, el uso de las evaluaciones diagnósticas para el cambio real dotando de más medios a quien más lo necesita y no «café para todos», la evaluación de los profesores, no solo del alumnado… hay muchos retos estructurales que mejorarían el resultado a medio-largo plazo.

ALUMNADO BILINGüE


«Es fundamental evaluar en la lengua que se domina. Es un despropósito que hayan cambiado las condiciones de aplicación en las pruebas de 2015»

INVERSIÓN


«Cuando se gasta mucho en educación, como nosotros, lo importante no es cuánto sino en qué»