Pruebas PISA: 4 deficiencias de las influyentes pruebas educativas
Por: BBC Mundo
Diciembre 2019
Fotografia: Getty Images

PISA son las iniciales del Programa para la Evaluaci√≥n Internacional de los Alumnos de la Organizaci√≥n para la Cooperaci√≥n y el Desarrollo Econ√≥micos (OCDE), el examen mundial de las habilidades de los estudiantes de 15 a√Īos en Lectura, Matem√°ticas y Ciencias cada tres a√Īos y establece un ranking de pa√≠ses seg√ļn el rendimiento en cada competencia.

En las primeras ediciones, Finlandia ocup√≥ el puesto n√ļmero uno, pero en las √ļltimas dio paso a Shangh√°i, Singapur y Hong-Kong, con sistemas educativos muy diferentes.

Y eso muestra que "copiar" los métodos de educación sin tener en cuenta las características culturales de cada país no garantiza una mejora.

A pesar de la enorme influencia de PISA en la educación, existen críticas muy fundadas sobre su funcionamiento.

Estos son algunos puntos débiles de PISA con ejemplos referidos a temas que la propia evaluación considera muy importantes y cuya detección resulta bastante obvia:

1. Enunciados inadecuados

Para medir la oportunidad de aprender, PISA plantea preguntas sobre conceptos matemáticos como "ecuación lineal" o "vectores", y el alumno debe elegir su respuesta entre las opciones:

  1. No lo he visto nunca.
  2. Lo he visto una o dos veces.
  3. Lo he visto varias veces.
  4. Lo he visto a menudo.
  5. Lo conozco bien, entiendo el concepto.

¬ŅA qu√© opci√≥n debe responder un alumno al que le hayan explicado el concepto varias veces y que lo entienda bien? En consecuencia, las conclusiones de analizar las respuestas a este √≠tem, ¬Ņse refieren a lo que los alumnos creen que saben o a su exposici√≥n/conocimiento de los conceptos?

2. Sesgo cultural

Un objetivo b√°sico de la evaluaci√≥n PISA es que sus instrumentos de medida sean aplicables y v√°lidos en contextos culturales diferentes. En 2012, para evaluar la familiaridad con conceptos matem√°ticos incluy√≥ trece reales y tres falsos: "n√ļmero genuino", "fracci√≥n declarativa" y "escala subjuntiva". Esto posibilit√≥ usar la t√©cnica de preguntas trampa y elaborar el √≠ndice corregido FAMCONC (familiaridad con los conceptos matem√°ticos).

En contra de lo esperado, la relación de FAMCONC con las Matemáticas es muy distinta al agrupar los países por zonas geográfico-culturales. En la gráfica 1 se muestran por un lado el conjunto de países europeos o anglosajones y, por otro, el resto de países.

Si el sesgo cultural se hubiese eliminado las dos gráficas serían similares, pero en Europa y los países con cultura anglosajona FAMCONC y Matemáticas son independientes, mientras que en el resto la relación es creciente y muy fuerte.

Curiosamente, PISA no hace referencia alguna a estos problemas, ni empleó en 2015 estas técnicas de corrección.

3. Cambios en los cuestionarios y seguimiento de resultados

PISA se√Īala la importancia de analizar la evoluci√≥n temporal de sus indicadores. Sin embargo, son frecuentes los cambios en los enunciados y las definiciones de los √≠ndices, sin que se explique la causa.

Un ejemplo de esta situaci√≥n se produjo al estudiar la relaci√≥n de la Ense√Īanza Dirigida por el Docente (EDD) con el rendimiento (en este estilo docente priman las clases magistrales, frente a la Ense√Īanza Basada en la Investigaci√≥n, caracterizada por trabajo por proyectos, por ejemplo). En 2012, se emple√≥ un cuestionario para Matem√°ticas y otro muy diferente en 2015 para Ciencias. Ambos eran generales y sin preguntas espec√≠ficas ni de Ciencias ni de Matem√°ticas.

Por otro lado, en 2012 la relación de EDD en Matemáticas con el rendimiento en esta materia es casi idéntica a la que tiene con Ciencias y Lectura; en 2015 ocurre lo mismo con la EDD de Ciencias (ver la gráfica 2 para Ciencias y Matemáticas). Este resultado es sorprendente porque las tres materias se imparten de manera independiente, lo que plantea dudas sobre qué mide el índice que PISA define para cuantificar la EDD.

En la gráfica 3 se observan los cambios de signo de 2015 respecto a 2012, que afectan a la gran mayoría de los países (puntos rojos), de la correlación de EDD con las Matemáticas y Ciencias.

Dados la modificaci√≥n de los cuestionarios, el cambio de signo en las correlaciones y la ausencia de especificidad de EDD, ¬Ņqu√© fiabilidad puede darse a las conclusiones de PISA sobre este tema?

4. Cómo aborda PISA los resultados inesperados

Un aspecto fundamental en una investigación es detectar los resultados inesperados y dar una explicación coherente y bien fundamentada. Sin embargo, es muy frecuente que ante este tipo de situaciones PISA recurra a generalidades o explicaciones sin base en los datos del estudio.

Por ejemplo, en la edici√≥n del a√Īo 2015, PISA compara la relaci√≥n de las Matem√°ticas con las metodolog√≠as de ense√Īanza: la dirigida por el docente (EDD) y la basada en la investigaci√≥n (EBI). En sus resultados obtiene una correlaci√≥n de +0,31; cabr√≠a esperar, no obstante, que fuera negativa pues tales metodolog√≠as son casi contrapuestas: si un 70 % del tiempo de trabajo en el aula lo hacen los estudiantes, las explicaciones magistrales del docente se reducen a un 30% y viceversa.

PISA explica este hecho se√Īalando que hay una correlaci√≥n d√©bil entre ellas y se pregunta a qu√© dedican las horas de clase los estudiantes con valores bajos en las dos metodolog√≠as. Ambas afirmaciones son vagas e insuficientes.

En cualquier caso, PISA detecta el problema pero no estudia el origen ni las implicaciones de este resultado.

Otro resultado inesperado es la relaci√≥n negativa de la EBI con el rendimiento. Seg√ļn PISA, esta metodolog√≠a es muy importante ya que los estudios previos indican que puede mejorar el aprendizaje y la adquisici√≥n de destrezas como el razonamiento cr√≠tico. Sin embargo, sus resultados van en otra direcci√≥n pues la EBI tiene relaci√≥n negativa con Matem√°ticas en 56 pa√≠ses.

Los comentarios de PISA para explicar este hecho son:

  • El laboratorio solo mejora el aprendizaje si los estudiantes realizan actividades manuales y manejan conceptos.
  • El tiempo dedicado a los laboratorios se emplea de manera ineficiente.
  • En ocasiones las actividades manuales se utilizan para hacer m√°s atractiva la ciencia a los estudiantes con problemas.
  • Los estudiantes solo trabajan realmente cuando hay buen material y el profesor est√° bien formado.

Estas explicaciones carecen de validez por varias razones:

  • Los resultados son id√©nticos para Lectura y Matem√°ticas, que nada tienen que ver con los laboratorios de ciencias.
  • La buena formaci√≥n del profesorado y la calidad del material son aplicables a cualquier m√©todo de ense√Īanza.
  • Claramente PISA evita un an√°lisis profundo para detectar las causas de este resultado, como comprobar la representatividad del indicador que usa para cuantificar la EBI.

En resumen, la fiabilidad de las conclusiones de PISA ha de ponerse en entredicho por:

  • Los errores en la elaboraci√≥n de los cuestionarios.
  • El sesgo cultural que no han sido capaces de eliminar.
  • Resultados contradictorios y dificultades para el seguimiento longitudinal.
  • Explicaciones superficiales ante resultados inesperados.

* Norberto Corral Blanco es Catedr√°tico del √Ārea de Estad√≠stica e Investigaci√≥n Operativa de la Universidad de Oviedo, en Espa√Īa, y Carlos Carleos Artime y Sara √Ālvarez Mor√°n son profesores en el departamento de Estad√≠stica e Investigaci√≥n Operativa y Did√°ctica de la Matem√°tica de la misma casa de estudios.

Este artículo fue publicado originalmente en The Conversation y es reproducido aquí bajo la licencia Creative Commons.

 

Imprimir
Enviar Articulo

Lo más leido en:
Mundo
Crimen & Drogas
Medio Ambiente
Actualidad