mercredi 4 décembre 2019

Enquête PISA : des résultats qu’il faut savoir nuancer

Extraits d’un texte de Pedro De Bruyckere est pédagogue et chercheur postdoctoral à la Arteveldehogeschool, à Gand, et à l’université de Leiden, aux Pays-Bas, paru dans De Morgen en Belgique.

Fin du suspense : l’OCDE a publié les résultats de l’enquête PISA, mardi à 9 h. Durant l’année précédente, des jeunes de quinze ans issus des pays et régions partenaires ont rempli une batterie de tests et de questionnaires et, après des mois de traitement des données recueillies, nous avons enfin la première partie du verdict. Vient à présent le temps des conclusions [...] Qui succède à la Finlande, la Pologne et l’Estonie en tant que premier de classe ?

Toujours est-il qu’il est utile de garder certains éléments à l’esprit à la vue des résultats du PISA (Programme international pour le suivi des acquis des élèves). Pour vous, mesdames et messieurs, j’en ai dressé le résumé.

Tout d’abord, le PISA ne mesure ni les objectifs finaux ni les programmes d’étude d’un pays donné. Tous les pays ont leur propre cursus, raison pour laquelle le PISA s’attèle plutôt à évaluer l’aptitude des étudiants à résoudre des problèmes. Concrètement : les élèves sont aux prises avec des problèmes qui peuvent être résolus de diverses manières, par exemple avec ou sans règle de trois, sans que cela ne soit précisé. En d’autres termes, il ne s’agit pas d’un test de connaissances.

Ce programme d’évaluation se penche non seulement sur les performances des élèves en mathématiques, en compréhension à la lecture, en sciences, en économie ou en compétences numériques, mais prend également en compte des facteurs tels que le nombre de cours particuliers dispensés au sein d’un pays ou d’une région, la propension des élèves à collaborer entre eux et l’enthousiasme avec lequel ils se rendent à l’école. Autant d’éléments de comparaison souvent négligés.

Le PISA établit en outre et avant tout des corrélations, et non pas des liens de causalité irréfutables. Voilà une idée fausse qui tend à se répandre et Andreas Schleicher en personne, homme fort du PISA, s’est lui-même fourvoyé alors qu’il dévoilait récemment les nouvelles grilles du programme. Dans une interview accordée au quotidien britannique The Times, il a déclaré que le fossé existant entre filles et garçons en matière de lecture aurait diminué, faisant un lien avec l’utilisation des réseaux sociaux. Or si le PISA permet de constater que les garçons utilisent plus ou moins les réseaux sociaux que les filles et de dresser le tableau des performances des deux sexes dans ce domaine précis, peut-il établir un lien de causalité entre les deux données pour autant ? Rien n’est moins sûr. De nombreux autres facteurs non pris en compte par l’étude PISA peuvent avoir joué un rôle sur les aptitudes en lecture des uns et des autres. Démontrer de réels liens de causalité à l’aide de chiffres issus du PISA est une mission pour le moins délicate.

La principale conclusion causale souvent tirée au moyen des données de l’étude PISA consiste à déterminer les politiques qui sont à l’origine de l’amélioration ou de la baisse des résultats. Indépendamment du fait que les performances scolaires peuvent avoir d’autres influences que la seule politique menée par une autorité — citons notamment les crises économiques et une immigration en hausse — nous avons tendance à nous focaliser à tort sur la politique actuelle d’un pays ou d’une région.

Or si la Finlande a obtenu d’excellentes notes au PISA au début du siècle, ce n’est pas grâce à la politique d’enseignement menée durant cette période. En réalité, ces résultats sont probablement le fruit des mesures prises par Helsinki au cours des deux dernières décennies du siècle passé. [Ou même avant voir « Les traits du système finlandais que copie l’étranger n’expliquent pas le succès finlandais, ils sont au contraire source de problèmes » et La Finlande a perdu des places dans le classement PISA, elle essaie de se réformer (mise à jour). Les pédagogues occidentaux voulaient copier la Finlande « moderniste » mais se refusent à copier Singapour ou les pays asiatiques trop traditionalistes avec des enseignants qui ont un rôle de maître et non d'animateur de classe, une importance accordée aux connaissances transmises et non aux seules compétences et de grosses classes. Voir Singapour — Il est permis de copier.]

Transposer le système éducatif finlandais des années 2000 tel quel, comme d’aucuns se plaisent à le suggérer, n’est dès lors pas nécessairement indiqué. De fait, lors de la dernière édition de l’enquête PISA, la Flandre a obtenu de meilleurs résultats que la Finlande en mathématiques.

Les changements dans le domaine de l’enseignement sont longs à mettre en œuvre, et leurs effets tardent des années à se manifester. La Suède, il est vrai, a récemment montré comment dégrader un système éducatif en un court laps de temps, mais cet exemple est l’exception plutôt que la règle. [...]

Pour terminer, il convient de souligner que les discussions indispensables autour de l’enquête PISA ont eu lieu au cours de ces dernières années. Lors de l’étude précédente, des dizaines de scientifiques ont corédigé une lettre ouverte, s’interrogeant sur l’influence considérable [et parfois néfaste] de ce classement international sur les politiques d’enseignement à travers le monde.

[
Extraits de cette lettre ouverte  :
Bien que les tests standardisés soient utilisés dans de nombreux pays depuis des décennies (malgré de sérieuses réserves quant à leur validité et à leur fiabilité), PISA a contribué à une escalade de ces tests et à une dépendance considérablement accrue à l’égard des mesures quantitatives. Par exemple, aux États-Unis, PISA a été invoquée pour justifier le récent programme « Race to the Top », qui a augmenté l’utilisation de tests standardisés dans l’évaluation des élèves, des enseignants et des administrateurs. Tests qui classent et étiquettent les élèves, ainsi que les enseignants et administrateurs selon les résultats de tests largement connus pour leur imperfection (voir, par exemple, le déclin inexpliqué de la Finlande du sommet du classement PISA).

Dans le cadre de la politique de l’éducation, PISA, avec son cycle d’évaluation de trois ans, a provoqué une focalisation vers des solutions à court terme conçues pour aider un pays à grimper rapidement dans les classements, malgré les recherches montrant que les changements durables dans la pratique de l’éducation prennent des décennies, et non quelques années avant de de porter des fruits. Par exemple, nous savons que le prestige de l’enseignement en tant que profession a une forte influence sur [ou plutôt est fortement corrélé, sans nécessaire causalité, avec] la qualité de l’enseignement, mais ce statut varie fortement d’une culture à l’autre et n’est pas facilement influencé par les politiques à court terme.

En mettant l’accent sur un éventail restreint d’aspects mesurables de l’éducation, PISA détourne l’attention des objectifs éducatifs moins mesurables ou incommensurables comme le développement physique, moral, civique et artistique, réduisant ainsi dangereusement notre l’imagination quant à ce que l’éducation est et devrait être.
]

L’étude représente certes une source d’influence importante, mais il en existe d’autres. Citons par exemple le PIRLS (Programme international de recherche en lecture scolaire) pour la lecture, le TIMMS (étude internationale consacrée aux mathématiques et aux sciences), ou encore l’ICCS pour la citoyenneté [nous sommes plutôt inquiets qu’on essaie d’évaluer une matière idéologique comme la citoyenneté au niveau mondial...]. Ces indicateurs, auxquels s’ajoutent les études menées par nos propres autorités, nous permettent de prendre la température de notre enseignement. Il ne nous reste plus qu’à déterminer le degré de fièvre de celui-ci. Et les éditions précédentes du PISA ainsi que le PIRLS n’incitent pas forcément à l’optimisme.

Aucun commentaire: