vendredi 5 juin 2020

PISA 2018 — les bons résultats de la Suède s'expliqueraient par l'élimination de 11 % de mauvais élèves, surtout immigrés

Le Programme international pour le suivi des acquis des élèves (PISA) est un ensemble d'études menées par l'Organisation de coopération et de développement économiques (OCDE), et visant à mesurer les performances des systèmes éducatifs des pays membres et non membres. Les enquêtes sont menées tous les trois ans auprès de jeunes de 15 ans dans les 36 pays membres de l'OCDE ainsi que dans de nombreux pays partenaires et aboutissent à un classement dit « classement Pisa ».


Lors du dernier classement PISA, présenté en décembre 2019, les jeunes Suédois ont obtenu de meilleurs résultats lors des tests effectués en 2018 que lors des tests précédents dans les trois matières et ont grimpé au sommet du classement international. La ministre suédoise de l’Éducation, Anna Ekström, avait qualifié cette journée « de grand jour » et de s'exclamer  : « Voilà un message fort : les écoles suédoises sont fortes ».

Rebond de la Suède dans les trois domaines d'étude PISA

Le journal suédois Expressen (circulation de 270,900 exemplaires) affirme qu’un grand nombre d'élèves nés à l'étranger ont été incorrectement retirés de l'échantillon des élèves de 15 ans qui participent aux tests PISA.

De la sorte, la Suède aurait violé les règlements officiels de l'OCDE. Les chiffres indiquent également que des élèves nés en Suède ayant de faibles compétences linguistiques ont également été retirés des échantillons soumis aux tests PISA.

Pour le quotidien stockholmois, si les règles avaient été suivies, les résultats suédois auraient été bien pires et la Suède serait probablement revenue aux bas niveaux des années précédentes dans les trois sujets étudiés (compréhension de la lecture, mathématiques et sciences) .

Pour le journal Expressen, il semble y avoir ici de graves erreurs de méthode qui ont systématiquement amélioré la moyenne. Depuis lors, l'Agence nationale pour l'éducation a utilisé cette moyenne gonflée pour donner une image trop positive de la performance de l'école suédoise, explique Magnus Henrekson, professeur d'économie qui se penche sur le rendement de l'école suédoise.

Dans le même temps, des voix critiques se sont élevées contre la Suède qui aurait le "taux d'exclusion" le plus élevé du monde. Après avoir décidé qui allait passer l'examen, onze pour cent des étudiants ont été retirés de l'échantillon, soit en raison d'un handicap, soit parce qu'ils étaient des immigrés récents avec de trop faibles compétences linguistiques pour participer. 

Selon le quotidien suédois, conformément aux règles des tests PISA, à laquelle tous les pays participants doivent se conformer, seuls les élèves nouvellement arrivés en Suède qui ont suivi un enseignement en suédois depuis moins d'un an sont autorisés à ne pas participer à l’étude. Les étudiants qui ont suivi des cours en suédois depuis un an ou plus doivent passer l'examen.

La liste des écoles participant au PISA est tenue secrète par l'Agence nationale suédoise pour l'éducation, mais l’Expressen est parvenu à en retracer certaines.

Le quotidien s’est entretenu avec trois directeurs écoles participantes, ils sont tous responsables de rendre compte à l'Agence nationale pour l'éducation dans le cadre des tests PISA. Chacun fournit des réponses complètement différentes à la question de savoir combien de temps un étudiant nouvellement arrivé aurait dû suivre un enseignement en suédois pour participer aux épreuves. Un directeur a affirmé que le seuil pour eux est de deux ans, citant la définition de « immigrant récent » de la municipalité. Ulrika Mattsson, directrice du Palmbladsskolan à Uppsala, confirme que son école a violé les règles de l'OCDE et exclu des tests PISA des élèves nouvellement arrivés qui avaient pourtant suivi un enseignement en suédois depuis plus d'un an.
COMMENT FONCTIONNE LA SÉLECTION PISA

PISA est une étude internationale menée dans des pays du monde entier qui mesure chez les jeunes de 15 ans la compréhension et les connaissances en lecture, en mathématiques et en sciences. Le test est effectué tous les trois ans depuis 2000.

La première étape consiste à échantillonner diverses écoles auxquelles étaient inscrits les élèves de 15 ans. Certaines des écoles sont exclues à cette étape sans qu’il soit clair pour nous pourquoi certaines sont exclues à ce stade. Le Québec est d’ailleurs une des juridictions qui élimine le plus des écoles choisies au préalable (20,5% des écoles québécoises d'abord choisies sont remplacées, voir tableau ci-dessous). Parce qu’elles sont d’un faible niveau scolaire ? À forte proportion immigrée ? Ont trop peu d’élèves de 15 ans ?

Chaque pays participant indique son nombre total de jeunes de 15 ans et combien d'entre eux fréquentent la 7e année scolaire ou plus. De ce groupe, un échantillon représentatif d'étudiants est invité à participer au PISA.

Dans chaque école échantillonnée, la liste de tous les élèves admissibles (soit ceux de 15 ans), indépendamment du niveau scolaire, a d’abord été dressée. Les tableaux A.1a et A.1b montrent le nombre total d’élèves exclus par province qui sont classés dans des catégories précises conformément aux normes internationales. Les élèves pouvaient être exclus s’ils faisaient partie de l’une des trois catégories suivantes pour incapacité fonctionnelle ou intellectuelle ou une connaissance limitée de la langue de l’évaluation, habituellement, les élèves ayant bénéficié de moins d’un an d’enseignement dans la langue de l’évaluation.

Chaque école signale ensuite à l'autorité responsable du pays (Agence nationale suédoise pour l'éducation) quels élèves doivent être exclus, de sorte que, pour diverses raisons, ils ne sont pas considérés comme capables de passer le test. Ces étudiants sont considérés comme "exclus". Les élèves qui ont été sélectionnés pour passer le test PISA, mais qui ne se présentent pas au test pour diverses raisons sont plutôt comptés comme n’ayant pas participé.
« C'est extrêmement grave »

L'Expressen a compilé des statistiques de l'Agence nationale pour l'éducation, de l'Agence suédoise des migrations et de Statistiques Suèden avec l'aide du professeur Magnus Henrekson de l'Institut de la recherche commerciale pour les analyser.

Sur base de ces calculs, le quotidien affirme pouvoir montrer à quoi auraient ressemblé les résultats des élèves suédois au PISA 2018 si les règles avaient été suivies.

Selon les calculs de l’Expressen montrent que les résultats suédois en compréhension de la lecture auraient été inférieurs d'au moins 5 à 13 points si la Suède avait suivi les réglementations de l'OCDE. En effet, un grand groupe d'étudiants nés à l'étranger, qui auraient obtenu des résultats bien inférieurs à la moyenne, ont été retirés de l'échantillon du PISA pour des motifs incorrects. Cinq points de compréhension en lecture correspondent à la quasi-totalité du gain de la Suède depuis le PISA 2015.

« C'est extrêmement grave, d'autant plus que les résultats du PISA ont été utilisés dans la pratique pour comparer l'école suédoise actuelle par rapport à d'autres pays et son évolution au fil du temps », explique Magnus Henrekson.

Des résultats inférieurs de 13 points auraient entraîné une nette baisse par rapport aux résultats précédents et une dégringolade de plus de dix places dans le classement international du PISA 2018.


Selon l’évaluation du professeur Magnus Henrekson, une baisse de 13 points pourrait même être optimiste, car elle est basée sur l'hypothèse que les élèves exclus auraient fait assez bien en moyenne. Même dans les deux autres matières, mathématiques et sciences, les résultats suédois auraient été bien pires si les règles de l’OCDE qui organise les tests PISA avaient été suivies et auraient probablement entraîné une baisse par rapport aux résultats précédents.

L’Agence nationale pour l’éducation suédoise se défend en indiquant que ce grand nombre d’exclusions s’explique par à l’accueil important de réfugiés en Suède ces dernières années, qu’elle pensait pouvoir légalement exclure de l’échantillon selon certaines recommandations de l’OCDE.