 |
| L’université de Paris-Saclay qui a bondi en un an dans le classement de Shangaï après la fusion des établissements qui la composent dorénavant, sans que l’enseignement dispensé ne soit devenu meilleur (ce n’est même pas un critère direct du classement de Shangaï) |
Depuis le milieu de la décennie 2000, de nombreux dirigeants des universités, particulièrement en Europe, attendent chaque année avec une certaine nervosité l’annonce de leur position dans divers classements mondiaux. Les classements les plus connus sont celui dit de Shanghai, produit depuis 2003 par l’université Jiao Tong de cette ville (et depuis 2009 par Shanghai Ranking Consultancy, une organisation indépendante) et, en Angleterre, celui du Times Higher Education.
Les experts en scientométrie et en évaluation ont fortement critiqué ces classements dès leur apparition. Malgré cela, et pour des raisons obscures, bon nombre de présidents d’université continuent non seulement de les prendre au sérieux, mais se fixent même comme objectif de grimper dans ces classements, sans trop se soucier de comprendre ce qu’ils mesurent vraiment sur le plan académique.
L’autrice, Elisabeth Gadd, de l’université de Loughborough, au Royaume-Uni, et présidente du groupe de travail sur l’évaluation de la recherche de l’International Network of Research Management Societies, nous y apprend que leur équipe a analysé de près tous les classements et que, selon ses critères de transparence, gouvernance et validité des mesures, peu de classements sont bien classés. Se montrant ouvert à ces organisations, le groupe de travail leur a demandé de s’autoévaluer, ce qu’elles ont toutes refusé, sauf l’équipe du CWTS, qui produit le classement de Leyde ! Comme quoi les évaluateurs n’aiment pas être évalués…
Certains gestionnaires d’université veulent influer sur les classements
L’article détaillant les travaux d’Elisabeth Gadd et ses collègues, paru en 2021, réitère et synthétise les critères auxquels devraient se conformer ces classements. De telles critiques finissent parfois par trouver des échos concrets. Ainsi, un rapport d’experts sur les universités en 2030 pour la Commission européenne affirme que l’enseignement supérieur devrait enfin aller au-delà de la manie d’évaluer sur la base de classements jugés « beaucoup trop simplistes ».
Le rappel de ces critiques est bienvenu. Cependant, le texte d’Elisabeth Gadd dans Nature laisse de côté un aspect rarement discuté, mais très important : les effets des classements sur les pratiques académiques. On sait que certaines universités modifient leur gestion pour se conformer aux critères des classements. Plus grave : certains gestionnaires veulent influer sur les classements. Par exemple, ils écrivent aux professeurs de leur université en leur demandant des noms de contacts internationaux afin qu’ils puissent les intégrer à la base de données du classement du Times Higher Education, qui inclut une partie fondée sur un sondage d’opinion. Ces gestionnaires espèrent ainsi augmenter la probabilité que les personnes choisies pour classer les universités connaissent bien la leur.
On sait aussi que pour améliorer la position d’une institution dans le classement de Shanghai, il suffit que ses chercheurs indiquent tous la même adresse d’affiliation. Ainsi, la pseudofusion d’institutions diverses sous le nom d’« université Paris-Saclay » s’est aussitôt traduite par la présence de ce label en quatorzième position du classement de 2020 ! Qui peut croire que les activités réelles des chercheurs ainsi « fusionnés » aient surpassé celles de leurs « concurrents » d’autres organismes après moins d’un an d’existence ?
Source : Pour la Science n° 526 — août 2021
Le palmarès de Shanghai
Ce classement des supposées « meilleures » universités mondiales est actuellement très en vogue et semble attendu chaque année avec impatience par de nombreux dirigeants d’universités. Il est composé de la somme de six mesures dont quatre ont un poids de 20 % chacun ;
- membres du corps universitaire ayant reçu un Nobel ou une médaille Fields (pour les mathématiques) ;
- nombre de chercheurs de l’institution parmi la liste des « plus cités » de Thomson Reuters ;
- nombre d’articles de l’institution publiés dans les revues Nature et Science ;
- nombre total d’articles recensés dans le Web of Science de la compagnie Thomson Reuters.
Deux autres mesures ont un poids de 10 % chacun : - nombre d’anciens étudiants ayant reçu un Nobel ou une médaille Fields ;
- ajustement des résultats précédents selon la taille de l’institution.
Notons d’emblée que ces critères favorisent la recherche de haut vol, mais n’évalue pas l’enseignement des premiers cycles ni l’insertion des étudiants dans la vie professionnelle.
Des dizaines de chercheurs parmi les plus cités au monde ont changé leur affiliation principale pour des universités d’Arabie séoudite au lieu de leur employeur principal, bien qu’ils ne soient souvent que des chercheurs invités ou des boursiers de recherche dans l’institution saoudienne. Cette affiliation trompeuse a renforcé la position de ces établissements séoudiens d’enseignement supérieur dans les tableaux de classement mondial des universités qui tiennent compte de l’impact des citations des chercheurs d’un établissement. Source
Le classement de Shanghaï a pris des éléments qui lui étaient le plus accessibles, des éléments objectifs comme le nombre de prix Nobel, de médailles Fields. Ce sont par ailleurs des éléments qui existent beaucoup dans les sciences exactes, mais beaucoup moins dans les sciences humaines et sociales.
Le classement de Shanghaï prend aussi des mesures d’articles qui valorisent beaucoup les revues en langue anglaise. Les pays où il y avait beaucoup de publications dans les langues nationales sont ainsi défavorisés. De fait, tous ces critères défavorisaient les universités francophones.
Il est tout à fait évident que l’indice final de ce palmarès se fonde sur la somme de plusieurs mesures hétérogènes, car le nombre de publications dans Science et Nature n’est pas commensurable au nombre de prix Nobel. Chose plus surprenante, il a été montré que les données sur lesquelles il est fondé sont difficilement reproductibles [cf. R.V. Florian]. On pourrait aussi mettre en cause le choix d’un indicateur comme le nombre d’articles dans Science et Nature quand on sait que ces deux revues ont un très fort biais américain : 72 % des articles parus dans Science en 2004 ont au moins une adresse américaine, et cette proportion est de 67 % dans la revue britannique Nature.
Surtout, au regard du critère de l’inertie [la qualité d’une université ne peut radicalement varier en un an par exemple], il y a lieu de se poser de sérieuses questions sur la validité d’un indice qui fait varier la position d’une université de plus de 100 rangs dans le palmarès par le seul fait d’attribuer à l’université de Berlin ou à l’université Humboldt le Prix Nobel d’Einstein obtenu en 1922 !
Sans parler du fait que l’on peut se demander si la qualité d’une université en 2006 peut être influencée de la sorte par des travaux effectués plus de 80 ans auparavant. On a noté plus haut que certains voient dans ce classement la preuve qu’il faut construire de gros regroupements d’universités pour être plus « compétitifs ».
Or, c’est oublier que le California Institute of Technologie (Caltech) se classe au 6e rang dans le classement de Shanghai alors qu’il est une institution de très petite taille (environ 300 professeurs et un peu plus de 2000 étudiants). Et l’université de Princeton, elle aussi de taille relativement réduite avec environ 5 000 étudiants, qui se classe en 8e position. Vu sous cet angle, cela ne conforte sûrement pas l’idée de grands regroupements et pourrait plutôt inciter à conclure que « small is beautiful »…
En fait, seule une psychosociologie des dirigeants universitaires et autres fonctionnaires ministériels haut placés pourrait expliquer un tel engouement pour un classement qui n’a, en réalité, aucune valeur scientifique. Il est aussi probable que l’importance soudaine accordée à ce classement, soit un effet des discours sur l’internationalisation du « marché universitaire » et de la recherche de clientèles étrangères lucratives qui viendraient ainsi combler les revenus insuffisants provenant des gouvernements.
De nombreux dirigeants universitaires qui envoient des délégations en Chine semblent y voir, en effet, un « marché » potentiellement lucratif qu’il ne faudrait pas laisser aux seules universités américaines. Enfin, il sert aussi de façon stratégique les acteurs qui veulent réformer le système universitaire et se servent de ces classements de façon opportuniste pour justifier leurs politiques. En fait, il est même probable que, dans l’éventualité où les universités françaises se seraient très bien classées, il aurait été plus difficile de justifier les réformes actuelles et les décideurs auraient alors jeté un regard plus critique sur un tel classement qui, à l’inverse, aurait été bien reçu par ceux qui s’opposent aux réformes. (Sources : Érudit, Le Figaro).
Voir aussi
L’importance (l’artifice) du critère « nombre d’élèves internationaux » utilisé notamment dans le QS World University Ranking favorise les universités anglophones ou celles prêtes à s’angliciser. Voir le cas des Pays-Bas : Les Pays-Bas veulent décourager les étudiants internationaux d’y étudier.
L’importance du passeport canadien dans l’attrait du « nombre d’élèves internationaux » qui influent sur certains classements internationaux : Canada — 800 000 étudiants étrangers à la fin 2022, une augmentation de 31 %. Et un passeport canadien avec ça ?
