Il y avait toutefois une variation significative entre les disciplines.
Alors que plus de 60 % des articles en sciences politiques & en économie ont été reproduits, seulement ~25 % des articles en sociologie et 0 % des articles en éducation l’ont été.
Reproductibilité en sciences sociales
L'un de ses principaux apports est de distinguer trois notions souvent confondues :
- La reproductibilité : obtenir les mêmes résultats en réexécutant les mêmes analyses sur les mêmes données.
- La robustesse : vérifier que les conclusions résistent à des modifications raisonnables des méthodes d'analyse.
- La réplicabilité : tester les mêmes hypothèses à partir de nouvelles données indépendantes.
Une reproductibilité limitée avant tout par le manque de données
Parmi ces articles, 53,6 % étaient précisément reproductibles et 73,5 % au moins approximativement reproductibles, c'est-à-dire que la nouvelle analyse aboutissait à des résultats très proches de ceux de l'étude originale, sans exiger une concordance parfaite.
Le principal enseignement est donc moins l'existence d'erreurs que l'impossibilité, dans de nombreux cas, de vérifier les résultats faute d'accès aux données et au code d'analyse.
Des écarts très marqués entre disciplines
La science politique et l'économie obtiennent les meilleurs résultats. Lorsque des tentatives de reproduction ont pu être réalisées, 66 à 72 % des études étaient précisément reproductibles (attention pas nécessairement réplicables!), et plus de 77 % étaient au moins approximativement reproductibles. Ces disciplines bénéficient depuis plusieurs années de politiques éditoriales favorisant le partage des données et des scripts d'analyse.
La situation est tout autre en sciences de l'éducation. À peine 2,9 % des articles rendent leurs données accessibles. Autrement dit, dans l'immense majorité des cas, il est impossible de vérifier les analyses publiées. Les graphiques montrant 0 % de reproductibilité ne signifient donc pas que toutes les études sont erronées, mais que presque aucune tentative de reproduction n'a pu être entreprise. Cette absence de transparence constitue, à elle seule, un résultat préoccupant : une discipline dont les travaux ne peuvent être contrôlés offre nécessairement un niveau de confiance plus faible.
La sociologie occupe une position intermédiaire, avec des taux de reproductibilité sensiblement inférieurs à ceux observés en économie et en science politique.
Réplicabilité et reproductibilité : deux résultats différents
Ce qu'il faut retenir
Depuis 2018, de nombreuses revues ont renforcé leurs exigences en matière de partage des données, en particulier en économie et en science politique. Les sciences de l'éducation, en revanche, apparaissent encore très en retrait sur ce point, ce qui limite fortement la possibilité de contrôler et de consolider leurs résultats.
Le partage des données et du code est une condition nécessaire de la transparence scientifique, mais il ne garantit nullement la validité des conclusions. Une étude peut être parfaitement reproductible tout en reposant sur des données biaisées, un protocole défaillant ou des hypothèses erronées. Le test le plus exigeant demeure la réplicabilité, c'est-à-dire la capacité à retrouver les mêmes résultats sur de nouvelles données. Or, sur ce point, le projet SCORE n'observe qu'un taux de succès d'environ 49 %. La transparence facilite donc le contrôle scientifique ; elle ne saurait s'y substituer.
Voir aussi
Une
nouvelle étude nous apprend par ailleurs, la même semaine, qu’il n’y
aurait aucun lien entre la dépression et la sérotonine. Cette découverte remet en cause l’efficacité de nombreux antidépresseurs.
Comment la science se trompe.... Dans The Economist du 26 octobre, un dossier sur l’évolution du système mondial de recherche scientifique : « How science goes wrong ». On y apprend notamment qu’un nombre important et croissant de publications souffrent de biais statistiques ou défauts méthodologiques qui devraient inciter à la prudence sur les conclusions, quand il ne s’agit pas d’erreurs pures et simples.
« Des coraux plus résistants à la chaleur » ou des études précédentes peu fiables et alarmistes ? La menace stéréotypée n’expliquerait pas la différence de résultats entre les sexes en mathématiques (suite)
Mythe : le traitement de l’« hystérie » féminine à l’époque victorienne
Recherche — Failles dans le mécanisme de relecture par des pairs
Comment publier un article scientifique en 2020
La plaque commémorant la première Britannique noire a été retirée parce qu’elle « venait de Chypre »
Le président de l’université de Stanford a été démasqué pour falsification de données. Les preuves sont choquantes et il est déprimant de voir que Marc Tessier-Lavigne, ancien éminent neuroscientifique, n’ait pas été sanctionné comme il se doit pour sa faute professionnelle. (Voir les articles qui ont dévoilé ces scandales 1re partie, 2nde partie).
Médecins admettent le lien entre hormonothérapie transgenre et le cancer dans des courriels fuités
Selon une étude universitaire, une bonne partie des études universitaires ne seraient pas fiables…
