Une étude de 7 ans sur 3 900 articles en sciences sociales a révélé que seulement ~50 % d’entre eux pouvaient être reproduits.
Il y avait toutefois une variation significative entre les disciplines.
Alors que plus de 60 % des articles en sciences politiques & en économie ont été reproduits, seulement ~25 % des articles en sociologie et 0 % des articles en éducation l’ont été.
Il y avait toutefois une variation significative entre les disciplines.
Alors que plus de 60 % des articles en sciences politiques & en économie ont été reproduits, seulement ~25 % des articles en sociologie et 0 % des articles en éducation l’ont été.
Reproductibilité en sciences sociales
Une vaste étude menée pendant sept ans et publiée dans Nature a évalué la possibilité de reproduire les résultats de près de 3 900 articles en sciences sociales. Un chiffre a particulièrement retenu l'attention : seules environ la moitié des études examinées ont pu être répliquées avec succès sur de nouvelles données. Les résultats variaient toutefois fortement selon les disciplines. Les taux de reproductibilité étaient élevés en science politique et en économie, nettement plus faibles en sociologie et, surtout, extrêmement limités en sciences de l'éducation. Ces constats, largement relayés, méritent cependant d’être lus en gardant à l'esprit la distinction essentielle entre reproductibilité et réplicabilité.
Le projet Systematizing Confidence in Open Research and Evidence (SCORE) — que l'on pourrait traduire par « Systématiser la confiance dans la recherche ouverte et les données probantes » —, financé par la DARPA et conduit par plusieurs centaines de chercheurs, a analysé des articles publiés entre 2009 et 2018 dans 62 revues scientifiques.
L'un de ses principaux apports est de distinguer trois notions souvent confondues :
- La reproductibilité : obtenir les mêmes résultats en réexécutant les mêmes analyses sur les mêmes données.
- La robustesse : vérifier que les conclusions résistent à des modifications raisonnables des méthodes d'analyse.
- La réplicabilité : tester les mêmes hypothèses à partir de nouvelles données indépendantes.
Les premiers résultats ont été publiés en avril 2026 dans un numéro spécial de Nature.
Une reproductibilité limitée avant tout par le manque de données
Parmi ces articles, 53,6 % étaient précisément reproductibles et 73,5 % au moins approximativement reproductibles, c'est-à-dire que la nouvelle analyse aboutissait à des résultats très proches de ceux de l'étude originale, sans exiger une concordance parfaite.
Le principal enseignement est donc moins l'existence d'erreurs que l'impossibilité, dans de nombreux cas, de vérifier les résultats faute d'accès aux données et au code d'analyse.
Des écarts très marqués entre disciplines
La science politique et l'économie obtiennent les meilleurs résultats. Lorsque des tentatives de reproduction ont pu être réalisées, 66 à 72 % des études étaient précisément reproductibles (attention pas nécessairement réplicables!), et plus de 77 % étaient au moins approximativement reproductibles. Ces disciplines bénéficient depuis plusieurs années de politiques éditoriales favorisant le partage des données et des scripts d'analyse.
La situation est tout autre en sciences de l'éducation. À peine 2,9 % des articles rendent leurs données accessibles. Autrement dit, dans l'immense majorité des cas, il est impossible de vérifier les analyses publiées. Les graphiques montrant 0 % de reproductibilité ne signifient donc pas que toutes les études sont erronées, mais que presque aucune tentative de reproduction n'a pu être entreprise. Cette absence de transparence constitue, à elle seule, un résultat préoccupant : une discipline dont les travaux ne peuvent être contrôlés offre nécessairement un niveau de confiance plus faible.
La sociologie occupe une position intermédiaire, avec des taux de reproductibilité sensiblement inférieurs à ceux observés en économie et en science politique.
Réplicabilité et reproductibilité : deux résultats différents
Ce qu'il faut retenir
Une reproductibilité limitée avant tout par le manque de données
Dans l'étude de Miske et al. (Nature, 2026 ; doi:10.1038/s41586-026-10203-5), les chercheurs ont sélectionné un échantillon stratifié de 600 articles. Seuls 24 % mettaient leurs données à la disposition du public. En conséquence, une évaluation de la reproductibilité n'a pu être menée que pour 143 articles.
Parmi ces articles, 53,6 % étaient précisément reproductibles et 73,5 % au moins approximativement reproductibles, c'est-à-dire que la nouvelle analyse aboutissait à des résultats très proches de ceux de l'étude originale, sans exiger une concordance parfaite.
Le principal enseignement est donc moins l'existence d'erreurs que l'impossibilité, dans de nombreux cas, de vérifier les résultats faute d'accès aux données et au code d'analyse.
Des écarts très marqués entre disciplines
La science politique et l'économie obtiennent les meilleurs résultats. Lorsque des tentatives de reproduction ont pu être réalisées, 66 à 72 % des études étaient précisément reproductibles (attention pas nécessairement réplicables!), et plus de 77 % étaient au moins approximativement reproductibles. Ces disciplines bénéficient depuis plusieurs années de politiques éditoriales favorisant le partage des données et des scripts d'analyse.
La situation est tout autre en sciences de l'éducation. À peine 2,9 % des articles rendent leurs données accessibles. Autrement dit, dans l'immense majorité des cas, il est impossible de vérifier les analyses publiées. Les graphiques montrant 0 % de reproductibilité ne signifient donc pas que toutes les études sont erronées, mais que presque aucune tentative de reproduction n'a pu être entreprise. Cette absence de transparence constitue, à elle seule, un résultat préoccupant : une discipline dont les travaux ne peuvent être contrôlés offre nécessairement un niveau de confiance plus faible.
La sociologie occupe une position intermédiaire, avec des taux de reproductibilité sensiblement inférieurs à ceux observés en économie et en science politique.
Réplicabilité et reproductibilité : deux résultats différents
Une autre étude issue du projet SCORE s'est intéressée non plus à la reproductibilité, mais à la réplicabilité, c'est-à-dire à la capacité d'obtenir des résultats comparables sur de nouvelles données. Son taux de succès global est d'environ 49 %. C'est ce chiffre, proche de 50 %, qui a été largement repris dans les médias et sur les réseaux sociaux.
Ce qu'il faut retenir
Ces travaux ne remettent pas en cause l'ensemble des sciences sociales. Ils montrent avant tout que la transparence — mise à disposition des données, du code et de la documentation — constitue un facteur déterminant de la qualité scientifique. Lorsque ces éléments sont accessibles, les taux de reproductibilité augmentent fortement, atteignant dans certains cas près de 90 % de reproductibilité approximative.
Depuis 2018, de nombreuses revues ont renforcé leurs exigences en matière de partage des données, en particulier en économie et en science politique. Les sciences de l'éducation, en revanche, apparaissent encore très en retrait sur ce point, ce qui limite fortement la possibilité de contrôler et de consolider leurs résultats.
Le partage des données et du code est une condition nécessaire de la transparence scientifique, mais il ne garantit nullement la validité des conclusions. Une étude peut être parfaitement reproductible tout en reposant sur des données biaisées, un protocole défaillant ou des hypothèses erronées. Le test le plus exigeant demeure la réplicabilité, c'est-à-dire la capacité à retrouver les mêmes résultats sur de nouvelles données. Or, sur ce point, le projet SCORE n'observe qu'un taux de succès d'environ 49 %. La transparence facilite donc le contrôle scientifique ; elle ne saurait s'y substituer.
Depuis 2018, de nombreuses revues ont renforcé leurs exigences en matière de partage des données, en particulier en économie et en science politique. Les sciences de l'éducation, en revanche, apparaissent encore très en retrait sur ce point, ce qui limite fortement la possibilité de contrôler et de consolider leurs résultats.
Le partage des données et du code est une condition nécessaire de la transparence scientifique, mais il ne garantit nullement la validité des conclusions. Une étude peut être parfaitement reproductible tout en reposant sur des données biaisées, un protocole défaillant ou des hypothèses erronées. Le test le plus exigeant demeure la réplicabilité, c'est-à-dire la capacité à retrouver les mêmes résultats sur de nouvelles données. Or, sur ce point, le projet SCORE n'observe qu'un taux de succès d'environ 49 %. La transparence facilite donc le contrôle scientifique ; elle ne saurait s'y substituer.
Aucun commentaire:
Enregistrer un commentaire