L’audience de l’étude sur la malhonnêteté truquée me rend fier de pratiquer les sciences comportementales

David Comerford, Senior Lecturer of Economics and Behavioural Science, University of Stirling

L’histoire a de quoi séduire : le psychologue Dan Ariely, auteur d’un livre à succès sur la science comportementale de la malhonnêteté, rétracte son étude parce que les données étaient truquées. Il n’est pas étonnant que les médias du monde entier se soient emparés de l’affaire. Buzzfeed a déclaré qu’il s’agissait du « dernier coup porté au domaine très en vogue de l’économie comportementale ». Le psychologue Stuart Ritchie, lui-même scientifique, a écrit sur l’affaire sous le titre : « Ne faites jamais confiance à un scientifique« .

Ces interprétations m’inquiètent. Non parce que j’enseigne dans le cadre d’un programme de maîtrise en sciences comportementales. Je m’inquiète parce que des titres comme celui-ci risquent d’alimenter un sentiment anti-science à une époque où la confiance dans les experts est faible, où des personnes réfléchies répètent comme un perroquet que nous vivons dans un « monde de post-vérité » et où la méfiance à l’égard de la science provoque des décès…

Mais surtout, je m’inquiète de ces interprétations parce que je tire la conclusion opposée de cette histoire. Dans ce cas, la leçon est que le processus scientifique a en fait bien fonctionné.

Mettre le doute sur la science

Un détail important et négligé est que le processus scientifique a révélé il y a des années que les résultats de l’article ne tenaient pas. À partir de données fournies par une compagnie d’assurance, l’étude d’Ariely prétendait que les gens sont plus honnêtes dans leurs rapports s’ils signent une déclaration d’authenticité au début d’un document plutôt qu’à la fin. La méthode a été adoptée par l’IRS, l’agence de recouvrement des impôts américaine, et au moins une grande compagnie d’assurance.

Si personne ne s’est inquiété d’une fraude délibérée, de nombreuses équipes de recherche ont fait part de leurs tentatives infructueuses de reproduire les études initiales. La reproductibilité est importante. La science étant ancrée dans la probabilité, observer le même résultat à deux occasions indépendantes rend beaucoup moins probable que le résultat soit un coup de chance.

En 2020, Ariely et ses co-auteurs ont publié un article dans lequel ils ont eux-mêmes tenté de reproduire les résultats initiaux, sans succès. À cette époque, il n’était pas encore apparu que les données initiales avaient été truquées. Les auteurs ont conclu que les résultats initiaux étaient un coup de chance et ont intitulé l’article qui a fait suite : « Signer au début ou à la fin ne diminue pas la malhonnêteté ».

Autre élément frappant : les tentatives de reproduction ratées ont été publiées dans l’une des meilleures revues scientifiques générales. Le fait que des scientifiques consacrent leur temps à des études de reproductibilité, et que des revues de premier plan consacrent de précieuses colonnes à leur publication, est récent et fait suite à une série d’études statistiques qui mettent en doute la rigueur des publications scientifiques.

Tout d’abord, l’étude provocatrice de simulation de données a suggéré que plus de la moitié des résultats publiés de la recherche scientifique sont faux. Cette conclusion découle des trois caractéristiques suivantes :

1. Certains résultats sont des cas isolés.
2. De nouveaux résultats sont découverts en permanence.
3. Les résultats inattendus et accrocheurs ont plus de chances d’être publiés.

Ensuite, il y a eu le projet de reporductibilité de Many Labs. Il a révélé que plus de la moitié des résultats publiés dans les meilleures revues de psychologie ne pouvaient pas être reproduits.

Démasquer les faux résultats

Certaines contributions perspicaces proviennent de la science comportementale, qui regroupe plusieurs disciplines s’intéressant au comportement et à l’interaction humains, et se situe à l’intersection des statistiques, de l’économie et de la psychologie. L’une de ces idées est que les scientifiques peuvent publier de faux résultats sans le savoir.

Pour s’en rendre compte, il faut d’abord savoir que la communauté scientifique considère qu’un résultat constitue une preuve s’il franchit un seuil. Ce seuil est mesuré par une valeur p, p signifiant probabilité. Des valeurs p plus faibles indiquent des résultats plus fiables. Un résultat franchit le seuil de la preuve fiable ou, dans le jargon scientifique, est statistiquement significatif, si sa valeur p est inférieure à un certain seuil, par exemple, p < 0,05.

Intentionnellement ou non, les chercheurs gonflent les chances d’obtenir des résultats statistiquement significatifs en adoptant des pratiques de recherche douteuses. Dans une enquête publiée en 2012, une majorité de psychologues ont déclaré qu’ils testaient leur théorie en mesurant plus d’un résultat et qu’ils ne rapportaient ensuite les résultats que sur le résultat qui atteint la signification statistique. On peut supposer qu’ils ont admis ce comportement parce qu’ils ne reconnaissent pas qu’il gonfle les chances de tirer une conclusion incorrecte.

Uri Simonsohn, Leif Nelson et Joe Simmons, un trio de spécialistes des sciences comportementales que l’on décrit régulièrement comme des « détectives de données », ont conçu un test permettant de déterminer si une conclusion est susceptible de découler de pratiques de recherche douteuses. Le test consiste à déterminer si les preuves à l’appui d’une affirmation sont regroupées de manière suspecte juste en dessous du seuil de signification statistique.

C’est ce test qui a permis de démystifier l’idée du « posture de pouvoir », cette affirmation largement diffusée selon laquelle on peut être plus performant dans des situations stressantes si l’on adopte une posture physique affirmée, comme les mains sur les hanches.

Aujourd’hui, les trois détectives des données ont remis ça. C’est sur leur blog que les faits brutaux et sensationnels de l’étude malhonnête d’Ariely ont été exposés. Contrairement à l’affirmation de Buzzfeed selon laquelle cette affaire porte un coup à l’économie comportementale, elle démontre en fait comment la science comportementale nous a amenés à débusquer les résultats bidons. L’exposition de cette pomme pourrie, et les techniques fascinantes employées pour y parvenir, constituent en fait une victoire pour les scientifiques comportementaux.

Traduit par Citizen4Science – Lien vers l’article original