Six conseils pour vous aider à détecter de fausses news scientifiques

Par Marc Zimmer, Professeur de chimie, Connectictut College

Je suis professeur de chimie, je suis titulaire d’n doctorat et je mène mes propres recherches scientifiques. Pourtant, lorsque je consomme des médias, je dois souvent me demander : ” Est-ce de la science ou de la fiction ?

Il existe de nombreuses raisons pour lesquelles une histoire scientifique peut ne pas être solide. Les charlatans profitent de la complexité de la science, certains fournisseurs de contenu ne savent pas distinguer la mauvaise science de la bonne et certains politiciens colportent de la fausse science pour soutenir leurs positions.

Si la science semble trop belle pour être vraie ou trop farfelue pour être réelle, ou si elle soutient de manière très commode une cause controversée, il est préférable de vérifier sa véracité.

Voici six conseils pour vous aider à détecter la fausse science.


Conseil 1 : Recherchez le sceau d’approbation de l’examen par les pairs

Les scientifiques s’appuient sur des articles de journaux pour partager leurs résultats scientifiques. Ils permettent au monde entier de savoir quelles recherches ont été effectuées et comment.

Lorsque les chercheurs sont sûrs de leurs résultats, ils rédigent un manuscrit et l’envoient à une revue. Les rédacteurs en chef transmettent les manuscrits soumis à au moins deux examinateurs externes spécialisés sur le sujet. Ces examinateurs peuvent suggérer que le manuscrit soit rejeté, publié tel quel ou renvoyé aux scientifiques pour de nouvelles expériences. Ce processus est appelé ” évaluation par les pairs “.

Les recherches publiées dans des revues à comité de lecture ont fait l’objet d’un contrôle de qualité rigoureux par des experts. Chaque année, quelque
2 800 revues à comité de lecture publient environ 1,8 million d’articles scientifiques. Le corpus de connaissances scientifiques est en constante évolution et mis à jour, mais vous pouvez être sûr que la science décrite par ces revues est solide. Les politiques de rétractation permettent de corriger le dossier si des erreurs sont découvertes après la publication.

“Revu par les pairs” (peer-reviewed) signifie que d’autres experts scientifiques ont vérifié l’étude à la recherche de tout problème avant publication

L’examen par les pairs prend des mois. Pour accélérer la diffusion, les scientifiques publient parfois leurs articles de recherche sur ce que l’on appelle un serveur de preprint. Ces serveurs portent souvent le nom de “RXiv” (prononcé “archive”) : MedRXiv, BioRXiv, etc. Ces articles n’ont pas été examinés par des pairs et ne sont donc pas validés par d’autres scientifiques. Les prépublications permettent à d’autres scientifiques d’évaluer et d’utiliser plus rapidement les recherches comme éléments de base de leurs propres travaux.

Depuis combien de temps ce travail se trouve-t-il sur le serveur de preprint ? Si cela fait des mois et qu’il n’a pas encore été publié dans la littérature évaluée par les pairs, soyez très sceptique. Les scientifiques qui ont soumis le preprint appartiennent-ils à une institution réputée ? Au cours de la crise de la COVID-19, alors que les chercheurs s’efforcent de comprendre un nouveau virus dangereux et s’empressent de mettre au point des traitements susceptibles de sauver des vies, les serveurs de preprint ont été jonchés de données scientifiques immatures et non prouvées. Des normes de recherche rigoureuses ont été sacrifiées au profit de la rapidité.

Un dernier avertissement : Soyez attentifs aux recherches publiées dans ce que l’on appelle des revues prédatrices. Elles n’évaluent pas les manuscrits par des pairs et font payer les auteurs pour les publier. Les articles publiés dans l’une des milliers de revues prédatrices connues doivent être traités avec beaucoup de scepticisme.


Conseil n° 2 : cherchez vos propres angles morts

Méfiez-vous des biais de votre propre pensée qui pourraient vous prédisposer à tomber dans le panneau d’une fausse nouvelle scientifique.

Les gens accordent à leurs propres souvenirs et expériences plus de crédit qu’ils ne le méritent, ce qui rend difficile l’acceptation de nouvelles idées et théories. Les psychologues appellent cette bizarrerie le biais de disponibilité. Il s’agit d’un raccourci intégré utile lorsque vous devez prendre des décisions rapides et que vous n’avez pas le temps de faire une analyse critique d’un grand nombre de données, mais il nuit à vos capacités de vérification des faits.

Dans la lutte pour attirer l’attention, les déclarations sensationnelles l’emportent sur des faits peu excitants, mais plus probables. La tendance à surestimer la probabilité d’événements frappants s’appelle le biais de saillance. Il conduit les gens à croire, à tort, des résultats trop médiatisés et à faire confiance à des politiciens confiants plutôt qu’à des scientifiques prudents.

Un biais de confirmation peut également être à l’œuvre. Les gens ont tendance à accorder du crédit aux nouvelles qui correspondent à leurs croyances existantes. Cette tendance aide les négationnistes du changement climatique et les partisans de l’anti-vaccin à croire en leur cause malgré le consensus scientifique qui s’y oppose.

Les pourvoyeurs de fake news connaissent les faiblesses de l’esprit humain et tentent de tirer parti de ces biais naturels. Une formation peut vous aider à reconnaître et à surmonter vos propres biais cognitifs.


Conseil n° 3 : corrélation n’est pas causalité

Ce n’est pas parce que vous pouvez voir une relation entre deux choses que l’une cause l’autre.

Même si les enquêtes révèlent que les personnes qui vivent plus longtemps boivent plus de vin rouge, cela ne signifie pas qu’une consommation quotidienne prolongera votre espérance de vie. Il se peut simplement que les buveurs de vin rouge soient plus riches et bénéficient de meilleurs soins de santé, par exemple. Surveillez cette erreur dans l’actualité sur la nutrition.

Ce qui fonctionne bien chez les rongeurs peut ne pas fonctionner du tout chez vous

Conseil 4 : Qui étaient les sujets de l’étude ?

Si une étude impliquait des sujets humains, vérifiez si elle était contrôlée par placebo. Cela signifie que certains participants sont désignés au hasard pour recevoir le traitement – comme un nouveau vaccin – et que d’autres reçoivent une version factice qu’ils peuvent croient réelle, le placebo. De cette façon, les chercheurs peuvent déterminer si l’effet observé est dû au médicament testé.

Les meilleurs essais sont également menés en double aveugle : Pour éliminer tout parti pris ou idée préconçue, ni les chercheurs ni les volontaires ne savent qui reçoit le médicament actif ou le placebo.

La taille de l’essai est également importante. Lorsqu’un plus grand nombre de patients sont recrutés, les chercheurs peuvent identifier plus rapidement les problèmes de sécurité et les effets bénéfiques, et les différences entre les sous-groupes sont plus évidentes. Les essais cliniques peuvent porter sur des milliers de sujets, mais certaines études scientifiques impliquant des personnes sont beaucoup plus petites ; elles doivent expliquer comment elles ont obtenu la confiance statistique qu’elles prétendent présenter.

Vérifiez que toute recherche sur la santé a réellement été menée sur des personnes. Ce n’est pas parce qu’un médicament est efficace sur des rats ou des souris qu’il le sera pour vous.


Conseil n° 5 : la science n’a pas besoin de “camps”.

Si un débat politique nécessite deux camps opposés, ce n’est pas le cas d’un consensus scientifique. Lorsque les médias interprètent que l’objectivité signifie temps équivalent, cela nuit à la science.


Conseil n° 6 : Il se peut qu’un rapport clair et honnête ne soit pas l’objectif

Pour attirer l’attention de leur public, les émissions matinales et les talk-shows ont besoin de quelque chose d’excitant et de nouveau ; l’exactitude peut être moins prioritaire. De nombreux journalistes scientifiques font de leur mieux pour couvrir avec précision les nouvelles recherches et découvertes, mais beaucoup de médias scientifiques sont plus considérés comme divertissants qu’éducatifs. Dr Oz, Dr Phil et Dr Drew ne devraient pas être vos sources médicales privilégiées.

Méfiez-vous des procédures et produits médicaux qui semblent trop beaux pour être vrais. Soyez sceptique en ce qui concerne les témoignages. Pensez aux motivations des principaux acteurs et à ceux qui ont intérêt à gagner de l’argent.

Si vous restez méfiant(e) concernant des informations diffusées par les médias, assurez-vous qu’elles reflètent les résultats réels de la recherche en lisant l’article lui-même.

Traduit par Citizen4Science, article original paru dans The Conversation, lien vers l’article original : https://theconversation.com/6-tips-to-help-you-detect-fake-science-news-153708

Sondage ATU bamlanivimab auprès des membres de C4S

Suite à la publication d’une Autorisation temporaire d’utilisation d’un anticorps monoclonal, le bamlanivimab, Citizen4Science a vivement réagi en publiant un communiqué dès le 28 février, suivi par la Société française de pharmacologie et de thérapeutique le lendemain, puis par la SPILF.

Nous nous insurgions contre l’autorisation d’un produit non éprouvé assorti de risques dépassant le cadre de al simple évaluation du rapport bénéfice/risque du médicament expérimental (risque d’hospitalisation, risque de sélection de variants, d’engorgement des hôpitaux en lien à une faisabilité faible, d’alimentation des théories complotistes,…).

Citizen4Science a été la première a réagir par voie de communiqué ainsi qu’à demander l’annulation pure et simple de cette ATU, pointant les autorités sanitaires et le laboratoire concerné par la soumission d’un dossier insuffisant.

Cette affaire a été largement médiatisée, et nous avons voulu savoir la perception des membres au moyen d’un sondage.

En voici les résultats.

L’échantillon représente un peu plus de 15 % de la communauté C4S avec 130 répondants.

Le communiqué est paru le 28 février et le sondage a été fait pendant la période des vacances scolaires.
On voit néanmoins que presque tout le monde était au courant de la polémique ATU bamlanivimab.

 

 

Sur le fond la grande majorité des répondants, soit près de 71 %, adoptent l’avis formulé par C4S dans son communiqué, à savoir que l’ATU n’est pas justifiée.

On notera cependant que plus d’un quart des répondants ne savent pas répondre à cette question.

Pour analyser cela, voyons déjà si les répondants ont lu le communiqué de C4S qui justifie notre position :

On s’aperçoit que les proportions coïncident avec 73 % de répondants qui ont lu le communiqué.

On ne tombera surtout pas dans le piège d’en conclure que ceux qui n’ont pas lu le communiqué n’ont pas d’avis sur le sujet, car techniquement nous ne pouvons pas le savoir.

Nous sommes cela dit rassurés de savoir que l’écrasante majorité des répondants ne sont pas  partagent la position du communiqué de l’association.

Nous avions posé une question supplémentaire à réponse libre : “En cas de réponse “Non ou Partiellement” (sur l’accord ou non avec le communiqué), sur quoi n’êtes-vous pas d’accord ?

On trouve principalement les réponses suivantes :

– Communiqué non lu (conduisant à réponse “partiellement”)
– C’est aux médecins des patients potentiels de décider (là, il va falloir que le membre concerné se manifeste pour qu’on lui explique !)
– Le communiqué est trop technique pour bien comprendre (plusieurs fois).

Cette dernière réponse nous interpelle. Le sujet du communiqué est très technique car il est multi-disciplinaire : pharmacologie, réglementaire, sanitaire, le sujet est complexe et relève ainsi d’expertises multiples.
Finalement, il est normal pour un citoyen de ne pas avoir d’avis sur des sujets hautement techniques. Pour des Citizens (membres de C4S), on peut imaginer qu’ils sont plus avertis sur le sujet. Il aurait été intéressant de faire un sondage comparatif dans la population générale.

Autre point : un communiqué est à destination de tout public mais n’est pas  pour autant un document de vulgarisation.

Aussi, nous avons tenté de représenter graphiquement nos messages principaux du communiqué, qui s’articulent autour de risques multiples que représente cette ATU, en espérant que certains y trouveront un intérêt :

 

 

 

 

 

Comment savoir si un expert est vraiment expert ?

Par Lionel Case @lionel_case, membre de Citizen4Science. Microbiologiste. Développeur. Eleveur de Swimming Poules. Combat les charlatans avec des threads. Déteste le bullshit populiste.

Quand les experts scientifiques défilent H24 sur nos écrans et qu’ils affirment, infirment, pérorent, pontifient, et pour finir nous pétrifient sur place, comment discerner le vrai expert du charlatan mousseux ?
Avant-propos : Ceci n’est PAS un exercice de trollage. Ceci est une tentative de mise en perspective, pour aider ceux qui aimeraient trouver des repères de fiabilité dans ce brouhaha ambiant. Des illustrations oui, mais pas d’attaque ad hominem. Que de la science.

Sommaire :
1. Qu’est-ce qui ne définit PAS un expert ?
2. Qu’est-ce qui définit un expert ?
3. « Je suis une spécialiste de l’ARN », le cas d’Alexandra Henrion-Caude
4. Conclusion

1. Qu’est-ce qui ne définit PAS un expert ?

Je suis Docteur, mon H-index est de 120, asseyez-vous et prenez note.
Sondage : dans la phrase précédente, quels termes sont synonymes d’expertise assurée ?
A. Docteur
B. H-index
C. Aucun des deux

Bah aucun des deux en fait. Rien qu’en France, toutes disciplines confondues, il existe des dizaines de milliers de docteurs. Des centaines de nouveaux titres de docteurs sont attribués chaque année. Ces titres sanctionnent de longues études HAUTEMENT SPÉCIALISÉES.
En gros, des gens avec des connaissances pointues qui s’adressent tout au plus à quelques centaines d’experts de leur domaine. Mais qui peuvent également parler de tout, et de rien, à des millions de non-experts, en faisant illusion. Et c’est bien là le problème.
Le H-index, quant à lui, est une mesure composite (et controversée) de la quantité et la qualité d’une vie de recherche (les publications), et de son impact sur la communauté scientifique (les citations).
Mais notez qu’un neurobiologiste peut avoir un H-index faramineux, ça ne le rend pas expert en infectiologie pour autant. Tout comme 8 médailles olympiques de tir à l’arc ne feront pas de cet athlète un basketteur.

2. Qu’est-ce qui définit un expert ?

Un titre et un H-index reflètent (pour faire simple) un niveau relatif et strictement associé à un domaine d’expertise.
Ce sont des contenants, pas des substituts ou des synonymes d’expertise. Comme une valise, l’important est dedans.
Donc ce qui définit un expert c’est la richesse et la qualité de sa contribution DANS UN DOMAINE PRÉCIS.
Et ça se mesure de façon essentiellement qualitative.
Et sur un temps long.
Par exemple, si je suis spécialiste de l’ARN, dans combien de mes travaux trouve-t-on le mot clé « ARN » ? Et quelle est la qualité de ces travaux ? Voyons un exemple précis.

3.« Je suis une spécialiste de l’ARN »: le cas d’Alexandra Henrion-Caude (AHC)

La France compte d’excellents spécialistes de l’ARN : Eric Westhof, Edouard Bertrand, Christiane Branlant, Bertrand Séraphin, Hervé Seitz, Brice Felden, Alain Krol, Edith Heard, Jérôme Cavaillé, Pascale Romby, Henri Grosjean, Jean-Jacques Toulmé, et bien d’autres…
AHC fait-elle partie de ce club sélect ?
Les 1ères publications scientifiques d’AHC (à l’époque Alexandra Henrion) remontent à 1994. Ses premières publications sur l’ARN, par contre, ne débutent qu’en 2008 (revue) ou plutôt 2010, date de son premier article de recherche sur les « microARNs » (miARN ou miRNA).

Puis elle publie plusieurs papiers pendant 5 ans (jusqu’en 2015 donc) et puis…c’est fini.
Donc sur 26 ans de carrière scientifique, elle aura passé 6 ans, soit moins d’1/4 de sa carrière, à bosser sur l’ARN. (pour trouver ses papiers, tuto Pubmed en fin de thread).
Si on compare AHC à d’autres (vrais) spécialistes de l’ARN de sa génération, ça commence à tanguer.
Prenons le D. JC: – né en 1970 (AHC : 1969) – Première publication 1994 (AHC : 1995) – Thèse 1997 (AHC : 1997) – Nbre de publis/H-index du même ordre (restons élégants).

Ce sont des carrières tout à fait comparables. Et honorables. Mais la =/= se trouve ici :

La carrière du Dr JC est entièrement consacrée à l’ARN. 100% de son H-index, c’est l’ARN. Alors qu’AHC est arrivée tard, partie tôt, et a consacré les trois-quart de son temps à autre chose.

Regardons maintenant le détail de la contribution d’AHC au monde de l’ARN.
Le pic de ses publications ARN se trouve en 2012. Sur les 5 publications, 1 seule publication de recherche expérimentale.
Les autres : des revues biblio, des tribunes d’opinion.

Sur l’ensemble de son œuvre dans le monde de l’ARN, soit 15 publications, seules 8 publications de recherche.
Dont seul 3 en dernier auteur (= celui qui supervise les recherches).

https://t.co/qdvn4kytpP?amp=1 (2010)
https://t.co/uMwNXnP4Ti?amp=1 (2011)
https://t.co/uMwNXnP4Ti?amp=1 (2012)
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0020746

Sur ses 3 papiers en dernière auteure, celui de 2011 mérite commentaire. Car, sans rentrer dans les détails techniques, ce papier a tout d’une grosse erreur d’interprétation. Car AHC pense avoir découvert des micro-ARN dans les mitochondries (ce qui aurait été un scoop).

mais lorsqu’on analyse les résultats, ce qu’on voit surtout c des produits de dégradation d’ARNr/ARNt mitochondriaux. Donc des artefacts.
Et AHC a l’air de le savoir, car elle a appelé ses micro-ARN des « mitoMIRs », une façon de dire “ça en est” mais…pas vraiment.

Honnêtement elle aurait dû les appeler “mythoMiR” » (mais passons).. Dernier baroud d’honneur, AHC publie en 2020 un article vraiment WTF sur une histoire d’ARN circulaire et son rôle dans l’origine du monde. Un article signé SimplissimA, sa boîte de l’Ile Maurice.

4. Conclusion

En conclusion, nous vivons une crise Covid éprouvante pour tous, mais apparemment enthousiasmante pour certains. Les experts auto-proclamés vivent une époque dorée. Mais reconnaitre un expert et le qualifier n’est pas si difficile que cela. Il faut juste le vouloir.
Alexandra Henrion-Caude a fait une carrière scientifique honorable, avant de partir en vrille, pour une raison que seule elle connait.
Son expertise en ARN se résume à une poignée d’articles peu impactants en 25 ans, dont elle fait fond de commerce et sur lesquels elle base son argument d’autorité. Elle s’est mise à travailler sur les ARN quand ces derniers sont devenus à la mode, dans la décennie des 2000’s.
Elle est arrivée tard, et partie tôt. Et si son expertise en ARN est modeste, ses compétences en infectiologie sont nulles.
Vous comprendrez maintenant pourquoi elle est capable de dire des énormités telles que « vous m’expliquerez comment le variant breton échappe à la PCR mais pas au vaccin ». Parce qu’un titre et un H-index ne disent RIEN de la compétence d’un chercheur hors de son vrai champ d’expertise.
Au contraire, un « je ne sais pas répondre » est souvent le gage d’un scientifique intègre.

Je remercie les Dr. C et Dr. S “for helpful discussions and comments”.

Vive la Science !

Pour retrouver les papiers d’AHC. Allez dans pubmed et tapez: – Henrion A pour ne pas louper les papiers avant 2002 (référencement par initiale prénom) – Henrion-Caude Alexandra pour avoir tous les papiers après 2002 (et ne pas avoir à trier les “Henrion A” qui ne sont pas elle).
Pubmed :
https://t.co/opKQzURAxO?amp=1


Non il était juste bon le mec. Et il pensait. Vraiment. Et quand il faisait le design expérimental, c’était du Mozart. Bref, tombé dans la science quand il était petit.

Communication de l’avis de la HAS du 19/03 sur le vaccin AZ : un couac

Par Peter Bernstein @peterberns10 apothicaire assermenté non exerçant. Formateur. Gérant. Membre de Citizen4Science

Les acteurs de terrain (médecins/pharmaciens qui vaccinent) on encore une fois dû être heureux d’apprendre par la presse une information ayant un impact majeur sur leur activité : l’exclusion des patients de 50 à 54 ans de la vaccination AstraZeneca.

C’est Nicolas Berrod, journaliste au Parisien, qui publie un thread à 13h assorti d’un article du quotidien :
https://twitter.com/nicolasberrod/status/1372877687962877958
Le rapport cité dans ce thread posté il y a 6 heures, et qui semble porter la mention « confidentiel » en filigrane, vient tout juste d’être publié par la HAS (le filigrane, quoi qu’il dise a disparu), faisant suite à l’e-mail DGS-Urgent résumant son contenu, reçu lui vers 16h.

Cela oblige les professionnels de santé à déprogrammer les rendez-vous de patients âgés de moins de 55 ans, qui pour certains avaient REPRIS rendez-vous… après s’être déjà vu déprogrammés lundi suite à la suspension du vaccin AstraZeneca. Tant pis. Ils re-reprendront rendez-vous plus tard.
Il serait heureux que les autorités de santé prennent en considération l’impact que la fuite (si c’en est une) de ce genre d’infos, non encore officielles peut avoir sur l’activité de professionnels travaillant déjà dans des conditions extrêmement tendues.
Que les journalistes relayent des infos confidentielles, c’est une chose, ils font leur taf. Même si avant de publier ce genre d’infos sensibles ils pouvaient évaluer les conséquences que cela aura pour les acteurs de terrain …
C’est le fait que ce rapport ait été diffusé aux journalistes avant que les professionnels directement concernés par son contenu en aient connaissance qui est inacceptable. D’autant plus en considérant le contexte actuel !
Cela s’ajoute à une communication erratique et difficilement compréhensible de la part des autorités de tutelle des soignants, les emails DGS Urgent en étant un exemple souvent moqué sur le réseau…

Olivier Véran a bien tweeté l’info à peu près au même moment sans pour autant expliquer pourquoi on passait de 50 à 54 ans (cela devait aller de soi), mais tous les soignants ne sont pas au courant sur Twitter !

Donc merci @olivierveran, @AlerteSanitaire & @HAS_sante de prendre un peu plus en considération l’impact que votre façon de communiquer peut avoir sur le quotidien des acteurs de terrain !

Quant aux citoyens non heureux destinataires des DGS urgents : il aura fallu attendre 18h pour voir l’avis de la HAS publié sur sont site internet…

BLOG/AGORA CITOYENNE

BLOG/AGORA CITOYENNE

Le BLOG/AGORA est un lieu où vous retrouverez de façon classique les publications, articles et positions de Citizen4Science, association citoyenne de préservation et promotion de la science et de lutte contre la désinformation et l’obscurantisme.
Nous avons aussi souhaité que cette section reflète notre approche unique de citoyens réunis pour faire entendre leur voix à l’unisson, mais aussi leurs voix individuelles en lien avec notre mission et dans l’esprit de notre charte et ses valeurs fortes d’inclusion et de diversité.
Tout comme sur Citizen Ship, le forum privé comporte ainsi une agora citoyenne, lieu de rassemblement public pour les échanges informels des membres de l’association au quotidien, l’agora du blog constitue une tribune ouverte à tous les membres pour partager, exprimer leur point de vue ou témoigner. Nous invitons également les citoyens non adhérents à C4S à venir s’exprimer, dans un esprit démocratique pour favoriser le débat d’idées.

NB : Les articles en catégorie AGORA n’ impliquent en aucun cas l’approbation ou la caution du contenu par l’association Citizen4Science.