L’intelligence artificielle transforme aussi la publication scientifique. Le secteur est en ébullition et à l’instar de la traduction, les experts seront bientôt relégués au statut de relecteurs… du travail de l’IA

L’intelligence artificielle s’impose comme un catalyseur majeur dans la publication scientifique, en restructurant profondément le processus de relecture par les pairs (« peer review » dans le jargon) vers un modèle hybride. À l’image de la traduction professionnelle, qui a été profondément remaniée et souvent dévastée par les outils automatisés au cours de la dernière décennie, la relecture délègue désormais le traitement massif des soumissions à l’intelligence artificielle, tandis que l’expertise humaine se concentre sur la validation du travail de l’IA. Cette analogie avec la traduction dans la chaîne de l’édition n’est pas fortuite : elle illustre comment un métier autrefois artisanal (dans le bon sens du terme) et profondément humain, fondé sur la maîtrise et l’expertise en la matière ici linguistique et culturelle, a été bouleversé par l’automatisation et le deep learning, pavant la voie à une hybridation où l’humain corrige et affine les sorties de la machine, souvent au prix d’une précarisation généralisée du métier.

La crise structurelle du système traditionnel de relecture

Le cadre de relecture par les pairs, instauré au XVIIe siècle pour garantir la robustesse des découvertes scientifiques, traverse une période de tension extrême. En 2025, le volume annuel de publications dépasse les cinq millions d’articles, contre seulement 1,8 million en 2010, selon les analyses du Peer Review Congress. Cette croissance exponentielle, alimentée par l’essor de l’accès ouvert et les pressions institutionnelles du « publish or perish » (publier ou périr) allonge les délais de traitement jusqu’à douze mois et crée un déséquilibre flagrant parmi les relecteurs bénévoles :20 % d’entre eux assument 80 % des évaluations. Parallèlement, les « paper mills« , usines à faux articles, souvent générés par intelligence artificielle, contaminent jusqu’à 20 % des soumissions dans des domaines comme la biomédecine ou l’intelligence artificielle. Face à cette avalanche, l’IA apporte une réponse concrète avec des plateformes telles que STM Integrity Hub, qui analysent plus de 70 indicateurs pour détecter le plagiat, les altérations d’images et les anomalies statistiques. Chez des éditeurs comme PLOS ou Springer Nature, ces systèmes automatisés génèrent déjà 40 % des rejets au stade initial, réduisant de moitié les temps de réponse. D’ici 2028, les projections estiment que 70 à 80 % des contrôles préliminaires seront algorithmiques, libérant ainsi les experts pour des analyses plus subtiles.
Le parallèle avec la traduction professionnelle est particulièrement éclairant : depuis l’arrivée de DeepL et Google Translate, les traducteurs se consacrent essentiellement à la correction finale, avec une augmentation de 300 % de ces tâches depuis 2020. La relecture scientifique empruntera la même voie, en formant des spécialistes à affiner les modèles d’intelligence artificielle sur des ensembles de données dédiés, afin d’éviter les erreurs graves en médecine ou en physique. Mais à quel coût social pour les experts bénévoles actuels ?

Les pionniers du NEJM : une hybridation prudente entre automatisation et discernement humain

La prestigieuse revue New England Journal of Medicine (NEJM) illustre parfaitement cette évolution mesurée et contrôlée. Grâce à sa branche NEJM AI et au programme « AI Fast Track« , des modèles comme ChatGPT-5 et Gemini Pro examinent les essais cliniques pour identifier les biais statistiques, les échantillons défaillants ou les faiblesses méthodologiques. Ces outils surpassent souvent les relecteurs humains sur les aspects techniques purs, en débusquant des incohérences jusque-là passées inaperçues. Cependant, la politique éditoriale reste inflexible : chaque manuscrit exige l’intervention d’au moins deux experts externes et d’un statisticien, avec une interdiction formelle de l’intelligence artificielle pour les décisions finales. Cette approche hybride préserve le jugement contextuel et éthique, essentiel pour évaluer l’innovation ou les implications sociétales. Chez PLOS, les rejets initiaux ont explosé à 40 % grâce à ces audits numériques. Ces initiatives démontrent que l’intelligence artificielle excelle dans la gestion du volume, mais qu’elle bute sur les subtilités culturelles ou les avancées disruptives. Dans les deux à trois prochaines années, un déploiement élargi de ces voies rapides démocratisera l’accès à la publication pour les chercheurs des pays en développement, souvent pénalisés par les barrières linguistiques. Des traductions automatisées, corrigées par des spécialistes, renforceront cette inclusivité, à l’instar des traducteurs formés sur des corpus massifs pour perfectionner les algorithmes, une inclusivité qui masque souvent une exploitation accrue des travailleurs précaires.

Frontiers et son assistant AIRA : une intégration fluide au service de l’efficacité

Frontiers, leader de l’accès ouvert (open science dans le jargon), a déployé dès 2020 l’Artificial Intelligence Review Assistant (AIRA), qui effectue plus de quarante vérifications en un instant : détection de plagiat, conflits d’intérêts, images falsifiées. Couplé à Papermill Alarm, il identifie quinze signes de fraude, divisant par deux les délais de traitement. Cet assistant prépare le terrain pour un réseau de cent mille relecteurs humains qui rendent les verdicts définitifs. D’ici 2027, il orchestrera un appariement prédictif en temps réel entre manuscrits et relecteurs, favorisant une plus grande diversité grâce à des traductions corrigées. Ce modèle rappelle les agences éditoriales comme TransPerfect (voire paragraphe dédié ci-dessous), chez laquelle 90 % des flux professionnels passent désormais par l’humain essentiellement pour de la correction, générant des emplois spécialisés pour valider l’intelligence artificielle, mais des emplois souvent sous-payés et instables.

Elsevier et Aries Systems : une infrastructure évolutive pour préserver l’intégrité

L’éditeur Elsevier, qui gère plus de cinq mille revues, intègre l’intelligence artificielle dans Aries Systems et Editorial Manager pour un filtrage avancé : analyse de similarités textuelles, détection de biais et collaboration avec STM Hub contre les usines à faux articles. Traitant onze mille soumissions par jour, ces outils allègent 70 % de la charge initiale. ScienceDirect produit des synthèses de littérature, mais la relecture demeure strictement humaine, excluant toute autonomie algorithmique. Cette forteresse hybride repose sur un affinement renforcé pour des disciplines objectives comme la chimie, via des ensembles de données certifiés. Le marché de l’édition scientifique, évalué à 19 milliards de dollars, voit l’intelligence artificielle capter 15 % de la croissance annuelle, avec des concurrents comme Scholastica ou Morressier. Cette croissance qui profite avant tout aux géants au détriment des petits acteurs et des experts indépendants.

Côté prestataires d’IA : l’exemple de l’indien Cactus Communications

Fondée en 2002 à Mumbai, Cactus Communications rassemble plus de 3 000 experts en édition, traduction et intelligence artificielle à travers Paperpal et Editage. L’entreprise s’est développée à l’international, avec des bureaux en Asie, en Europe et en Amérique, au service des chercheurs, éditeurs et sociétés savantes. Son réseau excède mille spécialistes par discipline, proposant des services hybrides comme Paperpal Preflight for Editorial Desk, intégré chez Taylor & Francis, Frontiers ou Aries Systems, pour un filtrage algorithmique suivi de validation humaine. Cactus brille par son plaidoyer actif, en co-organisant des conférences et en façonnant les normes. En 2025, Editage coparraine la Peer Review Weeks, dont l’édition 2025 a eu lieu en septembre dernier, avec l’Association européenne des éditeurs scientifiques, sous le thème « Repenser la relecture à l’ère de l’intelligence artificielle ». Roohi Ghosh, co-présidente du comité, plaide pour un partenariat humain-algorithme responsable d’ici 2030.
Cactus anime des débats comme l’Ideathon sur les solutions intelligentes, explorant l’appariement de relecteurs et les incitations. À la Society for Scholarly Publishing 2025 à Baltimore, son équipe dirige des sessions sur les flux éditoriaux intelligents et a remporté un prix. Des partenariats avec SPIE pour des formations en optique ou avec STM pour l’intégrité amplifient son impact.
Dans quelques jours en novembre 2025, Cactus réunira à Washington DC des leaders pour « Réinventer l’édition avec la collaboration humain-intelligence artificielle » dans le but de dissiper les appréhensions. Membre de STM depuis 2024, Cactus diffuse via blogs et webinaires l’hybridation. Sur LinkedIn, elle recrute des relecteurs et autres annotateurs indépendantspour corriger les données issus de l’IA. Ce plaidoyer accélère l’adoption de l’intelligence artificielle soi-disant sans sacrifice humain, mais c’est une apparence car il masque souvent une dévalorisation du travail d’expert.

Écosystème des prestataires d’intelligence artificielle : concurrence et alliances collectives

Au-delà de Cactus, un marché dynamique propulse l’intelligence artificielle dans l’édition. STM Integrity Hub, coalition de 35 éditeurs, déploie Papermill Alarm avec 70 signaux partagés entre revues. Clear Skies attribue des notations de risque. Ces alliances échangent des ensembles de données anti-fraude. Aries intègre Preflight pour accélérer les rejets initiaux ; Frontiers associe son assistant à Clear Skies et Cactus. Elsevier domine via Editorial Manager mais coopère avec STM. Le secteur, valorisé à 19 milliards, bénéficie de 15 % de croissance liée à l’intelligence artificielle, avec Morressier ou Scholastica. Les offres d’emploi abondent : annotateurs chez Elsevier, affinement chez STM pour les sciences exactes ,des postes qui promettent l’innovation au pris de la précarisation des experts.

TransPerfect : le prédateur qui a décimé la traduction, comme un avertissement pour la relecture scientifique

Pour bien comprendre le destin probable de la relecture scientifique par les pairs, il faut se pencher sur l’histoirede TransPerfect, cette entreprise new-yorkaise fondée en 1992 par Phil Shawe et Liz Elting. Elle s’est imposée comme un prédateur impitoyable dans le monde de la traduction, avec un chiffre d’affaires dépassant le milliard de dollars. TransPerfect a été l’un des pionniers à exploiter massivement la traduction automatique neuronale dès les années 2010, intégrant des outils comme Google Translate et des moteurs propriétaires pour inonder le marché de traductions low-cost. Ce virage agressif a littéralement saccagé le métier : les tarifs par mot ont chuté de cinquante pour cent en une décennie, plongeant des milliers de traducteurs indépendants dans la précarité, les forçant à accepter des contrats ubérisés ou à quitter la profession. Des associations comme l’American Translators Association ont fustigé cette dévalorisation brutale, où la qualité humaine n’était plus qu’un luxe réservé aux clients fortunés, tandis que les erreurs culturelles et contextuelles proliféraient dans les traductions automatisées bon marché. TransPerfect, avec son modèle vorace, a externalisé massivement vers des pays à bas coûts, exploitant une main-d’œuvre sous-payée pour « post-éditer » les sorties de ses machines d’IA ; un euphémisme pour un travail ingrat de correction à la chaîne. Aujourd’hui, 90 % de ses projets passent par l’édition post-machine, créant soi-disant 50 000 emplois spécialisés, mais en réalité des postes précaires, sans sécurité sociale ni reconnaissance syndicale, où les linguistes sont réduits à des correcteurs anonymes au service des algorithmes. L’entreprise fles forme via des plateformes internes, en les rémunérant au lance-pierre pour affiner les modèles sur des corpus propriétaires, enrichissant ainsi les actionnaires au détriment des créateurs. Ce modèle a conquis des géants comme Netflix en réduisant les délais, mais au prix d’une érosion éthique : pertes d’emplois massives, burnout généralisé et une qualité globale en berne pour les contenus non critiques. Appliqué à la relecture scientifique, TransPerfect sonne comme un avertissement : l’automatisation promet l’efficacité, mais risque de transformer les experts bénévoles en gig workers exploités, validant les analyses IA sur l’éthique et l’innovation pour un salaire de misère, tout en amplifiant les inégalités et les biais. TransPerfect n’a pas reconstruit le métier ; il l’a pillé pour mieux le monétiser, un scénario que la science doit éviter, mais cela paraît bien ardu.

Défis persistants : fraudes évolutives, biais algorithmiques et garde-fous éthiques impératifs

Les défis de l’intelligence artificielle dans la relecture par les pairs sont profonds et touchent au cœur de l’intégrité scientifique. Les usines à faux articles (papermills) ont évolué, utilisant des modèles génératifs pour créer non seulement des textes falsifiés, mais aussi de faux rapports de relecture, infectant jusqu’à près de 20 % des soumissions dans les conférences sur l’intelligence artificielle. Ces tromperies sophistiquées échappent souvent aux détecteurs, en mimant le style académique avec une précision troublante, sapant la confiance dans les publications. De plus, les biais algorithmiques représentent un danger systémique : des ensembles de données d’entraînement peu diversifiés pourraient accentuer les inégalités, privilégiant les travaux en anglais ou issus d’institutions occidentales, au détriment des perspectives émergentes du Sud global. Des études récentes indiquent que 20 % des rejets automatisés pourraient être fautifs pour cette raison, compromettant l’objectivité. Éthiquement, l’opacité des algorithmes pose la question de la responsabilité : qui répond d’une erreur mortelle sur une notice d’utilisation d’un médicament ou d’un dispositif médical, ou la validation d’un essai clinique biaisé voire à base de données fabriquées, la machine ou l’éditeur ? Les National Institutes of Health et le Committee on Publication Ethics bannissent l’intelligence artificielle pure pour les relectures, imposant des déclarations complètes et des audits indépendants. La contre-attaque s’articule autour de l’affinement par des experts humains, qui corrigent les modèles sur des corpus validés, et de régulations naissantes. Des propositions pour une loi sur la relecture intelligente aux États-Unis exigeraient des certifications éthiques et des tests de robustesse. Cactus et STM forment via guides et séminaires, en insistant sur la transparence. Ces mesures de sauvegarde peuvent transformer les risques en atouts : une intelligence artificielle auditée détecterait mieux les fraudes subtiles. Sans eux, la crédibilité s’effondrerait. L’hybridation pourrait ainsi renforcer la résilience… à condition de ne pas répéter les erreurs du secteur de la traduction.

Perspectives : une généralisation hybride sans disparition de l’humain

Un horizon de deux à trois ans pour une massification de l’intelligence artificielle dans la relecture s’avère pertinent, comme le prouvent les avancées en cours et les projections du secteur. Ce mois-ci des outils comme l’assistant de Frontiers seront enrichis avec Papermill Alarm et Preflight, détectant les fraudes en routine, tandis que PLOS voit ses rejets initiaux algorithmiques atteindre 40 %. STM Integrity Hub, réunissant trente-cinq éditeurs, intègre des détecteurs de texte artificiel dès cette année, avec des groupes de travail visant une couverture inter-revues d’ici 2027-2028. Le New England Journal of Medicine rend des décisions en une semaine via son voie rapide, et Springer Nature a partagé son outil Geppetto au Hub en avril 2025. La Semaine de la relecture 2025 promeut un hybride responsable, Roohi Ghosh anticipant un filtrage dominant par intelligence artificielle dès la fin de la décennie. Le marché projette 70 % du triage algorithmique d’ici 2027-2028, extrapolation de pilotes en expansion et d’études du Peer Review Congress.
La disparition complète des relecteurs humains reste improbable avant une décennie, l’intelligence artificielle brillant dans le volume mais faillant à l’éthique ou à l’innovation. Comme pour la traduction, , la relecture scientifique par les pairs deviendra un métier hybride : experts affinant et auditant les modèles. Il faut tabler sur des régulations à définir qui ancreront l’humain au centre, pour une science fiable et des experts humains non dévalorisés ou précarisés. Un vœu pieu ?

Illustration d’en-tête : Andrea pour Science infused

Science infuse est un service de presse en ligne agréé (n° 0329 X 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique.
Non subventionné, notre média dépend entièrement de ses contributeurs pour continuer à informer, analyser, avec un angle souvent différent car farouchement indépendant. Pour nous soutenir, et soutenir la presse indépendante et sa pluralité, faites un don pour que notre section site d’actualité et d’analyse reste d’accès gratuit !

avec J’aime l’Info, partenaire de la presse en ligne indépendante

par Sarah de Rijcke, Professor of Science, Technology, and Innovation Studies, Ludo Waltman, Professor of Qauntitative Science Studies, Thed van Leeuwen, Professor by special appointment Science Studies – Leiden University
publication originale : 19 mai 2021

Parfois, faire passer un message nécessite une approche plus visuelle. C’est pourquoi nous avons récemment fait équipe avec un graphiste pour créer une infographie sur le h-index ou plutôt, sur les raisons de ne pas utiliser le h-index.
D’après notre expérience avec les parties prenantes de l’évaluation de la recherche, les débats sur l’utilité de l’indice h ne cessent de surgir. Cela se produit même dans des contextes plus favorables à l’évaluation responsable de la recherche. Bien sûr, l’indice h est bien connu, tout comme ses inconvénients. Pourtant, les diverses questions qui s’y rapportent ne semblent pas encore être connues de tous. Dans le même temps, les développements actuels en matière d’évaluation de la recherche proposent des approches plus holistiques. Parmi les exemples, citons l’enquête évaluative développée dans notre propre centre, ainsi que les approches visant à évaluer les institutions universitaires dans leur contexte. En ce qui concerne la création d’indicateurs proprement dite, une meilleure contextualisation a été demandée, exigeant de les dériver « en milieu naturel » et non de manière isolée.

L’évolution vers des approches d’évaluation de la recherche plus complètes, qui prennent en compte la recherche dans toutes ses variantes, est également soutenue par l’ensemble de la communauté des évaluateurs de la recherche, ce qui constitue un argument convaincant en faveur de l’abandon d’un raisonnement fondé sur un seul indicateur.
Pourtant, certains s’opposent à ce que l’on reconsidère l’utilisation des indicateurs. Lorsque l’infographie a été présentée pour la première fois sur Twitter, elle a suscité des réponses mettant en cause l’utilisation abusive de l’indice h dans la pratique, dénigrant les évaluations plus qualitatives ou rejetant tout simplement la responsabilité de prendre des mesures en raison d’un manque perçu d’alternatives. Cela montre qu’il est effectivement nécessaire de réexaminer l’indice h.

h-index and carrières des chercheurs

Au fil du temps, les publications représentées attirent de plus en plus de citations (voir l’axe des ordonnées dans la figure 2).

Si l’on classe la liste des publications d’un chercheur en fonction du nombre (décroissant) de citations reçues par chacune d’entre elles, on obtient une distribution telle que celle de la figure 3. La valeur du h-index h est égale au nombre de publications (N) qui ont reçu N citations ou plus. Dans notre exemple, cela donne un h-index de cinq.

La situation est moins favorable pour les chercheurs en début de carrière. En effet, le h-index ne tient pas compte de l’âge académique : avec cette métrique, les chercheurs qui sont là depuis moins longtemps obtiennent de moins bons résultats. Par conséquent, si le h-index fournit une indication sur le stade de carrière d’un chercheur, il ne permet pas de comparer équitablement des chercheurs se trouvant à des stades de carrière différents.

h-index and carrières des chercheurs

Un autre problème du h-index est qu’il ne tient pas compte des différences dans les pratiques de publication et de citation entre les domaines et même à l’intérieur de ceux-ci. Un examen plus approfondi d’un autre cas hypothétique permet d’illustrer ce problème. Nous examinons deux domaines scientifiques différents : L’un avec une faible densité de publications et de citations (figure 5) et l’autre avec une forte densité de publications et de citations (figure 6). Le chercheur dans le domaine à faible densité de publications et de citations a un h-index de deux, tandis que le h-index est égal à cinq pour le chercheur dans le domaine à forte densité de publications et de citations. La différence entre les h-index des deux chercheurs ne reflète pas une différence de performances scientifiques. Elle résulte simplement des différences dans les pratiques de publication et de citation entre les domaines dans lesquels les deux chercheurs sont actifs.

Trois problèmes relatifs au h-index

L’application du h-index dans l’évaluation de la recherche nécessite également une évaluation critique. Trois cas problématiques peuvent être identifiés en particulier (figure 7). Le premier, dans lequel le h-index facilite les comparaisons injustes entre les chercheurs, a déjà été discuté.

Le h-index favorise les chercheurs qui sont actifs depuis plus longtemps. Il favorise également les chercheurs qui travaillent dans des domaines où la densité de publications et de citations est plus élevée (figure 8).

Un autre problème du h-index est que le fait de publier beaucoup devient une « vertu » en soi. Cela signifie que les chercheurs ont intérêt à faire figurer leur nom sur le plus grand nombre possible de publications. Cela peut conduire à un comportement indésirable en matière d’autorat (figure 9). De même, l’accent mis par le h-index sur les citations peut entraîner des pratiques douteuses en matière de citations.

Il existe encore un autre problème. En mettant tellement l’accent sur les publications, le h-index réduit l’évaluation de la recherche à un seul type d’activité académique. Cela va à l’encontre des efforts déployés pour mettre en place un système d’évaluation plus responsable qui prenne également en compte d’autres types d’activités académiques : leadership, vision, collaboration, enseignement, compétences cliniques ou contributions à un groupe de recherche ou à une institution (figure 10).

Se fier à un seul indicateur est une vision à court terme, exposant au risque d’avoir des effets réducteurs considérables. La diversité thématique risque d’en pâtir puisque, comme nous l’avons vu plus haut, certains domaines scientifiques sont favorisés par rapport à d’autres. En outre, un système de recherche sain nécessite divers types de talents et de dirigeants, ce qui signifie que les chercheurs doivent être évalués d’une manière qui rende justice à la grande diversité des activités universitaires, plutôt que sur la seule base de mesures de la production de publications et de l’impact des citations.

Stopper le h-index et utiliser des approches alternatives pour évaluer les chercheurs

Comment alors « stopper le h-index » ? Nous souhaiterions mettre l’accent sur une triple approche lorsqu’il s’agit d’évaluer les universitaires (figure 11). Le point de départ est une évaluation qualitative par les pairs et les collègues. En outre, les indicateurs utilisés pour l’évaluation doivent être à la fois transparents et flexibles. La transparence signifie que le calcul d’un indicateur est clairement documenté et que les données qui le sous-tendent sont divulguées et rendues accessibles. Les indicateurs de type « boîte noire » ne sont donc pas acceptables. En ce qui concerne la flexibilité, l’évaluation ne doit pas appliquer une approche unique. Elle devrait plutôt s’adapter au type de travail effectué par un chercheur et au contexte spécifique de l’organisation ou du domaine scientifique dans lequel le chercheur est actif. Enfin, nous pensons que les justifications écrites, par exemple les récits ou les déclarations personnelles, devraient devenir un élément important des évaluations, y compris dans le contexte des promotions ou des demandes de subventions. Ces déclarations pourraient par exemple mettre en évidence les principales réalisations des chercheurs et leurs plans pour l’avenir.

En conclusion, l’évaluation des chercheurs individuels doit être considérée comme un processus qualitatif mené par pairs et collègues. Ce processus peut être soutenu par des indicateurs quantitatifs et des formes qualitatives d’information qui, ensemble, couvrent les diverses activités et rôles des chercheurs. L’utilisation d’un seul indicateur non représentatif, voire inéquitables dans de nombreux cas et basé sur le nombre de publications et de citations n’est pas acceptable.

Cette conclusion est tout à fait conforme aux appels en faveur d’approches plus larges de la reconnaissance et des récompenses dans le monde universitaire, et a également été spécifiée dans le manifeste de Leiden :

« Lire et juger le travail d’un chercheur est beaucoup plus approprié que de se fier à un seul chiffre. Même lorsqu’il s’agit de comparer un grand nombre de chercheurs, il est préférable d’adopter une approche qui prenne en compte davantage d’informations sur l’expertise, l’expérience, les activités et l’influence d’une personne. » (Principe 7 du Manifeste de Leiden)

Texte original sous licence CC BY 4.0 – Texte et infographies traduit par la Rédaction, soumis aux droits d’auteur.

Photo d’en-tête : Mwabonje Ringa

Science infuse est un service de presse en ligne agréé (n° 0329 X 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique.
Non subventionné, notre média dépend entièrement de ses contributeurs pour continuer à informer, analyser, avec un angle souvent différent car farouchement indépendant. Pour nous soutenir, et soutenir la presse indépendante et sa pluralité, faites un don pour que notre section site d’actualité et d’analyse reste d’accès gratuit !

avec J’aime l’Info, partenaire de la presse en ligne indépendante

Les paper mills, review mills et citation mills : Avez-vous déjà entendu parler des paper mills, des fermes à articles ou encore des moulins à papiers ? Tous ces noms décrivent la même chose : des sociétés qui vendent de grandes quantités d’articles scientifiques frauduleux à des auteurs cherchant à augmenter leur nombre de publications pour obtenir une promotion ou un poste (un autre effet du fameux paradigme « Publish or Perish »).

Le paradigme « Publish or Perish » ou pourquoi l’utilisation du Facteur d’Impact et de l’Indice H dans l’évaluation pose problème

La revue Nature, en 1962, abordait déjà le problème du « Publish or Perish » dans une tribune du 24 février : ils déploraient le fait que les scientifiques soient poussés à publier pour obtenir de l’avancement et témoignaient déjà à l’époque du risque de « mauvaise » science que cela entrainait.

Aujourd’hui malheureusement ce constat est toujours d’actualité. On a même « amélioré le système » en s’appuyant sur des indicateurs chiffrés tels que le Facteur d’Impact des revues et l’Indice H du chercheur. Ces indicateurs sont encore régulièrement demandés lors des évaluations individuelles, bien qu’ils soient controversés.

Que reproche-t-on à ces 2 indicateurs ?

Le premier, le facteur d’Impact d’une revue n’est malheureusement pas corrélé à la « qualité » de la publication. En effet, ce n’est pas parce que l’on a une publication dans Science (revue avec un très fort facteur d’impact) que l’on a été cité et que la publication a un impact fort sur la recherche. Voilà pourquoi il a été demandé, lors de la Déclaration de San Francisco sur l’Evaluation de la Recherche (DORA), d’abandonner cet indicateur lors de l’évaluation individuelle des chercheurs.

Le deuxième indicateur incriminé est l’Indice H du nom de son inventeur Jorge Hirsch en 2005. Cet indice h est le nombre h d’articles cités au moins h fois. Il dépend donc de la durée de la carrière de la personne évaluée et ne tient pas compte des autres types de documents, des pratiques de publication du domaine ni de la place de l’auteur dans la liste des auteurs. Il a donc de forts biais. C’est pourquoi le Manifeste de Leiden recommande de ne pas l’utiliser.

Aujourd’hui, avec le mouvement de la Science Ouverte, une évaluation plus qualitative tente de se développer. Cette évaluation pourrait prendre en compte une plus grande diversité de documents mais aussi un plus grand nombre de types de contributions des chercheurs notamment en terme d’intégrité. On vous en parle davantage ici.

Les auteurs paient pour obtenir un article, généralement de mauvaise qualité, contenant de fausses données, des informations plagiées ou douteuses et parfois écrit par une intelligence artificielle. Ces « faux articles » peuvent ensuite être facilement publiés dans des revues prédatrices qui n’effectuent pas ou peu de révision par les pairs.

Les revues prédatrices

Une revue prédatrice est une revue frauduleuse qui prend la forme d’une revue scientifique mais est proposée par une entité qui privilégie l’intérêt personnel au détriment de la recherche.

Pourquoi « prédatrice » ? La méthode d’approche est explicite : suite à un envoi en masse de courriels vous offrant de publier vos articles (le plus souvent en libre accès), l’éditeur impose des frais de publications à payer avant acceptation pour, au final, des services éditoriaux (et révisions par les pairs) minimaux, voire inexistants.

Ci-dessous un poster réunissant les critères qu’il faut prendre en compte pour repérer une revue prédatrice.

L’accélération des paper mills

Depuis quelques temps, ces sociétés sont passées à la vitesse supérieure en corrompant des éditeurs de revues pour faire accepter leurs articles, comme le raconte Frederik Joelving de Retraction Watch dans un article publié dans Science en janvier 2024. Les paper mills paient des rédacteurs en chef pour qu’ils acceptent leurs articles rapidement ou pour placer leurs propres éditeurs ou reviewers dans les comités éditoriaux des journaux.

Ce mode de prédation est apparu en Chine où la pression à la publication (sans validation de la qualité) était très forte, puis s’est étendu en Inde, en Iran et diffuse petit à petit un peu partout dans le monde.

Deux autres modes de prédation émergent depuis peu, encore plus inquiétants peut-être, ce sont les « review mills »  et les « citation mills » :

• Dans le cas des review mills, de « faux reviewers » réalisent des évaluations de piètre qualité et indiquent dans leur rapport d’évaluation que l’auteur devrait citer des articles bien précis (les leurs ou ceux de chercheurs ayant payé pour ce « service ») dans le but d’augmenter leur nombre de citations.
• En ce qui concerne les citation mills, des organisations manipulent et vendent ces citations pour augmenter l’impact de certains chercheurs. Pour insérer ces citations frauduleuses dans le circuit classique de la publication scientifique, ces organisations utilisent les review mills ou les paper mills.

Cette prédation de type « mills » dans la publication scientifique a des effets très négatifs sur différents plans :

• augmentation de la charge de travail des reviewers et des éditeurs des journaux scientifiques face à l’afflux d’articles ;
• augmentation du nombre d’articles rétractés ;
• perte de confiance dans la science de la part du grand public et des politiques ;
• difficulté croissante à se fier aux articles scientifiques d’un domaine que l’on ne maîtrise pas suite à l’infiltration de ces review mills dans le circuit classique de publication.

Les éditeurs commerciaux semblent avoir pris conscience du problème et certains ont entamé un gros travail de « nettoyage » mais la communauté scientifique doit aussi se saisir du problème. Ne serait-il pas temps d’arrêter cette course au nombre de publications sans prise en compte de leur qualité ?

Comment changer l’évaluation de la recherche pour une évaluation plus qualitative ?

La question centrale de l’évaluation de la recherche, des chercheurs, de leur carrière et de leurs projets reste l’une des résistances majeures à la transformation initiée par le mouvement de la science ouverte.

En effet, le paradigme « Publish or Perish » reste d’actualité et l’évaluation se base encore souvent sur l’utilisation d’indicateurs chiffrés controversés . Il est pourtant nécessaire que ce modèle évolue, car les maux qu’il engendre et dont il souffre sont connus : augmentation disproportionnée du nombre de publications scientifiques, usage de bibliothèque pirate, pas de valorisation des résultats négatifs, difficulté à trouver des reviewers, crise de qualité des études, augmentation des fraudes…

Pour ce qui est du cadre institutionnel, les organismes de recherche s’accordent depuis la signature de la DORA et du manifeste de Leiden sur la nécessité de faire évoluer l’évaluation des chercheurs, d’abandonner un certain nombre d’indicateurs et de prendre en compte une activité scientifique plus diverse que la simple publication des travaux.

Malgré tout, la représentation de l‘évaluation reste souvent dominée par le prestige des journaux, le nombre d’articles publiés et la valeur de l’indice h du chercheur. Ce n’est ni par stricte mauvaise volonté, ni par ignorance des problèmes actuels. Le problème structurel de l’aspect concurrentiel de la recherche rend la question de l’évaluation complexe.

Plusieurs propositions existent et un certain nombre d’entre elles rentrent petit à petit dans les usages des différents comités d’évaluation. Petit aperçu de nouvelles pratiques d’évaluation en lien avec la science ouverte :

• La promotion de l’utilisation des CV narratifs pour réduire l’emprise de l’évaluation quantitative au profit de l’évaluation qualitative, et l’expérimentation d’un « profil d’ouverture » (« openness profile ») sur ORCID ;
• Le recentrage des évaluations sur le contenu même des publications des chercheurs, malgré la lourdeur du travail qu’il induit ;
• L’encouragement des comités éditoriaux des revues et des éditeurs scientifiques à demander la communication des données et codes associés aux textes soumis, à les prendre en compte dans les procédures d’évaluation et à rendre publique leur politique sur les données et codes associés aux publications ;
• La valorisation de l’open peer-reviewing ;
• L’évaluation de l’utilisation ou du développement d’outils ou de logiciels libres ;
• La valorisation de compétences liées à la science ouverte, à la gestion du cycle de vie des données, au développement de code sources ;
• L’introduction dans le référentiel de compétences des chercheurs, enseignants-chercheurs, ingénieurs et techniciens de recherche d’un sous-ensemble de compétences en lien avec la science ouverte.

Les propositions existent, une évaluation plus qualitative est possible. Mais elle demandera, dans bien des cas, plus de moyens et de temps.

Illustration d’en-tête : Andrea pour Science infused

Source primaire : bibliothèque du CERIS, Institut Pasteur et ses publications sous licence CC BY 4.0

Science infuse est un service de presse en ligne agréé (n° 0329 X 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique.
Non subventionné, notre média dépend entièrement de ses contributeurs pour continuer à informer, analyser, avec un angle souvent différent car farouchement indépendant. Pour nous soutenir, et soutenir la presse indépendante et sa pluralité, faites un don pour que notre section site d’actualité et d’analyse reste d’accès gratuit !

avec J’aime l’Info, partenaire de la presse en ligne indépendante