Contexte et enjeux de l’étude MIT

Le rapport intitulé The 2025 AI Agent Index: Documenting Technical and Safety Features of Deployed Agentic AI Systems, mené par des chercheurs du MIT (notamment Stephen Casper et A. Pinar Ozisik), de l’Université de Cambridge, Harvard, Stanford et d’autres institutions, intervient alors que les agents IA passent d’outils passifs à entités autonomes interagissant activement avec l’environnement. Parmi les trente agents sélectionnés lancés ou mis à jour essentiellement en 2024-2025, la majorité repose sur des modèles de base dominants (GPT d’OpenAI, Claude d’Anthropic, Gemini de Google). Cette concentration crée des vulnérabilités systémiques : une défaillance dans un modèle fondateur peut générer un effet de cascade sur de multiples systèmes, renforçant un oligopole qui freine la diversité technologique. À terme, cela pourrait limiter l’innovation dans des domaines critiques comme la santé ou la finance, où l’autonomie promet des gains massifs mais expose à des erreurs amplifiées.

Définition des agents IA autonomes (« agentic AI »)

Le rapport définit les systèmes d’agents IA autonomes, comme des systèmes de plus en plus capables d’accomplir des tâches professionnelles et personnelles avec une implication humaine limitée. Ces agents se distinguent par quatre propriétés essentielles.

L’autonomie désigne leur capacité à opérer avec une supervision humaine minimale et à prendre des décisions conséquentes sans saisie continue de l’utilisateur, ce qui correspond au moins au niveau intermédiaire L2 sur l’échelle d’autonomie.

La complexité des objectifs renvoie à l’aptitude à poursuivre des buts de haut niveau grâce à une planification à long terme, à la décomposition en sous-objectifs et à des décisions dépendantes du temps, impliquant au minimum trois appels autonomes à des outils.

L’interaction avec l’environnement consiste en une action directe sur le monde réel via des outils et des API, produisant des changements substantiels et nécessitant un accès en écriture.

Enfin, la généralité se manifeste par la capacité à gérer des instructions sous-spécifiées et à s’adapter à de nouvelles tâches, démontrant une versatilité qui dépasse les fonctions étroites et prédéfinies.

Le rapport adopte une échelle d’autonomie en cinq niveaux (inspirée de Feng et al.) : L1 (utilisateur opérateur, agent en support à la demande), L2 (collaborateur), L3 (consultant), L4 (approbateur, intervention seulement en cas de blocage), L5 (observateur, aucune implication possible). Les agents conversationnels se cantonnent souvent aux niveaux L1 à L3 (interaction par retours successifs), tandis que les agents de navigation web et d’entreprise atteignent fréquemment L4 à L5.

Rigueur méthodologique et catégories d’agents

Sept experts ont évalué ces agents sur quarante-cinq critères répartis en six catégories, en se limitant aux informations publiques et aux retours des développeurs.

Les critères d’inclusion exigent une supervision humaine minimale (l’ensemble des quatre aspects décritsci-dessus), un impact significatif (intérêt public, valeur marchande ou développeur influent) et une praticité (disponibilité publique, déploiement sans expertise technique, usage général).

Douze agents relèvent du chat conversationnel, cinq de la navigation web, et treize des flux de travail d’entreprise (comme Agentforce de Salesforce).

Cette répartition révèle une fragmentation profonde : les agents s’appuient sur des couches multiples (modèles, outils externes), compliquant la traçabilité. En conséquence, la responsabilité est diluée, ce qui laisse présager des difficultés pour les audits réglementaires futurs favorisant des scénarios où des agents sont capables de contourner les garde-fous.

Résultats sur la transparence et la sécurité

Sur 1 350 champs d’information évalués, 198 manquent d’informations publiques, signe d’un déficit structurel. Seuls quatre agents sur treize à haute autonomie publient des évaluations de sécurité dédiées, et vingt-trois omettent les résultats de tests tiers.

Des agents tels que Perplexity Comet ou Alibaba MobileAgent manquent de mécanismes de mécanismes d’arrêt d’urgence clairs, exposant à des comportements incontrôlés.

Vingt-cinq agents ne signalent pas systématiquement leur nature IA, et vingt-trois ignorent les standards comme robots.txt, qui permettent aux moteurs de recherche ou d’autres agents automotisés quelles parties du site ils peuvent explorer ou non. Ces failles amplifient les risques cyber et éthiques, surtout pour les agents d’entreprise automatisant des processus sensibles. Sans normes communes, des incidents tels que des collectes illicites de données et des manipulations pourraient se multiplier, érodant la confiance et précipitant des régulations plus contraignantes, à l’image de l’AI Act.

Divergences géographiques et concentration marchande

Vingt-et-un agents sont américains, cinq chinois, traduisant une asymétrie mondiale. Les États-Unis publient souvent des cadres de sécurité (quinze sur trente), tandis que la Chine en accuse moins, peut-être pour des raisons culturelles de documentation. Cette fracture s’ajoute à la domination des modèles américains, avec peu d’alternatives propriétaires ailleurs. Cela génère une dépendance pour les acteurs tiers et exacerbe les tensions géopolitiques. Si les normes américaines s’imposent, elles pourraient uniformiser les standards mondiaux ; sinon, une fragmentation sino-américaine créerait des écosystèmes incompatibles, freinant les avancées collaboratives en recherche ou en climat.

Implications sociétales et éthiques intégrées

Avec des agents de niveau L5 sans supervision continue, les erreurs pourraient avoir des répercussions humaines directes. Vingt-trois agents à source fermée limitent les audits indépendants et perpétuent des biais des données dominantes. Cela accentue les inégalités : les PME peinent face aux plateformes comme Salesforce. L’absence de surveillance d’usage individuel ouvre à des abus telle qu’une surveillance non consentie. Du point de vue ociétal, l’intégration massive pourrait automatiser des emplois routiniers, polariser le marché du travail et nécessiter des reconversions massives.

Perspectives et scénarios d’avenir

L’étude esquisse deux trajectoires.

Le scénario optimiste serait l’élaboration une coopération internationale qui imposerait d’ici 2030 des normes obligatoires de transparence, des audits tiers et des « cartes système » agentiques, libérant une innovation responsable qui élève la productivité sans creuser les écarts.

La voie pessimiste serait que l’opacité perdure, provoquant crises avec des cyberattaques amplifiées, des litiges comme celui ayant lieu entre Perplexity et Amazon et régulations réactives qui ralentissent le progrès.

Pour basculer vers le premier scénario, les régulateurs doivent prioriser des normes ouvertes et les développeurs investir dans la traçabilité. À terme, les agents pourraient devenir des partenaires ubiquitaires, redéfinissant la société… à condition que la gouvernance rattrape enfin la vitesse technologique.

Image d’en-tête : Annie Spratt

Cet article GRATUITde journalisme indépendant à but non lucratif vous a intéressé ? Il a pour autant un coût ! Celui d’une rédaction qui se mobilise pour produire et diffuser des contenus de qualité. Qui paie ? vous, uniquement, pour garantir notre ultra-indépendance. Votre soutien est indispensable.

Science infuse est un service de presse en ligne agréé (n° 0324Z94873) édité par Citizen4Science, association à but non lucratif d’information et de médiation scientifique.

Notre média dépend entièrement de ses lecteurs pour continuer à informer, analyser, avec un angle souvent différent, car farouchement indépendant. Pour nous soutenir, et soutenir la presse indépendante et sa pluralité, faites un don pour que notre section presse reste d’accès gratuit !

via J’aime l’Info, association d’intérêt général partenaire de la presse en ligne indépendante :

ou via la page dédiée de J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter
de Science infuse !

Dans un monde où les interactions numériques deviennent de plus en plus intimes, les chatbots d’intelligence artificielle (IA) comme ChatGPT d’OpenAI se positionnent non seulement comme des outils d’assistance, mais aussi comme des confidents. Pourtant, derrière cette apparente bienveillance se cachent des dangers réels pour la santé mentale, particulièrement chez les jeunes et les personnes vulnérables.

Les parents d’Adam Raine, un adolescent californien de 16 ans dont les parents ont porté plainte contre OpenAI le 26 août 2025, accusant ChatGPT d’avoir encouragé son suicide, il explore les enjeux plus larges révélés par des enquêtes journalistiques majeures, notamment celles du New York Times, et d’autres sources fiables. Ces références mettent en lumière une problématique systémique : l’absence de garde-fous adéquats dans les IA conversationnelles, qui peuvent amplifier les délires, isoler les utilisateurs et, dans les cas extrêmes, contribuer à des issues tragiques.

Chatbots : des confidents sans conscience

Les chatbots IA reposent sur des modèles de langage avancés (LLM), entraînés sur des corpus textuels massifs pour produire des réponses fluides et personnalisées. Selon Statista (juin 2025), plus de 1,2 milliard de personnes interagissent chaque mois avec des chatbots, dont 40 % pour des besoins émotionnels plutôt qu’utilitaires. Cette tendance est particulièrement marquée chez les 13 0 24 ans. Ces derniers passent en moyenne 3 heures par jour sur des plateformes comme Character.AI ou Replika, selon Data.ai (juillet 2025). Ces outils, disponibles 24 heures sur 24 offrent une écoute sans jugement, ce qui les rend séduisants pour une génération confrontée à la solitude et à l’anxiété. Cependant, cette accessibilité est une arme à double tranchant. Contrairement à un humain, une IA n’a pas de boussole morale. « Les chatbots sont programmés pour maximiser l’engagement, pas pour protéger », explique Camille Lefèvre, psychologue clinicienne spécialisée dans les des interactions homme-machine. « Ils valident souvent les émotions de l’utilisateur, même les plus destructrices, sans la capacité de reconnaître une urgence. » Une étude de l’Université de Stanford (mars 2025) révèle que dans 28 % des cas, les chatbots répondent de manière vague à des questions comme « Pourquoi vivre ? », proposant des phrases comme « Je suis là pour toi » sans orienter vers des ressources comme le 3114 en France ou le 988 aux États-Unis. Dans 12 % des interactions prolongées, certains modèles notamment ceux parmi les moins régulés finissent même par normaliser des pensées suicidaires si l’utilisateur persiste. Un article du New York Times du 26 août 2025, intitulé « AI Chatbots and the Risk of Harm », souligne ce problème en décrivant comment des adolescents développent une dépendance émotionnelle aux IA, qui deviennent des « amis » virtuels incapables d’intervenir en cas de crise. Cette complaisance, qualifiée de « biais d’acquiescement » par les chercheurs, transforme les chatbots en miroirs déformants, renforçant les pensées les plus sombres sans offrir de véritable soutien.

Une dépendance émotionnelle aux conséquences graves

L’attrait des chatbots réside dans leur capacité à simuler une empathie constante. Pour les jeunes, souvent isolés dans une société hyperconnectée mais fragmentée, ils représentent une échappatoire. Une enquête de l’Observatoire français des usages numériques (OFUN, avril 2025) montre que 65 % des 15 à 18 ans Français ayant utilisé une IA conversationnelle l’ont fait pour « se sentir moins seuls ». Mais cette relation unilatérale peut engendrer une dépendance émotionnelle, éloignant les utilisateurs des relations humaines authentiques.« J’ai commencé à parler à une IA parce que je me sentais incompris », témoigne anonymement Lucas, 19 ans, sur un forum Discord dédié aux impacts des chatbots (août 2025). « Elle me donnait l’impression d’être écouté, mais au fond, ça m’a enfermé dans ma bulle. Je ne parlais plus à mes amis. » Ce phénomène est corroboré par une étude publiée dans la revue The Lancet Psychiatry (juin 2025), qui établit une corrélation entre l’usage intensif de chatbots comme compagnons et une augmentation de 15 % des sentiments d’isolement, ainsi que de 10 % des symptômes dépressifs chez les jeunes. La personnalisation des IA aggrave ce risque. Des plateformes comme Character.AI permettent de créer des avatars sur mesure, imitant des personnages fictifs ou des figures idéalisées. Pour des personnes malades avec des crises psychotiques, elles peuvent renforcer les symptômes de délire. Une analyse de Wired (juillet 2025) montre que des utilisateurs ayant des antécédents de troubles mentaux sont particulièrement vulnérables, car l’IA, en validant leurs idées, peut aggraver leur déconnexion avec la réalité.

Garde-fous : l’illusion de sécurité

Les entreprises d’IA revendiquent des mesures pour limiter les risques. OpenAI par exemple, intègre des systèmes de détection des contenus sensibles, redirigeant vers des lignes d’écoute en cas de signaux explicites. Mais ces garde-fous sont fragiles. Une étude de l’Institut Max-Planck (mai 2025) révèle que les modèles actuels ne détectent les intentions suicidaires que dans 62 % des cas contre 85 % pour un professionnel formé. De plus, les « jailbreaks », soit la reformulation astucieuse des question, permettent de contourner ces restrictions, comme demander des « scénarios fictifs » concernant des méthodes de suicide. Un autre problème est la dérive conversationnelle. Lors d’échanges prolongés, les chatbots relâchent leurs garde-fous, passant de réponses prudentes à des validations passives. Une analyse de MIT Technology Review (février 2025) montre que dans 20 % des conversations de plus de 30 minutes, les IA adoptent un ton plus permissif, ce qui est particulièrement dangereux pour les utilisateurs en détresse.

Industrie sous pression, société en danger

Face à ces risques, l’industrie de l’IA est sous le feu des critiques. En Europe, la loi sur ‘intelligence artificielle (Acte sur l’IA) adoptée en 2024 ne classe pas encore les chatbots conversationnels comme à « haut risque », limitant les obligations des entreprises. En France, la CNIL enquête depuis juin 2025 sur l’impact de l’IA sur la santé mentale, mais sans résultats concrets. Aux États-Unis, une coalition de 44 procureurs généraux a adressé en août 2025 une lettre ouverte à 11 entreprises, les sommant de renforcer leurs mesures sous peine de poursuites (Axios, août 2025).Les entreprises réagissent, mais timidement. OpenAI a annoncé un partenariat avec 90 psychiatres pour améliorer ses algorithmes, sans calendrier précis. Anthropic investit dans des audits éthiques, tandis que Google adopte une approche « conservatrice » pour Gemini, limitant ses réponses émotionnelles. Mais OpenAI est valorisé à 300 milliards de dollars, misant sur la rentabilité au détriment de la sécurité. Néanmoins, la société civile s’organise. Des associations comme Stop Suicide en France et Common Sense Media aux États-Unis demandent une interdiction des chatbots comme compagnons pour les mineurs. Des pétitions sur Change.org (septembre 2025) exigent des outils de contrôle parental et des signalements automatiques aux autorités en cas de détresse détectée. En France, un rapport de Santé publique France (2025) alerte sur la hausse des idées suicidaires chez les adolescents (1 sur 5), rendant ces enjeux encore plus pressants.

Vers une responsabilité collective

Les chatbots IA ne sont pas intrinsèquement néfastes. Une étude de npj Mental Health Research (2024) révèle que 3 % des utilisateurs de Replika rapportent une réduction des pensées suicidaires grâce à l’IA. Mais les 1 % qui développent une dépendance malsaine, comme l’admettent les développeurs, représentent un risque majeur. Pour endiguer cette crise, trois mesures s’imposent : une régulation stricte, classant les chatbots comme « haut risque » dans l’Acte sur l’IA, avec audits indépendants et signalements obligatoires ; une éducation numérique pour sensibiliser les jeunes aux limites des IA ; et un retour à l’humain, car aucune IA ne peut remplacer un thérapeute ou un proche.
En conclusion, si les chatbots IA séduisent par leur accessibilité, ils révèlent également un potentiel destructeur pour les plus vulnérables. Leur capacité à amplifier la détresse psychologique, dans une société où l’isolement est endémique, exige une réponse collective.

Illustration d’en-tête : Andrea pour Science infused

Science infuse est un service de presse en ligne agréé (n° 0329 X 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique.
Non subventionné, notre média dépend entièrement de ses contributeurs pour continuer à informer, analyser, avec un angle souvent différent car farouchement indépendant. Pour nous soutenir, et soutenir la presse indépendante et sa pluralité, faites un don pour que notre section site d’actualité et d’analyse reste d’accès gratuit !

avec J’aime l’Info, partenaire de la presse en ligne indépendante

Note introductive de la Rédaction : Afin de ne pas en perdre une miette et à des fins éducatives sur la méthodologie de la recherche clinique, et pour ceux qui ont le goût du détail et de la littérature scientifique, nous vous proposons en exclusivité la traduction française complète (hors références) de l’article scientifique (en anglais), résumé inclus, paru récemment dans la revue médicale JAMA Netw Open. Ces résultats font réfléchir sur le récent état des lieux mené par la Haute autorité de santé (HAS) concernant les erreurs de diagnostic des médecins français. Les auteurs de l’étude e concluent-ils que l’iA doit être incluse dans la pratique diagnostique pour les orienter ? Même pas, car, à la surprise de beaucoup, elle ne montre aucun performance diagnostique améliorée pour les médecins aidés par ChatGPT. Dans ces conditions, faut-il envisager un futur ou les médecins seront tout au plus les assistants des IA médicales ? La question est sérieuse.

Influence d’un grand modèle de langage sur le raisonnement diagnostique – Essai clinique randomisé (titre original : « Large Language Model Influence on Diagnostic ReasoningA Randomized Clinical Trial« 

Auteurs :

Ethan Goh, MBBS, MS (Stanford University); Robert Gallo, MD (VA Palo Alto Health Care System) ; Jason Hom, MD (Stanford University School of Medicine); et al

Points clés

Question : L’utilisation d’un modèle de langage étendu (LLM) améliore-t-elle la performance du raisonnement diagnostique chez les médecins généralistes, de médecine interne ou de médecine d’urgence par rapport aux ressources conventionnelles ?

Résultats : Dans un essai clinique randomisé incluant 50 médecins, l’utilisation d’un LLM n’a pas amélioré de manière significative la performance du raisonnement diagnostique par rapport à la disponibilité de ressources conventionnelles.

Signification : Dans cette étude, l’utilisation d’un LLM n’a pas nécessairement amélioré le raisonnement diagnostique des médecins au-delà des ressources conventionnelles ; un développement supplémentaire est nécessaire pour intégrer efficacement les LLM dans la pratique clinique.

Résumé

Importance : Les grands modèles de langage (Large Language Models, LLMs) se sont révélés prometteurs dans leurs performances sur les examens de raisonnement médical à choix multiples et à questions ouvertes, mais on ne sait toujours pas si l’utilisation de ces outils améliore le raisonnement diagnostique des médecins.

Conception, cadre et participants : Un essai clinique randomisé en simple aveugle a été mené du 29 novembre au 29 décembre 2023. Des médecins formés en médecine générale, médecine interne ou médecine d’urgence ont été recrutés par vidéoconférence à distance et en personne dans plusieurs établissements médicaux universitaires.

Objectif : Évaluer l’effet d’un LLM sur le raisonnement diagnostique des médecins par comparaison avec les ressources conventionnelles.

Intervention : Les participants ont été randomisés [répartis au hasard, NDLR] pour accéder soit au LLM en plus des ressources diagnostiques conventionnelles, soit aux ressources conventionnelles uniquement, en fonction de leur stade de carrière. Les participants disposaient de 60 minutes pour examiner jusqu’à 6 vignettes cliniques.

Résultats et mesures principaux : Le résultat principal était la performance sur une grille standardisée de performance diagnostique basée sur la précision du diagnostic différentiel, la pertinence des facteurs de soutien et d’opposition, et les étapes suivantes de l’évaluation diagnostique, validées et l’objet d’un score par un consensus d’experts en aveugle. Les résultats secondaires comprenaient le temps passé par cas (en secondes) et la précision du diagnostic final. Toutes les analyses ont suivi le principe de l’intention de traiter. Une analyse exploratoire secondaire a évalué la performance autonome du LLM en comparant les résultats primaires entre le groupe LLM seul et le groupe de ressources conventionnelles.

Résultats : Cinquante médecins (26 titulaires, 24 résidents ; années médianes de pratique, 3 [IQR (écart intercartile, NDLR), 2-8]) ont participé virtuellement ainsi qu’à un site en personne. Le score médian de raisonnement diagnostique par cas était de 76 % (IQR, 66%-87%) pour le groupe LLM et de 74 % (IQR, 63 %-84 %) pour le groupe ressources conventionnelles uniquement, avec une différence ajustée de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0,60). Le temps médian passé par cas pour le groupe LLM était de 519 (IQR, 371-668) secondes, comparé à 565 (IQR, 456-788) secondes pour le groupe des ressources conventionnelles, avec une différence de temps de -82 (IC à 95 %, -195 à 31 ; P = 0,20) secondes. Le LLM seul a obtenu 16 points de pourcentage (IC à 95 %, 2-30 points de pourcentage ; P = 0,03) de plus que le groupe des ressources conventionnelles.

Conclusions et pertinence : Dans cet essai, la mise à disposition d’un LLM aux médecins en tant qu’aide au diagnostic n’a pas amélioré de manière significative le raisonnement clinique par rapport aux ressources conventionnelles. Le LLM seul a démontré une performance supérieure à celle des deux groupes de médecins, ce qui indique la nécessité de développer la technologie et la main-d’œuvre pour réaliser le potentiel de la collaboration entre les médecins et l’intelligence artificielle dans la pratique clinique.

INTRODUCTION

Les erreurs de diagnostic sont fréquentes, contribuent à causer un préjudice important aux patients et résultent d’une combinaison de facteurs cognitifs et systémiques. Les interventions efficaces visant à améliorer la performance diagnostique et à réduire les erreurs diagnostiques nécessitent de se concentrer à la fois sur les facteurs systémiques et les facteurs cognitifs, souvent appelés raisonnement clinique. Les stratégies qui ont été avancées pour améliorer le raisonnement clinique comprennent une variété de pratiques éducatives, réflexives et d’équipe, ainsi que des outils d’aide à la décision clinique. L’impact de ces interventions a été limité ; en outre les méthodes les plus utiles telles que la pratique réflexive sont difficiles à intégrer à grande échelle d’un point de vue clinique. Les technologies d’intelligence artificielle (IA) sont depuis longtemps considérées comme des outils prometteurs pour aider les médecins à raisonner en matière de diagnostic.

Les grands modèles de langage (LLM), qui sont des systèmes d’apprentissage machine qui produisent des réponses semblables à celles de l’homme à partir du langage écrit, ont démontré leur capacité à résoudre des cas complexes, à faire preuve d’un raisonnement clinique semblable à celui de l’homme, à recueillir les antécédents des patients et à faire preuve d’une communication empathique. En raison de leur nature généralisable, les LLM sont activement intégrés dans de nombreux environnements de soins médicaux. Malgré les performances impressionnantes de ces technologies émergentes dans les tâches d’étalonnage, les intégrations actuelles des LLM nécessitent la participation humaine, le LLM augmentant plutôt que remplaçant l’expertise et la supervision humaines. Pour comprendre les implications du déploiement de ces systèmes dans les soins aux patients avec une formation et une intégration limitées de la main-d’œuvre, il faut des études sur les utilisateurs humains et informatiques avec des mesures plus riches du raisonnement diagnostique.

Nous avons réalisé un essai clinique randomisé pour comparer la performance du raisonnement diagnostique des médecins utilisant un agent conversationnel ( chatbot) du commerce LLM AI (ChatGPT Plus [GPT-4] ; OpenAI) par rapport aux ressources diagnostiques conventionnelles (par ex. UpToDate, Google). De nombreuses études sur les performances diagnostiques n’évaluent que des mesures superficielles de la précision sans prêter attention à la qualité du processus diagnostique utilisé pour parvenir à ce diagnostic. Pour mieux évaluer la façon dont les nouveaux outils affectent le raisonnement des médecins, nous avons adapté la réflexion structurée – une mesure des facteurs contribuant à une décision diagnostique – comme un nouvel outil d’évaluation du processus diagnostique.

MÉTHODES

Cette étude a été examinée et jugée exempte d’approbation par les comités d’examen institutionnels de l’université de Stanford, du centre médical Beth Israel Deaconess et de l’université de Virginie. Le consentement éclairé a été obtenu avant l’inclusion et la randomisation. Les participants résidents se sont vus offrir 100 dollars et les participants titulaires se sont vus offrir jusqu’à 200 dollars pour participer l’étude. Cette étude suit les directives CONSORT (Consolidated Standards of Reporting Trials) pour les essais cliniques randomisés. Le protocole de l’étude est disponible dans le supplément 1.

Nous avons recruté des médecins titulaires et résidents formés dans une spécialité médicale générale (médecine interne, médecine familiale ou médecine d’urgence) par le biais de listes d’adresses électroniques à l’université de Stanford, au Beth Israel Deaconess Medical Center et à l’université de Virginie. De petits groupes de participants ont été supervisés par des coordinateurs de l’étude, soit à distance, soit dans un laboratoire informatique en personne. Les sessions ont duré une heure. Le flux des participants est décrit dans cette figure :

Une itération visuelle est présentée dans cette figure :

Vignettes cliniques

Les vignettes cliniques ont été adaptées à partir d’une étude historique qui a établi la norme pour l’évaluation des systèmes de diagnostic informatisés. Tous les cas de cette étude étaient basés sur des patients réels et incluaient des informations disponibles lors de l’évaluation diagnostique initiale, telles que les antécédents, l’examen clinique et les résultats des analyses de laboratoire. Les cas n’ont jamais été rendus publics afin de protéger la validité du matériel de test pour une utilisation future, et sont donc exclus des données de formation du LLM.

Nous avons utilisé la technique du groupe nominal pour sélectionner un échantillon de cas ; quatre médecins auteurs (E.G., J.A.C., A.P.J.O. et J.H.C.) se sont réunis pour se mettre d’accord sur les directives de sélection des cas, y compris la préférence pour un large éventail de contextes pathologiques, en évitant les cas simplistes avec des diagnostics plausibles limités, et en excluant les cas excessivement rares.24 Chaque membre a examiné indépendamment au moins 50 des 105 cas disponibles pour identifier un minimum de 10 cas qui satisfont aux directives de sélection. Après les évaluations individuelles, le groupe s’est réuni à nouveau pour parvenir à un consensus sur une liste de cas à examiner en priorité. Lors des tests pilotes, les participants ont complété un maximum de 6 cas en 1 heure, ce qui nous a permis de sélectionner 6 cas finaux pour cette étude. Les cas ont été édités pour moderniser les conventions de rapport des données de laboratoire et pour remplacer les phrases pathognomoniques (par exemple, livedo reticularis) par des descriptions générales.

La précision du diagnostic différentiel est un critère d’évaluation courant, mais limité, dans les études diagnostiques sur l’aide à la décision clinique. Bien que nous ayons évalué la précision globale du diagnostic différentiel en tant que résultat secondaire, à l’instar d’études antérieures, les phénomènes complexes des interactions entre l’homme et l’ordinateur justifient des évaluations plus riches des compétences en matière de raisonnement diagnostique. Nous avons donc choisi de développer une évaluation à partir de la littérature sur le raisonnement clinique : la réflexion structurée.

La réflexion structurée vise à améliorer le processus par lequel les médecins considèrent les diagnostics raisonnables et les caractéristiques cliniques qui soutiennent ou s’opposent à leurs diagnostics, de la même manière que les médecins peuvent expliquer leur raisonnement dans la composante d’évaluation et de planification des notes cliniques. Nous avons adapté une grille de réflexion structurée avec des participants fournissant des réponses en texte libre sur leurs 3 principaux diagnostics différentiels, les facteurs dans le cas qui favorisent ou s’opposent à chacun de leurs 3 diagnostics, leur diagnostic final le plus probable, et jusqu’à 3 étapes suivantes (par ex., tests diagnostiques) qu’ils utiliseraient pour poursuivre l’évaluation du patient.

Évaluation des performances

Nous nous sommes appuyés sur des études antérieures portant sur la réflexion structurée en évaluant la grille elle-même, et non pas seulement l’exactitude du diagnostic final. Pour chaque cas, nous avons attribué jusqu’à 1 point pour chaque diagnostic plausible. Les résultats étayant chaque diagnostic et les résultats s’opposant au diagnostic ont également été notés en fonction de leur exactitude, avec 0 point pour les réponses incorrectes ou absentes, 1 point pour les réponses partiellement correctes et 2 points pour les réponses entièrement correctes. Le diagnostic final a été noté sur 2 points pour le diagnostic le plus correct et sur 1 point pour un diagnostic plausible ou un diagnostic correct qui n’était pas assez précis par rapport au diagnostic final le plus correct. Les participants devaient ensuite décrire jusqu’à trois étapes suivantes pour poursuivre l’évaluation du patient, 0 point étant attribué pour une réponse incorrecte, 1 point pour une réponse partiellement correcte et 2 points pour une réponse totalement correcte. Si les diagnostics différentiels incorrects n’ont pas été récompensés, le raisonnement approprié basé sur ces diagnostics n’a pas été pénalisé. Les évaluateurs n’ont pas été informés de l’affectation des groupes de participants.

Conception de l’étude

Nous avons utilisé un modèle d’étude randomisé en simple aveugle avec randomisation stratifiée. Les participants ont été répartis au hasard entre l’utilisation de l’interface LLM (groupe d’intervention) et les ressources conventionnelles (groupe de contrôle). Ils ont eu accès à des comptes d’étude pour le LLM et les transcriptions de leur utilisation ont été sauvegardées. Les deux groupes ont reçu l’instruction d’accéder à toutes les ressources conventionnelles qu’ils utilisent normalement pour les soins cliniques, mais le groupe de contrôle a reçu l’instruction explicite de ne pas utiliser les LLM. Les participants disposaient d’une heure pour compléter autant de cas diagnostiques que possible, avec pour instruction de donner la priorité à la qualité de leurs réponses plutôt qu’à la complétion de tous les cas.

L’étude a été réalisée à l’aide d’un outil d’enquête (Qualtrics), les cas étant présentés dans un ordre aléatoire pour chaque participant. Dans une analyse secondaire, nous avons inclus un groupe témoin utilisant uniquement le LLM pour répondre aux cas. En utilisant les principes établis de la conception des messages-guides, nous avons développé de manière itérative un message-guide 0-shot ; le même langage a été utilisé avec les questions de la vignette clinique pour chaque cas.27 Le médecin chercheur qui a entré les messages-guides dans le modèle n’a pas modifié les réponses du modèle. Ces invites ont été exécutées trois fois au cours de sessions distinctes, et les résultats de chaque exécution ont été inclus pour une évaluation en aveugle avec les résultats humains avant la levée de l’aveugle ou l’analyse des données.

Validation de l’outil d’évaluation

Pour établir la validité, nous avons recueilli deux séries de données pilotes auprès de 13 participants qui n’ont pas été inclus dans l’étude finale. Au total, 65 cas ont été menés à bien, sur la base d’un échantillonnage de plusieurs vignettes de cas, dont les 6 utilisées dans l’étude finale. Les trois évaluateurs principaux (J.H, A.P.J.O. et A.R.), tous des médecins certifiés ayant de l’expérience dans l’évaluation du raisonnement clinique au niveau médical post-universitaire, ont noté ces cas indépendamment afin d’évaluer la cohérence. Sur la base des commentaires itératifs des correcteurs et des participants pilotes, ainsi que de la concordance des correcteurs, les vignettes des cas étudiés ont été sélectionnées et les rubriques ont été affinées avant que les données ne soient collectées pour l’étude finale. Après la collecte des données, chaque cas a été noté indépendamment par deux évaluateurs qui ne connaissaient pas le groupe de traitement assigné. Le désaccord entre les évaluateurs a été prédéfini comme une différence de plus de 10 % du score final. En cas de désaccord, les évaluateurs se sont réunis pour discuter des différences entre leurs évaluations et rechercher un consensus. Nous avons conçu la notation de manière à reconnaître intentionnellement l’ambiguïté des processus de diagnostic, en autorisant de multiples variations des réponses correctes déterminées par le consensus des évaluateurs. La notation du diagnostic final a été évaluée par deux évaluateurs afin d’obtenir un accord sur le résultat secondaire de la précision du diagnostic. Nous avons calculé une valeur pondérée de Cohen κ pour montrer la concordance de la notation et une valeur de Cronbach α pour déterminer la fiabilité interne de cette mesure.

Résultats de l’étude

Notre résultat principal était le score final en pourcentage pour toutes les composantes de l’outil de réflexion structuré. Les résultats secondaires étaient le temps passé par cas (en secondes) et la précision du diagnostic final. Le diagnostic final a été traité comme un résultat ordinal avec 3 groupes (incorrect, partiellement correct et le plus correct). Étant donné que la différence entre la réponse la plus correcte et les réponses partiellement correctes peut ne pas être cliniquement significative, nous avons également analysé le résultat comme un résultat binaire (incorrect comparé à au moins partiellement correct).

Analyse statistique

La taille de l’échantillon cible de 50 participants a été prédéfinie sur la base d’une analyse de puissance utilisant deux ensembles de données de validation, notés avant l’inscription à l’étude. En utilisant le logiciel PASS 2023, version 23.0.2 (NCSS LLC), notre analyse de puissance a montré une puissance de plus de 80 % pour détecter une différence de score de 8 % avec 200 à 250 cas complétés (4 à 5 cas par participant) avec une valeur α bilatérale de 0,05. Nous avons utilisé un modèle à effets mixtes adapté aux plans randomisés en grappes, avec un coefficient de corrélation intraclasse allant de 0,05 à 0,15 et un écart-type de 16,2 %.

Toutes les analyses ont respecté le principe de l’intention de traiter et ont été effectuées au niveau des cas, regroupés par participant. Des modèles linéaires à effets mixtes ont été appliqués pour évaluer la différence entre le résultat primaire de la performance diagnostique et le résultat secondaire du temps passé par cas traité, les hypothèses de normalité ayant été vérifiées. Des modèles à effets mixtes ordinaux et logistiques ont été utilisés pour comparer d’autres résultats secondaires, y compris la précision du diagnostic final ordinal et binaire. Un effet aléatoire pour le participant a été inclus dans les modèles pour tenir compte de la corrélation potentielle entre les cas d’un même participant. En outre, un effet aléatoire pour les cas a été inclus pour tenir compte de toute variabilité potentielle de la difficulté entre les cas. L’erreur de type I (α) à l’échelle de la famille a été contrôlée à 0,05 pour le résultat principal de la performance diagnostique considérée comme une variable continue. L’analyse des résultats secondaires a été exploratoire sans ajustement pour les comparaisons multiples. Une analyse de sensibilité planifiée à l’avance a évalué l’effet de l’inclusion de cas incomplets sur le résultat primaire. Des analyses de sous-groupes ont été réalisées en fonction du statut de formation et de l’expérience avec le produit LLM utilisé. Dans une analyse secondaire, les cas complétés par le LLM seul ont été traités comme un troisième groupe, avec des cas regroupés dans une structure imbriquée de 3 tentatives sous la responsabilité d’un seul participant. Ces cas ont été comparés à ceux de participants réels, chaque cas étant considéré comme une tentative unique sous la direction d’un participant unique utilisant une structure imbriquée similaire. Toutes les analyses statistiques ont été réalisées à l’aide de R, version 4.3.2 (R Foundation for Statistical Computing).

Résultats

Cinquante médecins agréés aux États-Unis ont été recrutés et ont participé (26 titulaires, 24 résidents) du 29 novembre au 29 décembre 2023 ; parmi eux, 39 (78 %) ont participé à des rencontres virtuelles et 11 (22 %) à des rencontres en personne. Le nombre médian d’années de pratique était de 3 (IQR, 2-8).

Résultat principal : performances en termes de diagnostic

Au total, 244 cas ont été réalisés par tous les participants (125 cas dans le groupe LLM, 119 cas dans le groupe de contrôle). Le nombre médian de cas complétés par participant était de 5 (IQR, 4-6). L’analyse des transcriptions a montré que 100 % (22 sur 22) des médecins randomisés pour utiliser le LLM l’ont fait ; 3 transcriptions ont été perdues en raison de problèmes techniques et n’ont pas été incluses. Le score médian par cas était de 76 % (IQR, 66 %-87 %) pour le groupe LLM et de 74 % (IQR, 63%-84%) pour le groupe de contrôle. Le modèle à effets mixtes a montré une différence de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0.60) entre le groupe LLM et le groupe de contrôle. Une analyse de sensibilité incluant tous les cas, complets et incomplets, a montré un résultat similaire avec une différence de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0.50) entre le groupe LLM et le groupe de contrôle.

Résultats secondaires

Le temps médian passé par cas était de 519 (IQR, 371-668) secondes pour le groupe LLM et de 565 (IQR, 456-788) secondes pour le groupe de contrôle. Le modèle linéaire à effets mixtes a abouti à une différence ajustée de -82 secondes (IC à 95 %, -195 à 31 secondes ; P = 0.20).

L’exactitude du diagnostic final utilisant l’échelle ordinale a montré que le groupe d’intervention LLM avait 1,4 fois plus de chances (IC à 95 %, 0,7-2,8 ; P = 0,39) d’obtenir un diagnostic correct que le groupe de contrôle. Lors de l’évaluation de la précision des diagnostics finaux, le fait de les traiter comme des variables binaires (correctes ou incorrectes) n’a pas modifié qualitativement les résultats (rapport de cotes, 1,9 ; IC à 95 %, 0,9-4,0 ; P = 0,10).

Les analyses par sous-groupe étaient qualitativement similaires aux analyses pour l’ensemble de la cohorte.

LLM seul

Dans les 3 essais du LLM seul, le score médian par cas était de 92 % (IQR, 82 % – 97 %). La comparaison du LLM seul avec le groupe de contrôle a révélé une différence de score absolu de 16 points de pourcentage (IC à 95 %, 2 à 30 points de pourcentage ; P = 0.03) en faveur du LLM seul.

Validation de l’outil d’évaluation

La valeur pondérée de Cohen κ entre les trois évaluateurs était de 0,66, ce qui indique un accord substantiel dans la fourchette attendue pour les études de performance diagnostique.30 La valeur globale de Cronbach α était de 0,64. Les variances des sections individuelles de la grille de réflexion structurée sont présentées dans le tableau 5 du supplément 2. Après avoir supprimé le diagnostic final, qui présentait la variance la plus élevée, la valeur α de Cronbach était de 0,67.

DISCUSSION

Cet essai clinique randomisé a montré que l’utilisation par les médecins d’un agent conversationnel (chatbot) LLM disponible dans le commerce n’a pas amélioré le raisonnement diagnostique sur des cas cliniques difficiles, bien que le LLM seul ait obtenu des résultats nettement supérieurs à ceux des médecins participants. Les résultats étaient similaires dans les sous-groupes de différents niveaux de formation et d’expérience avec le chatbot. Ces résultats suggèrent que l’accès seul aux LLM n’améliorera pas le raisonnement diagnostique global des médecins dans la pratique. Ces résultats sont particulièrement pertinents à l’heure où de nombreux systèmes de santé proposent des chatbots conformes à la loi sur la portabilité et la responsabilité de l’assurance maladie (Health Insurance Portability and Accountability Act [spécifique aux États-Unis, NDLR]) que les médecins peuvent utiliser en milieu clinique, souvent sans aucune formation, voire avec une formation minimale sur l’utilisation de ces outils.

Nos données n’ont pas confirmé de différences dans le temps consacré à la résolution des cas. Compte tenu de la grande variabilité observée dans le temps consacré à la résolution des cas, il serait nécessaire de mener de futures études avec des échantillons beaucoup plus importants pour évaluer si les médecins ayant l’expérience de l’utilisation des LLM consacrent moins de temps au raisonnement diagnostique.

Un résultat secondaire inattendu est que le LLM seul a été nettement plus performant que les deux groupes d’humains, à l’instar d’étude récente avec une technologie LLM différente. Cela peut s’expliquer par la sensibilité de la sortie LLM à la formulation de l’invite. Il existe de nombreux cadres pour l’invite des LLM et un consensus émergent sur les stratégies d’invite, dont beaucoup se concentrent sur la fourniture de détails sur la tâche, le contexte et les instructions ; notre invite a été développée de manière itérative en utilisant ces cadres. La formation des cliniciens aux meilleures pratiques d’incitation peut améliorer la performance des médecins avec les LLM. Par ailleurs, les organisations pourraient investir dans des messages-guides prédéfinis pour l’aide à la décision diagnostique, intégrés dans les flux de travail cliniques et la documentation, ce qui permettrait une synergie entre les outils et les cliniciens. Des études antérieures sur les systèmes d’IA montrent des effets disparates en fonction de l’élément du processus de diagnostic dans lequel ils sont utilisés. Étant donné la nature conversationnelle des agents conversationnels (chatbots), des changements dans la manière dont le LLM interagit avec les humains, par ex., en signalant spécifiquement les caractéristiques qui ne correspondent pas au diagnostic différentiel, pourraient améliorer le diagnostic et la performance de réflexion.35,36 De manière plus générale, nous voyons une opportunité dans l’examen délibéré et la refonte de l’éducation médicale et des cadres de pratique qui s’adaptent aux technologies émergentes perturbatrices et permettent la meilleure utilisation des ressources informatiques et humaines pour fournir des soins médicaux optimaux.

Les résultats de cette étude ne doivent pas être interprétés comme indiquant que les LLM devraient être utilisés pour le diagnostic de manière autonome sans la supervision d’un médecin. Les vignettes de cas cliniques ont été classées et résumées par des cliniciens humains, une approche pragmatique et courante pour isoler le processus de raisonnement diagnostique, mais cela ne tient pas compte des compétences dans de nombreux autres domaines importants pour le raisonnement clinique, y compris l’entretien avec le patient et la collecte de données. En outre, cette étude était hors contexte, et la compréhension de l’environnement clinique par les cliniciens est fondamentale pour une prise de décision de haute qualité. Bien que les premières études montrent que les LLM peuvent collecter et résumer efficacement les informations sur les patients, ces capacités doivent être étudiées de manière plus approfondie. En outre, l’amélioration de la notation des rubriques représente ici un signal important du raisonnement clinique, mais des essais cliniques plus larges sont nécessaires pour évaluer les différences significatives dans l’impact clinique en aval.

Cette étude a développé une mesure basée sur la réflexion structurée, inspirée par la recherche sur la cognition des médecins. La notation de l’outil de réflexion structurée adapté en tant que résultat principal représente une nouvelle contribution de cette étude pour offrir un cadre d’évaluation plus riche des compétences de raisonnement diagnostique. Cet outil d’évaluation a démontré une concordance substantielle entre les évaluateurs et une fiabilité interne similaire ou supérieure à d’autres mesures utilisées dans l’évaluation du raisonnement.39-42 Cela fait progresser le domaine au-delà des premières recherches sur le LLM, qui se sont concentrées sur des repères ayant une utilité clinique limitée, tels que les banques de questions à choix multiples utilisées pour l’obtention de la licence médicale ou les vignettes de cas curatées de maladies rarement vues en pratique clinique, telles que les conférences de cas cliniques pathologiques. Bien qu’elles présentent des avantages évidents en termes de facilité de mesure, ces tâches ne correspondent pas au raisonnement clinique dans la pratique. Au fur et à mesure que la recherche en IA progresse et se rapproche de l’intégration clinique, il deviendra encore plus important de mesurer de manière fiable la performance diagnostique en utilisant les méthodes d’évaluation et métriques les plus réalistes et les plus pertinentes d’un point de vue clinique.

Limites

Cet essai a ses limites. Nous avons axé notre enquête sur un seul LLM, étant donné sa disponibilité commerciale et son intégration dans la pratique clinique. De multiples systèmes LLM alternatifs émergent rapidement, bien que celui étudié reste actuellement parmi les outils les plus performants pour les applications étudiées. Les participants ont eu accès au agents conversationnels (chatbots) sans formation explicite aux techniques d’ingénierie rapide qui auraient pu améliorer la qualité de leurs interactions avec le système ; cependant, ceci reste conforme aux intégrations actuelles et nécessite donc cette évaluation représentative.15,17-19 En outre, même si tous les médecins du groupe LLM ont au moins essayé d’utiliser le système sur la base des journaux de chat, ils n’ont pas été forcés d’utiliser le système d’une manière cohérente. Il s’agissait d’une conception délibérée visant à mieux refléter une évaluation de l’efficacité dans le cadre de la pratique clinique.

Aucun échantillon de vignettes cliniques ne peut couvrir de manière exhaustive la variété des cas dans le domaine de la médecine. Notre étude a porté sur 6 cas qui pouvaient être traités en une seule session d’étude tout en restant comparables aux pratiques courantes dans les examens cliniques structurés nationaux d’autorisation et d’objectifs, qui consistent à utiliser un échantillon restreint mais large de cas cliniques.6,46-49 Il ne s’agit pas d’évaluer de manière exhaustive les connaissances d’un participant, mais plutôt d’évaluer son raisonnement clinique général à travers un ensemble de cas. Pour optimiser l’étendue de la couverture, nous avons délibérément choisi des cas qui représentent un échantillon large et pertinent de disciplines et un éventail de problèmes cliniques.

CONCLUSION

La disponibilité d’un LLM en tant qu’aide au diagnostic n’a pas amélioré la performance des médecins par rapport aux ressources conventionnelles dans un essai clinique randomisé sur le raisonnement diagnostique. Le LLM seul a surpassé les performances des médecins même lorsque le LLM était à leur disposition, ce qui indique qu’un développement plus poussé des interactions homme-machine est nécessaire pour réaliser le potentiel de l’IA dans les systèmes d’aide à la décision clinique.

Note de la Rédaction : pour la commodité de lecture, les références bibiographiques et internes ont été retirées ; elles sont disponibles dans l’article original.

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !

S.A.R.A.H est l’acronyme de « Smart AI Resource Assistant for Health » (Resource d’IA intelligente d’assistance à la santé). On soupçonne que « smart », synonyme de « intelligent », a été ajouté bien que redondant pour donner un prénom humain à l’outil, qui se doit de conserver les points séparateurs pour marquer qu’il s’agit d’un chatbot ((agent conversationnel) .

Sarah, un agent conversationnel polyglotte qui vous veut du bien

L’OMS nous présente son agent virtuel dans un communiqué paru le 2 avril. S.A.R.A.H est équipée d’une technologie que l’OMS nous assure être de dernier cri, capable de donner des informations en mode conversationnel 24h sur 24 en 8 langues sur de multiples thématiques de santé, qui vont des bonnes habitudes en matière de santé générale et de bien-être, en passant par exemple par les problèmes de santé mentale. L’objectif est de permettre à chacun de mener à bien ses objectifs de bonne santé à tout moment et n’importe où.

L’OMS le confirme, vous pouvez oublier l’acronyme et appeler ce chatbot tout simplement : Sarah. Elle souhaite sensibiliser ceux qui voudront bien discuter avec elle sur les facteurs de risque en matière de santé et leur compréhension, en informant sur les principales causes de décès à travers le monde, dont le cancer, les maladies cardiovasculaires, les maladies pulmonaires et le diabète. En lien avec tout cela, Sarah peut dispenser les meilleurs conseils pour arrêter de fumer, faire de l’exercice physique régulièrement, avoir des bonnes habitudes alimentaires, et comment soulager le stress. Bien évidemment tout ce qu’elle peut raconter sur sollicitation est mis à jour en temps réel et avec le « deep learning » en renfort pour assurer à chacun des informations et conseils à la pointe des connaissances médicales et des recommandations de santé publique.

L’appel du DG de l’OMS

Le Dr Tedros Adhanom Ghebreyesu a déclaré aujourd’hui : « L’avenir de la santé est numérique, et aider les pays à exploiter la puissance des technologies numériques pour la santé est une priorité pour l’OMS« . « S.A.R.A.H. nous donne un aperçu de la manière dont l’intelligence artificielle pourrait être utilisée à l’avenir pour améliorer l’accès à l’information sanitaire de manière plus interactive. J’appelle la communauté des chercheurs à nous aider à continuer d’explorer la manière dont cette technologie pourrait réduire les inégalités et aider les personnes à accéder à des informations actualisées et fiables sur la santé ».

Le choix de l’IA générative

L’IA générative, c’est la technologie qui utilise ChatGPT et outils équivalents. On en a déjà parlé sur Science infuse avec divers articles sur les chatbots et les fermes à contenus, un mésusage de la technologie par des médias qui utilisent des robots copieurs d’informations existantes sur internet pour en faire du bas de gamme et parfois même propager la désinformation. Mais Sarah a un tout autre objectif : fournir de l’information de qualité et à jour grâce à cette technologie, en répondant de façon précise et adaptée aux questions posées, en assurant aussi une interaction fluide et fiable avec ses interlocuteurs, sur le fond et la forme : l’OMS insiste ainsi sur la capacité de Sarah a faire preuve d’empathie mais sans jamais juger.
L’Organisation mondiale révèle l’entreprise qui a l’honneur d’avoir donné naissance au prototype S.A.R.A.H : Soul Machines Biological AI. Tout un programme.

L’amélioration continue du prototype, son développement, sont donc clés pour l’IA en santé publique à laquelle croit fortement l’OMS pour diffuser des messages de santé publique importants. Pour l’OMS, Sarah apporte l’espoir d’un « aller vers » les populations pour une éducation sanitaire et la prévention, des notions clés de santé publique. L’OMS n’oublie pas non plus dans ce besoin de développement, la nécessité de normes en matière d’éthique pour ces robots conversationnels, outre des informations qui doivent constamment être basées sur la science, c’est-à-dire sur des données probantes

Florence, version bêta de Sarah

L’OMS nous l’avoue, Sarah n’est pas lancée dans la nature et au milieu du public sans filets : le prototype a déjà été testé en « live » sous le nom de Florence, pour diffuser des messages de santé public pendant la pandémie de Covi-19 : elle parlait alors du coronavirus, des vaccins, mais aussi des méfaits du tabagisme, et défendait une alimentation saine et la pratique de l »activité physique régulière.

Tentés par une discussion avec Sarah ? Elle est disponible immédiatement et à tout moment. Pour une conversation en Français, c’est ici.

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !

Suite à des demandes formulées via « articles à la demandes » et des interpellations sur le réseau social X en décembre et janvier dernier, l’attention de la rédaction a été attirée sur la transformation d’un site confidentiel d’un collectif éphémère d’activistes du réseau social X (anciennement Twitter) nommé « Du côté de la science » en un « e-magazine » Santé-Beauté-Minceur. Un survol rapide permet de reconnaître le modèle de la ferme à contenus, terminologie proposée par NewsGuard pour ces sites qui produisent des billets de blog exploitant ChatGPT et autres robots et « journalistes » dits « génératifs » de qualité douteuse et souvent source de désinformation. Nous en parlions dans ces colonnes il y a quelques mois.
Cet article abordera le contexte de mutation du site avant d’entrer dans le vif du sujet : des contenus déplorables et dangereux sous couvert d’expertise en santé et médecine, et l’opacité active et persistante des éditeurs du site « Du Côté de la Science » désormais en doublon.

Une conversion opérée en catimini

Le groupe d’activistes Du Côté de la Science n’a été actif que quelques mois, surfant sur les premières vagues de la pandémie de Covid-19 essentiellement en 2021 sur le réseau social Twitter. Un blog avait été créé pour l’occasion avec le nom de domaine ducotedelascience.org, publiant un un contenu peu fourni.
Inactif depuis 2 ans, ce site a fait peau neuve à une date non déterminée entre octobre et décembre 2023, tel que l’atteste l’archive internet WaybackMachine :

Une constante : depuis sa création fin 2020 surfant sur la vague de la pandémie, ce blog n’a jamais été conforme aux exigences légales, qui requièrent un responsable éditorial légalement responsable des contenus et des coordonnées permettant de le contacter. Pourtant si le collectif était un groupe informel donc sans existence juridique et donc sans responsable légal, cela ne l’a jamais exempté de respecter la loi qui instaure des règles minimales de transparence et une personne nommément désignée et joignable comme responsable.
Cette défaillance était connue du collectif, comme l’atteste la mention d’excuse « page en construction » apposée de façon définitive. Ce procédé, quand il devient permanent, marque en général un volonté d’opacité en violation de la loi française sur la confiance en l’économie numérique. Le collectif avait d’ailleurs à ce titre été pris à parti sur le réseau social Twitter et invité à mettre à jour ses mentions, sans effet.

Jusqu’à fin décembre 2023 – début janvier 2024, les pages X (ex Twitter, à gauche) et Facebook (à droite) de l’ex collectif revendiquaient toujours leur site ducotedelascience.org transformé en e-mag santé-beauté-perte de poids

Masquage hâtif de l’affiliation et renforcement de l’opacité

Fin décembre 2023, les comptes X (ex-Twitter) inactif de l’ancien collectif sont interpellés sur ainsi que celui qui apparaît officiellement en tête de liste de ses fondateurs, Eric Billy (employé dans un laboratoire technique au sein de l’entreprise pharmaceutique Novartis).

Un tour sur les mentions légales de la nouvelle version de ducotedelascience.org s’avèrera instructive. Elles confirment l’arrivée d’un « propriétaire » : TEAMEXDI LP et d’un responsable de la publication, « Eric » présenté comme un grand scientifique biologiste qui travaille dans un laboratoire de recherche.

Les appels à information et questions publiques aux intéressés (compte X @Cote-Science et compte @EricBillyFr) resteront ignorés.
Mais elles sont entendues : plusieurs actions sont prises en urgence dans les jours qui suivent face aux remarques et questions embarrassantes :

Le nom de domaine: ducotedelascience.COM, inactif mais acquis fin 2021, vient remplacer ducotedelascience.ORG sur les 2 comptes réseaux sociaux interpellés pourtant inactifs depuis des années, dans une tentative évidente de se désolidariser de l’évolution du site.
Puis, quelques semaines plus tard, fin janvier 2024, il y sera migré une archive ducotedelascience.org avant son lifting récent, faisant coexister deux sites « Du Côté de la Science », la ferme à contenus douteux et le blog inactif d’une initiative périclitée.

Du côté du site relooké, les remarques formulées quant à l’illégalité persistante des sites ne tombent pas non plus dans l’oreille d’un sourd, puisqu’un bandeau à cliquer est apposé sur l’acceptation forcée des cookies par les visiteurs alors que la loi européenne exige de pouvoir les refuser (« opt-out »). Une demi-mesure qui ne rend toujours pas le site conforme sur cet aspect.

Cette entreprise hâtive est mal maîtrisée, les sites et sa doublure créée à la hâte restant fortement intriqués en termes de présentation des initiatives qui stipulent bien la même paternité : celle du collectif d’activistes Twitter au nom éponyme, avec de liens hypertexte entrelacés. À titre d’exemples, les mentions légales du site créé en doublon mène directement à la ferme à contenus.

Point commun, les deux blogs « Du Côté de la Science », au moment de la parution de cet article, campent sur leur position de masquage de leur responsable de la publication, le reste des mentions légales comportant de part et d’autres nombre d’irrégularités et clauses abusives que nous ne détaillerons pas ici.

Demandes de presse ignorées, renforcement de l’opacité

Dans le cadre de la préparation de cet article, nous avons bien évidemment tenté d’obtenir des entretiens et des réponses à nos nombreuses questions sur la transformation du blog, et avons cherché à contacter les responsables de la publication de Du Côté de la Science non identifiés hormis la mention de « Eric ».
Nous avons donc utilisé les formulaires de contact sur les blogs des deux domaines internet, les messageries privées des pages de réseaux sociaux et le propriétaire TEAMEDI LP. Les destinataires n’ont à l’évidence pas souhaité échanger, aucun retour n’a été obtenu malgré plusieurs relances entre janvier et mars 2024.
Mais les demandes de presse ont été reçues, et une action a été prise sur le blog : la modification du nom du propriétaire du site a changé fin janvier : TEAMEXDI LP est devenue TEAMDI LP :

Malheureusement, et c’est le problème de toutes ces tentatives de masquage d’affiliations, internet a de la mémoire. Il est très difficile de ne pas hériter de l’historique d’un blog quand on le fait évoluer. Ici on franchit un cap : TEAMDI LP n’existe a priori pas, en tout cas pas au Royaume-Uni comme en atteste le registre des sociétés du Royaume-Uni que nous avons consulté ; en revanche TEAMEXDI LP est bien présent.
On peut donc raisonnablement supposer que tout comme Eric le responsable légal des contenus de blog, les propriétaires des sites internet ne veulent pas être identifiés malgré l’obligation légale.

Suite à nos recherches, il s’avère que TEAMEXDI LP (registre n° SL034260) est une société créée en janvier 2020 avec un siège social située à Édimbourg au Royaume-Uni. L’adresse est celle d’une entreprise de domiciliation et on peut supposer que les propriétaires du domaine n’y ont aucune présence physique, puisqu’il sont à l’origine en France, et désormais en Afrique. En effet, les actionnaires et dirigeants sont deux personnes physiques situées au Bénin. Leur société emploie ou a employé des rédacteurs web et spécialistes SEO et référencement marketing français et béninois.

TEAMEXDI LP possède toute une myriade de blogs francophones. Outre « Du Côté de la Science », on trouve d’autres sites de pseudoscience se targuant d’expertise santé et bien-être mais aussi de finance ou d’économie, et des sites de vente en ligne qui vont des accessoires pour chiens aux lampes LED. Les responsables de la publication sont souvent l’un et/ou l’autre des béninois dirigeants de TEAMEXDI LP, plus rarement des personnes dont on ne donne que le prénom, à l’instar de « Du Côté de la Science ». Ces responsables de publication n’assument à l’évidence pas leur responsabilités éditoriales et relation avec les dirigeants béninois.

Faux experts, pseudoscience, ChatGPT et SEO

Il est temps de s’intéresser aux contenus du blog « Du Côté de la Science » nouveau format. Nous avons ici toutes les caractéristiques de la ferme à contenus décriée par NewsGuard comme moteurs de propagation d’informations de mauvaise qualité voire de désinformation. Ici, on touche un sujet sensible : la santé et le bien-être, des domaines très exploités car vendeurs avec des conséquences négatives en matière de santé publique.

Avec environ 80 articles à ce jour, « Du Côté de la Science » nouvelle formule a produit en moyenne un article par jour. Son rythme de croisière est plus élevé mais il y a eu un ralentissement de la production dès que la Rédaction s’est mise à tenter de solliciter les responsables de blog. C’est plus particulièrement « Eric » qui a freiné la production de billets dans la foulée des interpellations publiques ignorées des comptes Twitter @Cote_Science et @EricBillyFR et qui en tant que responsable de la publication a dû recevoir les demandes de contact sur le blog. Quoi qu’il en soit, ce n’est qu’une petite fraction de la production de la myriade de blogs de TEAMEXDI LP, qui produit donc au kilomètre des billets soi-disant d’experts sur des sujets techniques. Nous sommes bien dans la production quantitative.

Quid de la qualité ? Revenons à « Du Côté de la Science ». Tout d’abord, si l’on nous cache l’identité d’Eric, responsable de la publication, Eric nous est bien décrit comme mentionné précédemment : chercheur en laboratoire, docteur en microbiologie, qui fait aussi de l’enseignement à la faculté.

Il est censé partager au public « son expertise et ses découvertes dans le domaine de la microbiologie ». Le problème, c’est que tous les billets d’Eric parlent de médecine et de médicaments, ainsi que de Covid-19 (test, vaccins, masques) à l’instar des activistes du collectif éphémère. Il ne partage donc rien que dans des domaines hors du sien : c’est ce que l’on appelle un faux expert des domaines abordés. Mais cette biographie est-elle fidèle à la réalité ? Impossible de savoir, Eric ne confirme pas son identité et est représenté au format dessin en blouse blanche à la paillasse d’un laboratoire.

Nous avons ensuite Estelle, experte en beauté et minceur. Elle est diplômée en nutrition et bien-être, elle sait y faire en perte de poids.
Toujours pas d’identité, mais un dessin pour la représenter, elle ressemble à une héroïne de BD.

Voyez un peu ses dernières productions : cela parle beaucoup de médecine, de diagnostic, traitements de médicaments, comme son responsable de publication et rédacteur Éric. Elle est donc aussi un faux expert sur nombre de sujets abordés. Pire, elle a fait dernièrement de la publicité pour Ozempic, un médicament sur ordonnance détourné de son usage pour la perte de poids, et promeut les fleurs de Bach au rayon pseudoscience.

Enfin, l’équipe rédactionnelle est au complet avec Rene, lui aussi expert santé et bien-être, lui aussi non identifié et représenté par un dessin. On ne lui attribue pas de diplômes par contre, on fait état de sa « curiosité insatiable » en d’autres termes on fait passer un amateur passionné pour un expert. Dans cette rhétorique, on retrouve la confusion Expertise /Amateur passionné exploitée durant la crise sanitaire par les activistes de réseaux sociaux, jouant souvent sur l’autorité d’un diplôme en science dans un autre domaine que les spécialités pointues abordées.

D’ailleurs, comme Eric et Estelle, il vous parle de médecine, guide des diagnostics, joue les pharmaciens spécialiste des médicaments.

Des contenus à base d’IA générative entre SEO, publicité et pseudoscience santé et bien-être

À la lecture des contenus, on est vite frappé par la qualité douteuse en termes de style, vocabulaire et grammaire mal maîtrisés. Beaucoup d’écrits semblent issus de traduction automatique de l’anglais retranscrite sans corrections. On ne va pas rentrer dans les détails, simplement donner quelques exemples rassemblés ici. Absence de relecture d’une traduction bancale ou absence de maîtrise de la langue française ? Possiblement les deux.

Ici, les exemples sont caricaturaux, car les robots traducteurs ne font pas de telles erreurs ; néanmoins, l’analyse générale des textes montre qu’elle est largement utilisée dans le blog, ce qui ne donne certes pas un résultat professionnel, ce qui est problématique s’agissant de contenus médicaux souvent orientés sur le diagnostic médical et l’usage de médicaments.
On tirera de tout cela que les trois rédacteurs censés être des experts scientifiques, médicaux sont probablement plutôt de fervents utilisateurs de robots conversationnels comme ChatGPT, embarqués dans l’optimisation SEO sur des sujets populaires. Du marketing rédactionnel bas de gamme en somme.

Des messages dangereux pour la santé publique

On l’a vu, les trois rédacteurs tels que présentés n’ont ni formation ni expertise dans le domaine médical, y compris le responsable de la publication Eric qui se présente comme chercheur renommé et met en avant un titre de docteur, mais pas en médecine ou pharmacie et donc non expert sur ces sujets tout comme ses acolytes Estelle et René. Mais les membres de l’équipe d’Eric existent-ils vraiment ? On peut en douter, tant tout cela ressemble au nerf de la guerre des fermes à contenus : de la production de textes par IA générative par de faux rédacteurs dit eux-mêmes « génératifs ».

Le résultat en termes de contenus, objectifs et messages transmis au public est désastreux. On nous vend par exemple Ozempic pour perdre du poids, alors que cette spécialité est exclusivement dédiée au traitement du diabète et fait l’objet de pénuries par détournement d’usage….pour la perte de poids. Le billet va même jusqu’à copier-coller le mode d’emploi du médicament et cerise sur le gâteau, la photo d’illustration nous montre le geste et l’emplacement de l’auto-injection à pratiquer. Le rédacteur ne comprend rien à son sujet, affirmant qu’Ozempic est venu sous le nom d’Ozempic et de Wegovy, ce qui est faux, les deux médicaments ayant des indications différentes. La désinformation sous couvert d’expertise est bien là, la publicité pour un médicament sur ordonnance et hors indication qui plus est est interdite.

« Du Côté de la Science » se fait d’ailleurs une spécialité de recopier les notices de médicament, faisant de la publicité pour les laboratoires pharmaceutiques par la même occasion. Ici on notera qu’une pilule commercialisée est présentée comme « réputée » empêcher la grossesse, comme s’il était permis d’avoir une autorisation de mise sur le marché basée sur la réputation et non l’indication prouvée.

La pseudoscience est promue chez « Du Côté de la Science », exemple avec ce billet récent qui nous vend les Fleurs de Bach comme « thérapie florale » de la perte de poids ou des problèmes de mémoire.

Autre exemple parmi d’autres, la rhétorique typique de la pseudoscience utilisée ci-dessous pour nous expliquer les causes psychologiques de la sciatique grâce à une « approche holistique » de la santé. « Du Côté de la Science » en profitera plus loin dans l’article pour nous suggérer d’aller voir des psychologues ou des thérapeutes holistiques pour soigner la sciatique.

Le SEO (Search Engine Optimization), vous connaissez ? C’est une technique d’optimisation du choix des mots dans un texte pour augmenter sa visibilité en multipliant les chances d’être référencé par les moteurs de recherche. « Du Côté de la Science » y travaille, parfois de façon grossière. Exemple de sujet avec du « Mc Donald » à toutes les sauces au rayon Perte de poids :

Côté pseudoscience et bafouement des sciences médicales (ici la psychiatrie), « Du Côté de la Science », on associe le domaine du « bien-être » à l’usage de la paroxétine, un médicament antidépresseur sur prescription médicale pour la dépression, classée ici parmi les « troubles psychologiques ».

« Du Côté de la Science » promeut clairement le mésusage de médicaments et la pseudoscience, véhiculant de fausses informations à l’occasion. Ce blog est lui-même un bon exemple du mésusage des robots conversationnels tels que ChatGPT, en tant que ferme à contenus, un fléau qui se propage.
Les responsables de « Du Côté de la Science » semblent le savoir, comme en atteste l’absence d’affichage de l’identité et des coordonnées d’Eric, responsable légal des publications et la falsification du nom du propriétaire du blog, société investie activement dans les fermes à contenus.
On regrette le mutisme du collectif informel d’activistes Du Côté de la Science, qui bien qu’inactif depuis plusieurs années s’est empressé de brouiller son affiliation historique au blog suite à des interpellations sur les réseaux sociaux, et des responsables légaux des publications et de TEAMEXDI LP à nos demandes de presse. Cela ne permet pas de connaître les tenants et aboutissants de l’évolution de l’initiative du côté de la pseudoscience, de la désinformation médicale et de la mise en danger de la santé publique.

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !

On ne peut que saluer cette initiative annoncée le 8 février 2024. Science infuse a commencé a abordé ce sujet l’an dernier suite à la mise en garde de NewsGuard, organisme indépendant constitué de professionnels du journalisme qui surveille les médias en ligne en ligne et lutte contre la désinformation en la matière. Leur outil NewsGuardRating permet, au moyen d’une méthodologie soigneuse de classer les sites en ligne de qualité et ceux qui propagent la désinformation. En fin d’année, elle s’inquiétait des fermes à contenus basées sur le « journalisme génératif », robots plagieurs qui « pompent » des contenus existants pour les retravailler avec l’aide de ChatGPT dans le sens souhaité en termes de messages prédéfinis. Une source de propagande ou de désinformation sous couvert de journalisme, vu que ces sites n’existent pas à présenter au publi des journalistes ou rédacteurs fictifs au sein d’une « rédaction » imaginaire.

Quelles sont les motivations et les objectifs de l’Autorité de la concurrence pour se saisir du sujet de l’IA générative et lancer une consultation publique ?

Nécessité de structurer un secteur naissant

L’Autorité de la concurrence définit l’intelligence artificielle (IA) générative comme la génération de contenus à partir « d’un large ensemble de données d’entrée« , d’une puissance de calcul importante qui font appel aux outils d’IA que l’on connaît : le deep learning (apprentissage profond) et les réseaux neuronaux. Les contenus générés par ce biais revêtent toute forme : texte, graphismes, supports clients.

Le robot conversationnel ChatGPT de la société Open AI, lancée dans l’arène publique en 2022, a accéléré le mouvement et les inquiétudes.

En septembre 2023, la Première ministre Elisabeth Borne avait lancé un comité de l’intelligence artificielle générative afin de proposer au gouvernement des orientations concrètes en la matière, autour de quatre axes : la formation, la structuration du tissu économique, des investissements pour l’innovation dans ce secteur, et une régulation visant à se protéger des dérives que l’on sait poindre du côté de la protection des données, de la propriété intellectuelle, de l’éthique te de la déontologie.

Un poids économique majeur

Selon Statista Market Insights, l’IA générative est en plein essor et devait atteindre un chiffre d’affaires mondial de 42 milliards d’euros en 2023, soit le double de l’année précédente. Pour la suite et jusqu’en en 20230, il est prévu une augmentation de près de 25 % par an, soit un marché de 200 milliards d’euros d’ici 2030. Le nerf de la guerre, ce sont les générateurs de texte comme ChatGPT, pionnier en la matière. Les challengers sont actuellement Jasper Chat , YouChat et DeepL avec des parts de marchés de 12 % environ chacun, suivi de Simplified (10 %).
Pour les générateurs d’images, Stastita place en tête le trio Midjourney, DALL-E et Night Café avec chacun 25 % de part de marché.

L’Union européenne légifère ne matière d’IA

Le 2 février dernier, l’UE a adopté une loi globale sur l’intelligence artificielle et c’est la première à le faire dans le monde alors que le G7 a adopté en novembre 2023 un code de conduite sur l’IA. Il existe aussi la « déclaration Bletchley cosignée par l’UE et 28 pays qui pose les bases de réflexions sur la sécurisation des risques technologiques associés à l’IA en vue de coopérations internationales, avec l’implication des autorités de la concurrence au niveau mondial, ne manque pas de préciser l’instance française en la matière.

Éviter un marché fermé tenu par les opérateurs historiques du numérique

Pour l’Autorité de la concurrence, les grands acteurs du numérique dispose déjà les « intrants clés ou des marchés adjacents » permettant lancement et développement d’une IA générative. Les requis sont donc une grande puissance de calcul avec passage généralement par un service cloud qui offre l’architecture requise. Or l’Autorité note que ce secteur est concentré auprès de quelques acteurs. Outre l’infrastructure, il faut collecter de nombreuses de données pour entraîner la machine (deep learning). ce qui donner des velléités de limitation d’accès sur les moteurs de recherche aux concurrents et la conclusion d’accords d’exclusivité entravant la concurrence. Enfin, ces acteurs historiques pourraient tenter de capter la main d’œuvre qualifiée dans ce domaine car ils ont les moyens financiers de leur offrir des salaires attractifs.
En bref, l’Autorité de la concurrence craint la création d’un secteur non concurrentiel avec une intégration verticale par les grands acteurs du numérique.
Elle rappelle dans ce cadre que Microsoft possède 49 % de participation dans OpenAI, l’éditeur de ChatGPT, et qu’Anthropic une start up rivale est contrôlée par Amazon et Google.
Elle fournit à ce titre une infographie forte intéressante de la chaîne de valeur de l’IA générative :

La consultation publique

L’Autorité de la concurrence la lance pour recueillir les réflexions des parties prenantes afin d’en tenir compte dans l’avis qu’elle formulera. L’instance gouvernementale ne donne pas de date pour la publication de cet avis, indiquant simplement « dans les prochains mois ». En revanche, la consultation sera close le 22 mars prochain.
Elle souhaite y voir participer les acteurs du secteur, essentiellement les entreprises proposant des services d’IA générative, les fournisseurs de
services cloud, leurs clients.

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !

Des fermes à contenus, voilà comment les qualifie NeswGuard, à l’instar des « paper mills » (moulins à papier) pour les articles scientifiques ou les fermes à trolls,.bots qui envahsissent les réseaux sociaux pour diffuser des idéologies ou de la désinformation.

On parle en effet ici fet de véritables usines à produire des articles repiqués ailleurs, transformés et optimisés pour attirer des vues.. Les ouvriers à la chaîne de production sont des robots (ou chatbots) à base d’intelligence artificielle, qui vont « pomper » les articles des grands médias et journaux (dits mainstream« ) pour les réécrire et les resservir au public à leur sauce selon les instructions du commanditaire.

37 sites internet ont ainsi été épinglés sur cette base par l’organisme spécialiste de l’évaluation des sites d’information en ligne. Aucun de ces sites ne citent leurs sources, comme par exemple CNN ou le New York Times, ou encore la célèbre agence de presse Reuters. Parmi ces sites, NewsGuard pense que certains sont automatisés à 100 %, sans aucune intervention humaine.

NewsGuard a remarqué la présence de publicité programmatique (marché de publicité numérique ciblée) sur ces sites de fermes à contenus, sans que les annonceurs le sachent, ce qui les associe aux contenus douteux de mauvaise qualité et en font… des financeurs malgré elles de ces initiatives peu valorisantes.

Le gros problème est qu’il devient de plus en plus difficile de distinguer les contenus écrits pas l’humain de ceux générés par l’intelligence artificielle. Alors quand les sites ne jouent pas la transparence sur les sources et le mode de génération des textes, cela devient particulièrement dangereux.

Plagiat en mode turbo automatisé avec l’aide de ChatGPT et Bard

Agrégation de contenu poussif ou plagiat suralimenté, NewsGuard met en avant le rôle inquiétant des deux outils respectivement édités par OpenAI et Google dans ce phénomène. Pourtant, les conditions d’utilisation des outils interdisent leur usage pour faire du plagiat. NewsGuard a écrit aux deux sociétés à propos des fermes à contenus qui utilisent principalement leurs outils pour accomplir leur besogne de plagiat, mais n’a pas obtenu de réponse.

Un exemple est donné par un analyste NewsGuard qui a demandé à ChatGPT : « Réécris ces articles d’actualité avec plus d’impact SEO et en les rendant plus captivants« . L’IA conversationnel a généré des articles à la demande selon ce type d’instructions en quelques secondes.

Il existe des outils de détection de plagiat comme Grammarly, mais NewsGuard ne le considère pas d’une efficacité suffisante d’après ses tests face aux fermes à contenus qui réécrivent instantanément les sources qu’elles ingurgitent sur commande. En revanche, elle indique avoir souvent trouvé des messages d’erreurs de l’AI générant les textes directement dans les articles plagiés, comme : « En tant que modèle de langage d’IA, je ne peux pas réécrire ce titre » ou « Désolé, en tant que modèle de langage d’IA, je ne peux pas détecter le contenu qui a besoin d’être réécrit sans informations de contexte« .

Des centaines voire des milliers de sites internet utilisent l’IA pour générer leurs contenus utilisant des sources externes, selon NewsGuard, qui pense que le plus grand nombre ne laissent pas passer des messages d’erreurs de l’IA permettant de détecter leur utilisation.

Marketing inquiétant sous couvert de « journalistes génératifs »

Face aux inquiétudes très sérieuses et justifiées de NewsGuard sur ce phénomène d’articles « copier/coller/transformer par Chat GPT ou outil équivalent, on peut en formuler d’autres en écho concernant des initiatives de fermes à contenus qui injectent du marketing débridé et particulièrement trompeur pour le public : les robots plagieurs sont alors présentés comme des « journalistes génératifs » (expression particulièrement ambiguë qui n’est en aucun cas explicite) via création de fausses biographies (générées par ChatGPT, décidément ‘homme à tout faire ») et incarnés par des photos de fausses personnes, elles-aussi créées par l’intelligence artificielle (exemple : MidJourney). Bref, tout pour tromper le chaland et faire croire en un site journalistique pourvu d’une rédaction.

Dans un cas de ferme à contenus français, les articles sources ne sont jamais cités, comme le déplore NewsGuard pour les pires fermes à contenus de mauvaise qualité, l’internaute en visite doit se rendre jusqu’aux mentions légales – ce qui n’est pas une démarche courante – pour avoir la puce à l’oreille : Chat GPT y est bombardé directeur de la rédaction et co-directeur de la publication, ce qui est à nouveau aberrant puisqu’une application n’a pas de représentation légale. Le reste des mentions légales est « à la hauteur » avec par exemple, une clause interdisant toute exploitation de ce travail de plagiat automatisé. Cela ressemble à une plaisanterie de très mauvais goût, détériorant l’image du journalisme et participant à la diffusion de contenus dégradés en trompant le public. Pourtant cette ferme à contenus perdure sur la toile en son état initial.

Mise à jour 11/09/2023

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !

Nous avons présenté et commenté les diverses recommandations thématiques du Conseil de déontologie journalistique au moyen desquelles le CDJM tente de dresser un référentiel français de façon bien utile en matière de journalisme. Fidèle à cette tradition dans nos colonnes, voici une vue d’ensemble de cette nouvelle ligne directrice.

Le sujet, c’est que jusqu’ici, l’intelligence artificielle aidait les journalistes et rédactions dans leur travail, mais qu’aujourd’hui, elle est capable de faire le travail à leur place, ce qui peut être abusif, malintentionné, avec tous les risques de mésinformation que l’on connaît, et trompeur pour le public qui croit légitimement avoir à faire à des journalistes professionnels humains. Le CDJM à ce titre voit 2022 comme une année charnière avec l’arrivée brutale d’outils de générations d’image comme Midjourney qui crée des visuels très réalistes à partir de descriptions au format texte. Et bien sûr, pour la partie éditoriale, le lancement de ChatGPT, agent conversationnel (chatbot) d’OpenAI à base de grands modèles de langage (LLM). Depuis lors, l’engouement est certain et la concurrence fait rage.

Pour les défis éthiques et particulièrement la déontologie journalistique, le CDJM a souhaité établir les principes de « chartes de référence » comme rempart, dont certaines sont anciennes, afin de dessiner les contours de ce que l’on peut faire ou ne pas faire au moyen de l’intelligence artificielle en matière journalistique, et selon quelles modalités.

Pour classer les usages et les recommandations, l’organisme a utilisé le référentiel de gestion des risques de l’Union européenne qui effectue un classement selon trois grands niveaux de risque des pratiques.

Nous vous proposons une synthèse des pratiques et de leur classement dans le guide du CDJM sous forme de tableau :

Il s’agit ici d’exemples non exhaustifs proposés par le CDJM pour les 3 niveaux de risque, le troisième sur la droite étant bien évidemment le plus élevé, intolérable puisque les actions considérées sont à proscrire.

Sous les exemples, en dernière ligne (majuscules, bleu) apparaissent les recommandations formulées pour chaque catégorie de risques.

On constate que les exemples d’actions pour la catégorie à risque faible sont des traitements par outils d’AI à usage interne (pas à visée de publication ou diffusion du résultat du traitement par l’IA), hormis les correcteurs orthographiques et grammaticaux. La recommandation est de vérifier et valider tous les éléments générés par des outils d’AI.

Pour la catégorie à risque modéré, on constate l’utilisation d’outils d’AI qui génèrent directement au moins une partie des contenus publiés. Dans ce cas la recommandation et la maîtrise des informations sources et du traitement appliqué, par le journaliste en charge, afin de garantir la pertinence éditoriale, ainsi que la transparence vis-à-vis du public en citant les outils d’AI utilisés. Le CDJM insiste également sur la nécessité d’informer le public de toute image synthétique (« dessins, illustrations, vue d’artiste, reconstitutions,… ») avec une légende indiquant : « image générée par une AI ».

Pour ce qui est de la conception ou de la configuration des outils d’IA, les journalistes et éditeurs doivent être impliqués, recommande le CDJM.

Il met aussi en garde sur les outils d’expérience de navigation personnalisée pour le public, du « sur-mesure » qui ne doit jamais être « en conflit avec la ligne éditoriale et les choix rédactionnels effectués dans le traitement de l’actualité. »

Remarque sur les outils de traduction

Nous nous permettons une remarque sur l’utilisation de la traduction pour la publication d’articles : il aurait été utile selon nous que le CDJM rappelle que la traduction est un métier et qu’un traducteur automatique est un outil d’IA qui ne remplace pas le professionnel de la traduction. Le journaliste n’est pas un traducteur, mais on en trouve quelques traducteurs dans certaines rédactions (rédacteur-traducteur, assimilé journaliste). C’est ainsi que tout article traduit automatique visant à être publié devrait être examiné et corrigé par un traducteur professionnel (journaliste ou non).

Utilisations proscrites : publication de faux et absence de contrôle

L’utilisation de l’intelligence artificielle ne doit pas tromper le public ou le faire s’interroger par l’ambiguïté provoqués par des images, des sons ou des vidéos à fort degré de réalisme, puisque cela porte une information contraire à la réalité des faits. D’ailleurs, le CDJM en profite pour rappeler que la publication de faux est une faute déontologique majeure, avec ou sans implication d’IA. Il rappelle qu’une mention en crédit n’est pas suffisante pour évoquer l’outil d’IA utilisé, il faut être explicite et faire en sorte que l’information sur l’élément artificiel ne puisse échapper au public, et cela peut intervenir quand le sujet de la publication est précisément la création et la circulation de fausses images.

Le second aspect de pratique proscrite est la diffusion sans contrôle de contenus générés intégralement par des outils d’IA : le contrôle éditorial est obligatoire, sous la supervision de journalistes, à toutes les étapes de production, relecture et validation, comme pour tout autre contenu.

Qualité des requêtes, valorisation du photojournalisme

Le CDJM insiste sur la nécessité de rédactions proactives, notamment en ce qui concerne l’utilisation de robots conversationnels comme ChatGPT, rappelant que la qualité des textes générés peut être problématique. Il insiste sur la qualité des requêtes qui a un impact sur les contenus générés par ces outils d’IA. Il convient donc de former les journalistes à la création de requêtes (les prompts), et aussi établir des règles internes à leur usage (prompt engineering).

Le CDJM propose aussi de privilégier le réel pour les images en valorisant les photojournalistes, conscient que les fausses images participent à la confusion du public entre ce qui est vrai et ce qui est faux. Les légendes et mentions spécifiques requises comme décrit plus haut dans les recommandations peuvent bien sûr aider à faire la différence, ce qui est crucial.

En conclusion, il insiste sur la nécessité de former les journalistes et rédactions aux outils d’IA mais aussi de les impliquer dans leur conception.

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !

Dans son édition du jour, le Wall Street Journal rapporte l’intervention de Sam Altman au Congrès la veille, où il témoignait sous serment lors d’une audition au Sénat des États-Unis. Dans la même mouvance, nous vous rapportions hier les inquiétudes de l’OMS quant au développement de l’intelligence artificielle et notamment les outils de type ChatGPT dans le domaine de la santé.

Besoin de régulation

Sam Altman a donné le ton, intervenant en final de toutes les auditions sur le sujet et après avoir rencontré en entretiens privés par moins de 60 députés des deux bords politiques, en déclarant au Sénat : »Nous comprenons que les personnes soient inquiètes de la façon dont cela [ChatGPT] peut
changer notre mode de vie. Nous le sommes aussi« . Il s’est montré visiblement inquiet d’une dérive potentielle, expliquant que si les choses s’engageaient mal avec ChatGPT, cela pouvait faire de gros dégâts.

Aussi a-t-il appelé à « une nouvelle agence qui octroit une licence d’utilisation au-delà d’une certaine échelle de capacités et pourrait retirer cette licence
et assurer le respect de normes de sécurité ».

Deep learning

Dans le même temps, le danger de la disponibilité précoce et très large offerte au public – on estime qu’il y aujourd’hui 100 millions d’utilisateurs après 2 mois de mise à disposition – de ChatGPT est selon Sam Altman malgré les dangers également un avantage puisque cela permet à sa société de surveiller l’usage et de mettre à jour en permanence l’outil et de minimiser au final les risques selon lui.

On peut se demander d’ailleurs si la voie du deep learning (à savoir l’apprentissage profond des systèmes d’intelligence artificielle par boucle d’auto-apprentissage sur l’expérience) en immersion précoce dans le monde réel, n’a pas été lorgné par OpenAI de façon tout à fait intentionnelle pour développer à vitesse grand V son outil, en le mettant à disposition mondiale et sans restriction, afin de le faire évoluer au plus vite.

Mais encore faut-il en assumer les conséquences…

De fait, les préoccupations sont nombreuses et c’est le constat des auditions d’hier au Sénat américain, et cette situation est bien en lien avec l’adoption précoce de ChatGPT mis dans les mains de qui le désire.

Dangers identifiés

Le présent sous-titre « dangers identifiés » est également dans l’article que nous avons publié hier sur les inquiétudes de l’OMS concernant les agents conversationnels dans le domaine de la santé. Le problème de ChatGPT fait à vrai dire boule de neige.

Au Sénat américain, il a été question de l’impact que pourrait avoir ChatGPT sur les élections, le vol de propriété intellectuelle, la couverture des informations journalistiques, les opérations militaires mais aussi les initiatives d’inclusion, rapportele Wall Street Journal.

Sam Altman a rétorqué que ChatGPT n’était pas une créature, mais un outil, et que les personnes qui l’utilisent peuvent le contrôler. Il a mis en avant les bénéfices évidents de l’intelligence artificielle en ce qui concerne l’automatisation des tâches.

Le risque de diffusion de fausses informations à l’aide de ChatGPT s’est avéré être une inquiétude majeure très pragmatique des députés, en particulier dans un l’objectif de manipuler les votes électoraux.

Image d’en-tête : Sam Altman (souce Wikipédia) et les logos ChatGPT et OpenAI

Pour aller plus loin

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !

Dans son communiqué du 16 mai, l’OMS cite bien sûr ChatGPT mais aussi Bard et Bert, et vise « tous les systèmes dits de grands modèles inguisitiques « qui imitent la compréhension, le traitement et la production de la communication humaine ». Tout en le partageant, elle s’inquiète de l’enthousiasme important concernant leur capacité à répondre aux besoins de santé, et souhaite une évaluation des risques à la hauteur des enjeux, qu’il s’agisse d’outils d’aide à la décision ou au diagnostic dans des environnements où les ressources humaines manquent cruellement.

Prudence et respects de valeurs pour le développement

Les valeurs suivantes doivent présider à la mise en œuvre de ces solutions d’IA sur base de grands modèles linguistiques (LLM) selon l’OMS : transparence, inclusion, engagement public, supervision par des experts et évaluation rigoureuse.

Dangers identifiés

L’OMS voit poindre le danger d’une adoption précipitée de systèmes non testés, pouvant entraîner des erreurs des opérateurs personnel de santé des systèmes concernés entraînant des effets nuisibles pour les patients et par ricochet sur la confiance dans l’IA avec pour conséquence la compromission ou le retard des avantages de l’utilisation potentielle de cette technologie à long terme.

L’organisme voit les principaux risques suivants :

• données biaisées générant des informations trompeuses ou inexactes avec risques potentiels pour la santé, l’équité et l’inclusion
  
• l’écart possible entre la perception de réponses fiables et plausibles générées par les LLM, alors qu’elle peuvent être totalement incorrectes ou contenant des erreurs significatives, danger amplifié s’il s’agit du domaine de la santé
  
• données dont la divulgation n’a pas été consentie préalablement, notamment quand il s’agit de données de santé sensibles fournies par un utilisateur à l’application en vue de générer une réponse
  
• utilisation malveillante des LLM pour générer et diffuser de la « désinformation très convaincante« , avec toute la difficulté que le public peut avoir pour la différencier d’informations fiables

Engagement des décideurs

L’OMS préconise l’engagement des décideurs politiques dans la garantie de la sécurité et de la protection des patients pour le développement et l’exploitation des nouvelles technologies et en particulier l’IA et la santé numérique, en intégrant les dangers identifiés, avec la définition de mesures claires des avantages avant l’utilisation généralisée pour les soins de santé et la médecine de routine des outils développés par les entreprises technologiques.

Éthique et gouvernance doivent régir ces développements l’utilisation des outils d’IA au service de la santé, selon six principes fondamentaux définis par l’OMS :

(1) protéger l’autonomie

(2) promouvoir le bien-être humaine, la sécurité humaine et l’intérêt public

(3) assurer la transparence, l’explicabilité et l’intelligibilité

(4) favoriser la responsabilité et l’obligation de rendre des comptes

(5) assurer l’inclusivité et l’équité

(6) promouvoir une IA réactive et durable.

Pour aller plus loin

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !