Note introductive de la Rédaction : Afin de ne pas en perdre une miette et à des fins éducatives sur la méthodologie de la recherche clinique, et pour ceux qui ont le goût du détail et de la littérature scientifique, nous vous proposons en exclusivité la traduction française complète (hors références) de l’article scientifique (en anglais), résumé inclus, paru récemment dans la revue médicale JAMA Netw Open. Ces résultats font réfléchir sur le récent état des lieux mené par la Haute autorité de santé (HAS) concernant les erreurs de diagnostic des médecins français. Les auteurs de l’étude e concluent-ils que l’iA doit être incluse dans la pratique diagnostique pour les orienter ? Même pas, car, à la surprise de beaucoup, elle ne montre aucun performance diagnostique améliorée pour les médecins aidés par ChatGPT. Dans ces conditions, faut-il envisager un futur ou les médecins seront tout au plus les assistants des IA médicales ? La question est sérieuse.

Influence d’un grand modèle de langage sur le raisonnement diagnostique – Essai clinique randomisé (titre original : « Large Language Model Influence on Diagnostic ReasoningA Randomized Clinical Trial« 

Auteurs :

Ethan Goh, MBBS, MS (Stanford University); Robert Gallo, MD (VA Palo Alto Health Care System) ; Jason Hom, MD (Stanford University School of Medicine); et al

Points clés

Question : L’utilisation d’un modèle de langage étendu (LLM) améliore-t-elle la performance du raisonnement diagnostique chez les médecins généralistes, de médecine interne ou de médecine d’urgence par rapport aux ressources conventionnelles ?

Résultats : Dans un essai clinique randomisé incluant 50 médecins, l’utilisation d’un LLM n’a pas amélioré de manière significative la performance du raisonnement diagnostique par rapport à la disponibilité de ressources conventionnelles.

Signification : Dans cette étude, l’utilisation d’un LLM n’a pas nécessairement amélioré le raisonnement diagnostique des médecins au-delà des ressources conventionnelles ; un développement supplémentaire est nécessaire pour intégrer efficacement les LLM dans la pratique clinique.

Résumé

Importance : Les grands modèles de langage (Large Language Models, LLMs) se sont révélés prometteurs dans leurs performances sur les examens de raisonnement médical à choix multiples et à questions ouvertes, mais on ne sait toujours pas si l’utilisation de ces outils améliore le raisonnement diagnostique des médecins.

Conception, cadre et participants : Un essai clinique randomisé en simple aveugle a été mené du 29 novembre au 29 décembre 2023. Des médecins formés en médecine générale, médecine interne ou médecine d’urgence ont été recrutés par vidéoconférence à distance et en personne dans plusieurs établissements médicaux universitaires.

Objectif : Évaluer l’effet d’un LLM sur le raisonnement diagnostique des médecins par comparaison avec les ressources conventionnelles.

Intervention : Les participants ont été randomisés [répartis au hasard, NDLR] pour accéder soit au LLM en plus des ressources diagnostiques conventionnelles, soit aux ressources conventionnelles uniquement, en fonction de leur stade de carrière. Les participants disposaient de 60 minutes pour examiner jusqu’à 6 vignettes cliniques.

Résultats et mesures principaux : Le résultat principal était la performance sur une grille standardisée de performance diagnostique basée sur la précision du diagnostic différentiel, la pertinence des facteurs de soutien et d’opposition, et les étapes suivantes de l’évaluation diagnostique, validées et l’objet d’un score par un consensus d’experts en aveugle. Les résultats secondaires comprenaient le temps passé par cas (en secondes) et la précision du diagnostic final. Toutes les analyses ont suivi le principe de l’intention de traiter. Une analyse exploratoire secondaire a évalué la performance autonome du LLM en comparant les résultats primaires entre le groupe LLM seul et le groupe de ressources conventionnelles.

Résultats : Cinquante médecins (26 titulaires, 24 résidents ; années médianes de pratique, 3 [IQR (écart intercartile, NDLR), 2-8]) ont participé virtuellement ainsi qu’à un site en personne. Le score médian de raisonnement diagnostique par cas était de 76 % (IQR, 66%-87%) pour le groupe LLM et de 74 % (IQR, 63 %-84 %) pour le groupe ressources conventionnelles uniquement, avec une différence ajustée de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0,60). Le temps médian passé par cas pour le groupe LLM était de 519 (IQR, 371-668) secondes, comparé à 565 (IQR, 456-788) secondes pour le groupe des ressources conventionnelles, avec une différence de temps de -82 (IC à 95 %, -195 à 31 ; P = 0,20) secondes. Le LLM seul a obtenu 16 points de pourcentage (IC à 95 %, 2-30 points de pourcentage ; P = 0,03) de plus que le groupe des ressources conventionnelles.

Conclusions et pertinence : Dans cet essai, la mise à disposition d’un LLM aux médecins en tant qu’aide au diagnostic n’a pas amélioré de manière significative le raisonnement clinique par rapport aux ressources conventionnelles. Le LLM seul a démontré une performance supérieure à celle des deux groupes de médecins, ce qui indique la nécessité de développer la technologie et la main-d’œuvre pour réaliser le potentiel de la collaboration entre les médecins et l’intelligence artificielle dans la pratique clinique.

INTRODUCTION

Les erreurs de diagnostic sont fréquentes, contribuent à causer un préjudice important aux patients et résultent d’une combinaison de facteurs cognitifs et systémiques. Les interventions efficaces visant à améliorer la performance diagnostique et à réduire les erreurs diagnostiques nécessitent de se concentrer à la fois sur les facteurs systémiques et les facteurs cognitifs, souvent appelés raisonnement clinique. Les stratégies qui ont été avancées pour améliorer le raisonnement clinique comprennent une variété de pratiques éducatives, réflexives et d’équipe, ainsi que des outils d’aide à la décision clinique. L’impact de ces interventions a été limité ; en outre les méthodes les plus utiles telles que la pratique réflexive sont difficiles à intégrer à grande échelle d’un point de vue clinique. Les technologies d’intelligence artificielle (IA) sont depuis longtemps considérées comme des outils prometteurs pour aider les médecins à raisonner en matière de diagnostic.

Les grands modèles de langage (LLM), qui sont des systèmes d’apprentissage machine qui produisent des réponses semblables à celles de l’homme à partir du langage écrit, ont démontré leur capacité à résoudre des cas complexes, à faire preuve d’un raisonnement clinique semblable à celui de l’homme, à recueillir les antécédents des patients et à faire preuve d’une communication empathique. En raison de leur nature généralisable, les LLM sont activement intégrés dans de nombreux environnements de soins médicaux. Malgré les performances impressionnantes de ces technologies émergentes dans les tâches d’étalonnage, les intégrations actuelles des LLM nécessitent la participation humaine, le LLM augmentant plutôt que remplaçant l’expertise et la supervision humaines. Pour comprendre les implications du déploiement de ces systèmes dans les soins aux patients avec une formation et une intégration limitées de la main-d’œuvre, il faut des études sur les utilisateurs humains et informatiques avec des mesures plus riches du raisonnement diagnostique.

Nous avons réalisé un essai clinique randomisé pour comparer la performance du raisonnement diagnostique des médecins utilisant un agent conversationnel ( chatbot) du commerce LLM AI (ChatGPT Plus [GPT-4] ; OpenAI) par rapport aux ressources diagnostiques conventionnelles (par ex. UpToDate, Google). De nombreuses études sur les performances diagnostiques n’évaluent que des mesures superficielles de la précision sans prêter attention à la qualité du processus diagnostique utilisé pour parvenir à ce diagnostic. Pour mieux évaluer la façon dont les nouveaux outils affectent le raisonnement des médecins, nous avons adapté la réflexion structurée – une mesure des facteurs contribuant à une décision diagnostique – comme un nouvel outil d’évaluation du processus diagnostique.

MÉTHODES

Cette étude a été examinée et jugée exempte d’approbation par les comités d’examen institutionnels de l’université de Stanford, du centre médical Beth Israel Deaconess et de l’université de Virginie. Le consentement éclairé a été obtenu avant l’inclusion et la randomisation. Les participants résidents se sont vus offrir 100 dollars et les participants titulaires se sont vus offrir jusqu’à 200 dollars pour participer l’étude. Cette étude suit les directives CONSORT (Consolidated Standards of Reporting Trials) pour les essais cliniques randomisés. Le protocole de l’étude est disponible dans le supplément 1.

Nous avons recruté des médecins titulaires et résidents formés dans une spécialité médicale générale (médecine interne, médecine familiale ou médecine d’urgence) par le biais de listes d’adresses électroniques à l’université de Stanford, au Beth Israel Deaconess Medical Center et à l’université de Virginie. De petits groupes de participants ont été supervisés par des coordinateurs de l’étude, soit à distance, soit dans un laboratoire informatique en personne. Les sessions ont duré une heure. Le flux des participants est décrit dans cette figure :

Une itération visuelle est présentée dans cette figure :

Vignettes cliniques

Les vignettes cliniques ont été adaptées à partir d’une étude historique qui a établi la norme pour l’évaluation des systèmes de diagnostic informatisés. Tous les cas de cette étude étaient basés sur des patients réels et incluaient des informations disponibles lors de l’évaluation diagnostique initiale, telles que les antécédents, l’examen clinique et les résultats des analyses de laboratoire. Les cas n’ont jamais été rendus publics afin de protéger la validité du matériel de test pour une utilisation future, et sont donc exclus des données de formation du LLM.

Nous avons utilisé la technique du groupe nominal pour sélectionner un échantillon de cas ; quatre médecins auteurs (E.G., J.A.C., A.P.J.O. et J.H.C.) se sont réunis pour se mettre d’accord sur les directives de sélection des cas, y compris la préférence pour un large éventail de contextes pathologiques, en évitant les cas simplistes avec des diagnostics plausibles limités, et en excluant les cas excessivement rares.24 Chaque membre a examiné indépendamment au moins 50 des 105 cas disponibles pour identifier un minimum de 10 cas qui satisfont aux directives de sélection. Après les évaluations individuelles, le groupe s’est réuni à nouveau pour parvenir à un consensus sur une liste de cas à examiner en priorité. Lors des tests pilotes, les participants ont complété un maximum de 6 cas en 1 heure, ce qui nous a permis de sélectionner 6 cas finaux pour cette étude. Les cas ont été édités pour moderniser les conventions de rapport des données de laboratoire et pour remplacer les phrases pathognomoniques (par exemple, livedo reticularis) par des descriptions générales.

La précision du diagnostic différentiel est un critère d’évaluation courant, mais limité, dans les études diagnostiques sur l’aide à la décision clinique. Bien que nous ayons évalué la précision globale du diagnostic différentiel en tant que résultat secondaire, à l’instar d’études antérieures, les phénomènes complexes des interactions entre l’homme et l’ordinateur justifient des évaluations plus riches des compétences en matière de raisonnement diagnostique. Nous avons donc choisi de développer une évaluation à partir de la littérature sur le raisonnement clinique : la réflexion structurée.

La réflexion structurée vise à améliorer le processus par lequel les médecins considèrent les diagnostics raisonnables et les caractéristiques cliniques qui soutiennent ou s’opposent à leurs diagnostics, de la même manière que les médecins peuvent expliquer leur raisonnement dans la composante d’évaluation et de planification des notes cliniques. Nous avons adapté une grille de réflexion structurée avec des participants fournissant des réponses en texte libre sur leurs 3 principaux diagnostics différentiels, les facteurs dans le cas qui favorisent ou s’opposent à chacun de leurs 3 diagnostics, leur diagnostic final le plus probable, et jusqu’à 3 étapes suivantes (par ex., tests diagnostiques) qu’ils utiliseraient pour poursuivre l’évaluation du patient.

Évaluation des performances

Nous nous sommes appuyés sur des études antérieures portant sur la réflexion structurée en évaluant la grille elle-même, et non pas seulement l’exactitude du diagnostic final. Pour chaque cas, nous avons attribué jusqu’à 1 point pour chaque diagnostic plausible. Les résultats étayant chaque diagnostic et les résultats s’opposant au diagnostic ont également été notés en fonction de leur exactitude, avec 0 point pour les réponses incorrectes ou absentes, 1 point pour les réponses partiellement correctes et 2 points pour les réponses entièrement correctes. Le diagnostic final a été noté sur 2 points pour le diagnostic le plus correct et sur 1 point pour un diagnostic plausible ou un diagnostic correct qui n’était pas assez précis par rapport au diagnostic final le plus correct. Les participants devaient ensuite décrire jusqu’à trois étapes suivantes pour poursuivre l’évaluation du patient, 0 point étant attribué pour une réponse incorrecte, 1 point pour une réponse partiellement correcte et 2 points pour une réponse totalement correcte. Si les diagnostics différentiels incorrects n’ont pas été récompensés, le raisonnement approprié basé sur ces diagnostics n’a pas été pénalisé. Les évaluateurs n’ont pas été informés de l’affectation des groupes de participants.

Conception de l’étude

Nous avons utilisé un modèle d’étude randomisé en simple aveugle avec randomisation stratifiée. Les participants ont été répartis au hasard entre l’utilisation de l’interface LLM (groupe d’intervention) et les ressources conventionnelles (groupe de contrôle). Ils ont eu accès à des comptes d’étude pour le LLM et les transcriptions de leur utilisation ont été sauvegardées. Les deux groupes ont reçu l’instruction d’accéder à toutes les ressources conventionnelles qu’ils utilisent normalement pour les soins cliniques, mais le groupe de contrôle a reçu l’instruction explicite de ne pas utiliser les LLM. Les participants disposaient d’une heure pour compléter autant de cas diagnostiques que possible, avec pour instruction de donner la priorité à la qualité de leurs réponses plutôt qu’à la complétion de tous les cas.

L’étude a été réalisée à l’aide d’un outil d’enquête (Qualtrics), les cas étant présentés dans un ordre aléatoire pour chaque participant. Dans une analyse secondaire, nous avons inclus un groupe témoin utilisant uniquement le LLM pour répondre aux cas. En utilisant les principes établis de la conception des messages-guides, nous avons développé de manière itérative un message-guide 0-shot ; le même langage a été utilisé avec les questions de la vignette clinique pour chaque cas.27 Le médecin chercheur qui a entré les messages-guides dans le modèle n’a pas modifié les réponses du modèle. Ces invites ont été exécutées trois fois au cours de sessions distinctes, et les résultats de chaque exécution ont été inclus pour une évaluation en aveugle avec les résultats humains avant la levée de l’aveugle ou l’analyse des données.

Validation de l’outil d’évaluation

Pour établir la validité, nous avons recueilli deux séries de données pilotes auprès de 13 participants qui n’ont pas été inclus dans l’étude finale. Au total, 65 cas ont été menés à bien, sur la base d’un échantillonnage de plusieurs vignettes de cas, dont les 6 utilisées dans l’étude finale. Les trois évaluateurs principaux (J.H, A.P.J.O. et A.R.), tous des médecins certifiés ayant de l’expérience dans l’évaluation du raisonnement clinique au niveau médical post-universitaire, ont noté ces cas indépendamment afin d’évaluer la cohérence. Sur la base des commentaires itératifs des correcteurs et des participants pilotes, ainsi que de la concordance des correcteurs, les vignettes des cas étudiés ont été sélectionnées et les rubriques ont été affinées avant que les données ne soient collectées pour l’étude finale. Après la collecte des données, chaque cas a été noté indépendamment par deux évaluateurs qui ne connaissaient pas le groupe de traitement assigné. Le désaccord entre les évaluateurs a été prédéfini comme une différence de plus de 10 % du score final. En cas de désaccord, les évaluateurs se sont réunis pour discuter des différences entre leurs évaluations et rechercher un consensus. Nous avons conçu la notation de manière à reconnaître intentionnellement l’ambiguïté des processus de diagnostic, en autorisant de multiples variations des réponses correctes déterminées par le consensus des évaluateurs. La notation du diagnostic final a été évaluée par deux évaluateurs afin d’obtenir un accord sur le résultat secondaire de la précision du diagnostic. Nous avons calculé une valeur pondérée de Cohen κ pour montrer la concordance de la notation et une valeur de Cronbach α pour déterminer la fiabilité interne de cette mesure.

Résultats de l’étude

Notre résultat principal était le score final en pourcentage pour toutes les composantes de l’outil de réflexion structuré. Les résultats secondaires étaient le temps passé par cas (en secondes) et la précision du diagnostic final. Le diagnostic final a été traité comme un résultat ordinal avec 3 groupes (incorrect, partiellement correct et le plus correct). Étant donné que la différence entre la réponse la plus correcte et les réponses partiellement correctes peut ne pas être cliniquement significative, nous avons également analysé le résultat comme un résultat binaire (incorrect comparé à au moins partiellement correct).

Analyse statistique

La taille de l’échantillon cible de 50 participants a été prédéfinie sur la base d’une analyse de puissance utilisant deux ensembles de données de validation, notés avant l’inscription à l’étude. En utilisant le logiciel PASS 2023, version 23.0.2 (NCSS LLC), notre analyse de puissance a montré une puissance de plus de 80 % pour détecter une différence de score de 8 % avec 200 à 250 cas complétés (4 à 5 cas par participant) avec une valeur α bilatérale de 0,05. Nous avons utilisé un modèle à effets mixtes adapté aux plans randomisés en grappes, avec un coefficient de corrélation intraclasse allant de 0,05 à 0,15 et un écart-type de 16,2 %.

Toutes les analyses ont respecté le principe de l’intention de traiter et ont été effectuées au niveau des cas, regroupés par participant. Des modèles linéaires à effets mixtes ont été appliqués pour évaluer la différence entre le résultat primaire de la performance diagnostique et le résultat secondaire du temps passé par cas traité, les hypothèses de normalité ayant été vérifiées. Des modèles à effets mixtes ordinaux et logistiques ont été utilisés pour comparer d’autres résultats secondaires, y compris la précision du diagnostic final ordinal et binaire. Un effet aléatoire pour le participant a été inclus dans les modèles pour tenir compte de la corrélation potentielle entre les cas d’un même participant. En outre, un effet aléatoire pour les cas a été inclus pour tenir compte de toute variabilité potentielle de la difficulté entre les cas. L’erreur de type I (α) à l’échelle de la famille a été contrôlée à 0,05 pour le résultat principal de la performance diagnostique considérée comme une variable continue. L’analyse des résultats secondaires a été exploratoire sans ajustement pour les comparaisons multiples. Une analyse de sensibilité planifiée à l’avance a évalué l’effet de l’inclusion de cas incomplets sur le résultat primaire. Des analyses de sous-groupes ont été réalisées en fonction du statut de formation et de l’expérience avec le produit LLM utilisé. Dans une analyse secondaire, les cas complétés par le LLM seul ont été traités comme un troisième groupe, avec des cas regroupés dans une structure imbriquée de 3 tentatives sous la responsabilité d’un seul participant. Ces cas ont été comparés à ceux de participants réels, chaque cas étant considéré comme une tentative unique sous la direction d’un participant unique utilisant une structure imbriquée similaire. Toutes les analyses statistiques ont été réalisées à l’aide de R, version 4.3.2 (R Foundation for Statistical Computing).

Résultats

Cinquante médecins agréés aux États-Unis ont été recrutés et ont participé (26 titulaires, 24 résidents) du 29 novembre au 29 décembre 2023 ; parmi eux, 39 (78 %) ont participé à des rencontres virtuelles et 11 (22 %) à des rencontres en personne. Le nombre médian d’années de pratique était de 3 (IQR, 2-8).

Résultat principal : performances en termes de diagnostic

Au total, 244 cas ont été réalisés par tous les participants (125 cas dans le groupe LLM, 119 cas dans le groupe de contrôle). Le nombre médian de cas complétés par participant était de 5 (IQR, 4-6). L’analyse des transcriptions a montré que 100 % (22 sur 22) des médecins randomisés pour utiliser le LLM l’ont fait ; 3 transcriptions ont été perdues en raison de problèmes techniques et n’ont pas été incluses. Le score médian par cas était de 76 % (IQR, 66 %-87 %) pour le groupe LLM et de 74 % (IQR, 63%-84%) pour le groupe de contrôle. Le modèle à effets mixtes a montré une différence de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0.60) entre le groupe LLM et le groupe de contrôle. Une analyse de sensibilité incluant tous les cas, complets et incomplets, a montré un résultat similaire avec une différence de 2 points de pourcentage (IC à 95 %, -4 à 8 points de pourcentage ; P = 0.50) entre le groupe LLM et le groupe de contrôle.

Résultats secondaires

Le temps médian passé par cas était de 519 (IQR, 371-668) secondes pour le groupe LLM et de 565 (IQR, 456-788) secondes pour le groupe de contrôle. Le modèle linéaire à effets mixtes a abouti à une différence ajustée de -82 secondes (IC à 95 %, -195 à 31 secondes ; P = 0.20).

L’exactitude du diagnostic final utilisant l’échelle ordinale a montré que le groupe d’intervention LLM avait 1,4 fois plus de chances (IC à 95 %, 0,7-2,8 ; P = 0,39) d’obtenir un diagnostic correct que le groupe de contrôle. Lors de l’évaluation de la précision des diagnostics finaux, le fait de les traiter comme des variables binaires (correctes ou incorrectes) n’a pas modifié qualitativement les résultats (rapport de cotes, 1,9 ; IC à 95 %, 0,9-4,0 ; P = 0,10).

Les analyses par sous-groupe étaient qualitativement similaires aux analyses pour l’ensemble de la cohorte.

LLM seul

Dans les 3 essais du LLM seul, le score médian par cas était de 92 % (IQR, 82 % – 97 %). La comparaison du LLM seul avec le groupe de contrôle a révélé une différence de score absolu de 16 points de pourcentage (IC à 95 %, 2 à 30 points de pourcentage ; P = 0.03) en faveur du LLM seul.

Validation de l’outil d’évaluation

La valeur pondérée de Cohen κ entre les trois évaluateurs était de 0,66, ce qui indique un accord substantiel dans la fourchette attendue pour les études de performance diagnostique.30 La valeur globale de Cronbach α était de 0,64. Les variances des sections individuelles de la grille de réflexion structurée sont présentées dans le tableau 5 du supplément 2. Après avoir supprimé le diagnostic final, qui présentait la variance la plus élevée, la valeur α de Cronbach était de 0,67.

DISCUSSION

Cet essai clinique randomisé a montré que l’utilisation par les médecins d’un agent conversationnel (chatbot) LLM disponible dans le commerce n’a pas amélioré le raisonnement diagnostique sur des cas cliniques difficiles, bien que le LLM seul ait obtenu des résultats nettement supérieurs à ceux des médecins participants. Les résultats étaient similaires dans les sous-groupes de différents niveaux de formation et d’expérience avec le chatbot. Ces résultats suggèrent que l’accès seul aux LLM n’améliorera pas le raisonnement diagnostique global des médecins dans la pratique. Ces résultats sont particulièrement pertinents à l’heure où de nombreux systèmes de santé proposent des chatbots conformes à la loi sur la portabilité et la responsabilité de l’assurance maladie (Health Insurance Portability and Accountability Act [spécifique aux États-Unis, NDLR]) que les médecins peuvent utiliser en milieu clinique, souvent sans aucune formation, voire avec une formation minimale sur l’utilisation de ces outils.

Nos données n’ont pas confirmé de différences dans le temps consacré à la résolution des cas. Compte tenu de la grande variabilité observée dans le temps consacré à la résolution des cas, il serait nécessaire de mener de futures études avec des échantillons beaucoup plus importants pour évaluer si les médecins ayant l’expérience de l’utilisation des LLM consacrent moins de temps au raisonnement diagnostique.

Un résultat secondaire inattendu est que le LLM seul a été nettement plus performant que les deux groupes d’humains, à l’instar d’étude récente avec une technologie LLM différente. Cela peut s’expliquer par la sensibilité de la sortie LLM à la formulation de l’invite. Il existe de nombreux cadres pour l’invite des LLM et un consensus émergent sur les stratégies d’invite, dont beaucoup se concentrent sur la fourniture de détails sur la tâche, le contexte et les instructions ; notre invite a été développée de manière itérative en utilisant ces cadres. La formation des cliniciens aux meilleures pratiques d’incitation peut améliorer la performance des médecins avec les LLM. Par ailleurs, les organisations pourraient investir dans des messages-guides prédéfinis pour l’aide à la décision diagnostique, intégrés dans les flux de travail cliniques et la documentation, ce qui permettrait une synergie entre les outils et les cliniciens. Des études antérieures sur les systèmes d’IA montrent des effets disparates en fonction de l’élément du processus de diagnostic dans lequel ils sont utilisés. Étant donné la nature conversationnelle des agents conversationnels (chatbots), des changements dans la manière dont le LLM interagit avec les humains, par ex., en signalant spécifiquement les caractéristiques qui ne correspondent pas au diagnostic différentiel, pourraient améliorer le diagnostic et la performance de réflexion.35,36 De manière plus générale, nous voyons une opportunité dans l’examen délibéré et la refonte de l’éducation médicale et des cadres de pratique qui s’adaptent aux technologies émergentes perturbatrices et permettent la meilleure utilisation des ressources informatiques et humaines pour fournir des soins médicaux optimaux.

Les résultats de cette étude ne doivent pas être interprétés comme indiquant que les LLM devraient être utilisés pour le diagnostic de manière autonome sans la supervision d’un médecin. Les vignettes de cas cliniques ont été classées et résumées par des cliniciens humains, une approche pragmatique et courante pour isoler le processus de raisonnement diagnostique, mais cela ne tient pas compte des compétences dans de nombreux autres domaines importants pour le raisonnement clinique, y compris l’entretien avec le patient et la collecte de données. En outre, cette étude était hors contexte, et la compréhension de l’environnement clinique par les cliniciens est fondamentale pour une prise de décision de haute qualité. Bien que les premières études montrent que les LLM peuvent collecter et résumer efficacement les informations sur les patients, ces capacités doivent être étudiées de manière plus approfondie. En outre, l’amélioration de la notation des rubriques représente ici un signal important du raisonnement clinique, mais des essais cliniques plus larges sont nécessaires pour évaluer les différences significatives dans l’impact clinique en aval.

Cette étude a développé une mesure basée sur la réflexion structurée, inspirée par la recherche sur la cognition des médecins. La notation de l’outil de réflexion structurée adapté en tant que résultat principal représente une nouvelle contribution de cette étude pour offrir un cadre d’évaluation plus riche des compétences de raisonnement diagnostique. Cet outil d’évaluation a démontré une concordance substantielle entre les évaluateurs et une fiabilité interne similaire ou supérieure à d’autres mesures utilisées dans l’évaluation du raisonnement.39-42 Cela fait progresser le domaine au-delà des premières recherches sur le LLM, qui se sont concentrées sur des repères ayant une utilité clinique limitée, tels que les banques de questions à choix multiples utilisées pour l’obtention de la licence médicale ou les vignettes de cas curatées de maladies rarement vues en pratique clinique, telles que les conférences de cas cliniques pathologiques. Bien qu’elles présentent des avantages évidents en termes de facilité de mesure, ces tâches ne correspondent pas au raisonnement clinique dans la pratique. Au fur et à mesure que la recherche en IA progresse et se rapproche de l’intégration clinique, il deviendra encore plus important de mesurer de manière fiable la performance diagnostique en utilisant les méthodes d’évaluation et métriques les plus réalistes et les plus pertinentes d’un point de vue clinique.

Limites

Cet essai a ses limites. Nous avons axé notre enquête sur un seul LLM, étant donné sa disponibilité commerciale et son intégration dans la pratique clinique. De multiples systèmes LLM alternatifs émergent rapidement, bien que celui étudié reste actuellement parmi les outils les plus performants pour les applications étudiées. Les participants ont eu accès au agents conversationnels (chatbots) sans formation explicite aux techniques d’ingénierie rapide qui auraient pu améliorer la qualité de leurs interactions avec le système ; cependant, ceci reste conforme aux intégrations actuelles et nécessite donc cette évaluation représentative.15,17-19 En outre, même si tous les médecins du groupe LLM ont au moins essayé d’utiliser le système sur la base des journaux de chat, ils n’ont pas été forcés d’utiliser le système d’une manière cohérente. Il s’agissait d’une conception délibérée visant à mieux refléter une évaluation de l’efficacité dans le cadre de la pratique clinique.

Aucun échantillon de vignettes cliniques ne peut couvrir de manière exhaustive la variété des cas dans le domaine de la médecine. Notre étude a porté sur 6 cas qui pouvaient être traités en une seule session d’étude tout en restant comparables aux pratiques courantes dans les examens cliniques structurés nationaux d’autorisation et d’objectifs, qui consistent à utiliser un échantillon restreint mais large de cas cliniques.6,46-49 Il ne s’agit pas d’évaluer de manière exhaustive les connaissances d’un participant, mais plutôt d’évaluer son raisonnement clinique général à travers un ensemble de cas. Pour optimiser l’étendue de la couverture, nous avons délibérément choisi des cas qui représentent un échantillon large et pertinent de disciplines et un éventail de problèmes cliniques.

CONCLUSION

La disponibilité d’un LLM en tant qu’aide au diagnostic n’a pas amélioré la performance des médecins par rapport aux ressources conventionnelles dans un essai clinique randomisé sur le raisonnement diagnostique. Le LLM seul a surpassé les performances des médecins même lorsque le LLM était à leur disposition, ce qui indique qu’un développement plus poussé des interactions homme-machine est nécessaire pour réaliser le potentiel de l’IA dans les systèmes d’aide à la décision clinique.

Note de la Rédaction : pour la commodité de lecture, les références bibiographiques et internes ont été retirées ; elles sont disponibles dans l’article original.

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !

Nous évoquons ici le décret n0 2024-968 du 30/10/2024 « relatif au document destiné à renforcer la pertinence des prescriptions médicales« . Tout un programme, essentiel.

Fondement : la loi de financement de la sécurité sociale pour 2024

C’est en particulier l’article 73 de cette loi, qui modifie le Code de la sécurité sociale et plus précisément l’article L. 162-19-1 qui pose les bases du nouveau dispositif. Il stipule que la prescription du médecin peut avoir lieu sur l’ordonnance classique ou « sur un formulaire prévu à cet effet« . Ce formulaire, accessible par téléservice, est exigible pour présentation au pharmacien. Il est prévu qu’il serve notamment à vérifier le respect des indications ouvrant droit à remboursement par la sécurité sociale.

Lutter contre le mésusage des médicaments, les médecins dans le viseur

La mauvaise utilisation des médicaments est un fléau de santé publique. Il émane en premier lieu de prescriptions défaillantes par les médecins. Il faut le rappeler, le médecin est l’expert du diagnostic médical, le pharmacien étant l’expert du médicament. Or on sait combien en France, il existe d’une part une surprescription de médicaments par les médecins, en partie pour des raisons de clientélisme : un patient satisfait est souvent un patient qui sort du cabinet médical avec une ordonnance, tant qu’à faire bien remplie. À tel point qu’il est prévu des incitations financières à la non prescription par les médecins. S’il faut citer un seul exemple de prescriptions abusives, on peut parler des antibiotiques, trop prescrits mais aussi mal prescrits, malgré les guides réguliers à l’usage des médecins fournis par des sociétés savantes comme celle d’infectiologie et l’Agence nationale de sécurité des médicaments (ANSM). Le problème est tout aussi quantitatif que qualitatif.

Renforcer les moyens de contrôle par le pharmacien dispensateur

Alors on pourrait dire, et on le dit : chacun son métier. Le Code de la santé publique prévoit ainsi l’intervention du pharmacien, qui est tenu à un contrôle pharmaceutique des ordonnances avant toute délivrance. Beaucoup d’erreurs de prescription sont ainsi rattrapées.
Néanmoins il manquait jusqu’ici une information essentielle sur les ordonnances : l’indication, à savoir la pathologie ou les troubles pour lesquels les médicaments sont prescrits. C’est pourtant un élément clé pour établir l’analyse pharmaceutique de l’ordonnance. L’interrogatoire du patient peut compenser le manque, mais cette information par le patient n’est pas toujours disponible ni fiable. Il est pourtant essentiel au pharmacien de savoir pourquoi un médicament est prescrit. Cela conditionne la validité de la prescription d’un point de vue qualitatif, mais parfois aussi quantitativement, car la posologie peut varier en fonction de l’indication.
L’information se devait donc d’être émise par sa source, le médecin prescripteur, et indiquée noir sur blanc pour qui de droit.

Vers un médecin professionnel de santé « comme les autres »

Les temps changent pour les médecins, dont le monopole de prescription et les privilèges s’effritent, au profit d’un exercice médical partagé entre les professionnels de santé autour des patients, et non plus derrière la longue file d’attente de consultations du médecin.
En France, cette situation s’explique non pas par la raison, mais un lobby médical très puissant qui influe fortement et fige les politiques visant à faire évoluer la situation.
On se souvient, pendant la pandémie de Covid-19, la défense par certains d’un droit de prescription absolue du médecin ; un groupe de médecins défendant l’hydroxychloroquine dans l’indication Covid non démontrée se nommait d’ailleurs « Laissons-les prescrire« . Leur argument était que les médecins étaient libres, autorisés à prescrire « hors AMM » (Autorisation de mise sur le marché). C’est en effet possible, mais dans des cas précis et très particuliers, justifiés, et avec l’aval du pharmacien. Il n’y a donc pas de réelle liberté de prescrire, elle est toujours été conditionnelle. Toujours est-il que les pharmaciens qui faisaient leur métier et assumaient leurs responsabilités (dont pénale) en refusant la délivrance d’hydroxychloroquine avaient été pointés du doigt et parfois menacés.
Cette image du médecin tout-puissant et omniscient est passéiste, et dangereuse. Dans tous les domaines, l’activité collaborative, chacun dans sa spécialité, est une sécurité, ici pour les patients.

En pratique

Les médecins doivent désormais – théoriquement – établir des ordonnances complètes, mentionnant l’indication pour chaque médicament prescrit. Le pharmacien pourra ainsi faire son travail d’analyse de l’ordonnance, mais aussi permettre la prise en charge par la sécurité sociale. À défaut, la délivrance des médicaments pourrait ne pas avoir lieu et les patients invités alors à contacter leur médecin pour obtenir les mentions manquantes.
Comme le prévoit la loi, le médecin peut fournir les informations requises sur l’ordonnance, ou via un formulaire dédié.

Il n’est pas sûr que ces nouvelles modalités s’appliquent à toutes les prescriptions. En effet l’assurance maladie pourrait se focaliser au moins dans un premier temps, sur ce qu’on appelle les ITR : Indications thérapeutiques remboursables. Il s’agit de médicaments ayant de multiples indications, dont seulement certaines sont remboursables. Parmi les médicaments actuels : les analogues du GLP-1, très en vogue, sont concernés ; il s’agit initialement de médicaments pour le diabète, qui ont été détournés rapidement comme coupe-faim pour maigrir (voir affaire Ozempic/sémaglutide), mais sont désormais également commercialisés pour l’obésité. Cette classe pourrait être dans le viseur pour une application sans délai du nouveau décret.

Des opposition du lobby médical à prévoir

Ce qui est certain, c’est que les médecins vont sans doute râler de devoir préciser l’indication. Il s’agira de préserver, comme toujours, des privilèges. On peut imaginer en premier lieu que le secret médical sera brandi, ce qui n’est pas pertinent puisque le partage d’informations entre professionnels de santé comme les pharmaciens, eux-même soumis à la confidentialité, ne le remet pas en cause. Idem pour la transmission d’informations à l’assurance-maladie. On n’a pas vu les médecins se plaindre de remplir un dossier pour l’obtention du statut d’ALD d’un patient (Affection de longue durée, exemple parmi d’autres). Ils pourraient aussi déclarer que de préciser l’indication leur fait perdre du temps, ou discréditer la disposition pour n’être qu’à visée financière (avec les ITR).
Pourtant, c’est bel et bien une mesure de santé publique importante vu les méfaits du mésusage des médicaments, versant erreurs de prescription, mais aussi détournement de prescriptions : à propos de coupe-faim, n’oublions jamais le scandale sanitaire du Mediator (benfluorex). Cette nouvelle disposition aurait à l’époque cette triste affaire, qui a coûté de vies, de se produire.
La médecine est une profession régulée comme toutes les professions de santé, elle n’a pas, et même plus à faire exception. Il y va de la protection des patients.

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

Abonnez-vous à la Newsletter de Science infuse !

Rappelons tout d’abord qu’un « DGS-Urgent est une circulaire émise par la Direction générale de la santé (DGS) à destinations de professionnels ciblés médicaux et paramédicaux ou encore techniciens.
Il s’agit donc de communication professionnelle, non destinée au grand public. Avec la crise du Covid-19, sur les réseaux sociaux, de nombreux internautes se sont mis à commenter ces circulaires.

À noter : il s’agit de recommandations (donc non contraignantes pour les professionnels visés).

Professionnels ciblés : les prescripteurs et dispensateurs d’antibiotiques

Il s’agit donc des médecins, sage-femmes, pharmaciens,

L’amoxicilline est un antibiotique d’usage très courant, il est utilisé seul ou en association avec l’acide clavulanique (spécialité Augmentin). Ces deux formes sont concernées par les tension d’approvisionnement.

Médecins français : une surprescription d’antibiotiques qui perdure, le spectre de l’antibiorésistance galopante

On le sait, les antibiotiques sont trop prescrits, donc pas toujours utilement/à bon escient : en première ligne, ce sont donc bien les médecins qui sont en cause. Nous avons publié récemment des articles sur cette surconsommation telle que mesurée par Santé publique France sur le territoire français, ainsi le rapport de l’OMS sur son dernier rapport comportant de nouveaux indicateurs importants sur la consommation mondiale juste après sa publication samedi.
Les médecins prescrivent trop et donc mal les antibiotiques, et c’est un problème qui perdure depuis longtemps. La bonne nouvelle dans ce constat inquiétant, tant du fait de la pénurie que par sa conséquence dramatique : le développement de l’antibiorésistance, une autre pandémie bien silencieuse.

Dispensation à l’unité (DAU) : rôle clé du pharmacien

Les antibiotiques se prennent sur une durée déterminée. Pas question d’initier un traitement et de ne pas le terminer. Pas question non plus de poursuivre la consommation après la fin du traitement. Une mesure a donc été prise pour économiser le médicament sans impact sur la qualité du traitement : la dispensation à l’unité. Cela veut dire que le pharmacien va ce que l’on appelle « déconditionner » les boîtes, c’est-à-dire les ouvrir pour dispenser au patient le nombre exact d’unités requises pour le traitement, en fonction de la posologie et de la durée du traitement.

La DAU est de toute façon possible pour le pharmacien pour les médicaments sous blister et sachets doses depuis mars 2022, dans un objectif de lutte contre le gaspillage et le mésusage.

En pratique, le pharmacien délivre le nombre exact d’unités de médicaments nécessaires pour le traitement prescrits, dans un emballage approprié avec toutes mentions nécessaires.

Propositions de sociétés savantes pour les formes pédiatriques orales

Le DGS urgent intègre des recommandations du Groupe de Pathologie Infectieuse de la Société Française de Pédiatrie, de l’Association Française de Pédiatrie ambulatoire et de la Société Française de Pathologie Infectieuse de Langue Française portant sur les formes pédiatriques d’amoxicilline seul ou associé à l’acide clavulanique, antibiotiques les plus prescrits chez les enfants.

Ces recommandations d’indication et de posologie pour les enfants sont détaillées dans une annexe du DGS urgent.

Les médecins principaux responsables de la surconsommation

Les sociétés savantes rappellent que beaucoup de prescriptions d’antibiotiques chez l’enfant comme chez l’adulte sont inutiles et « ne sont plus admissibles ». Elles ne le sont plus au titre des tensions d’approvisionnement, mais aussi parce qu’elles favorisent l’antibiorésistance, un fléau de santé publique mondial dont nous parlons régulièrement et encore ces derniers jours avec un rapport de l’OMS.

Outre la nécessité que les médecins cessent de prescrire inutilement, pour les prescriptions justifiées, les sociétés savantes conseillent de réduire la durée de traitement pour toutes les pathologies fréquentes. 5 jours est suffisant dans la plupart des cas courants.

Ainsi la DSG dans sa circulaire s’adresse aussi aux médecins en particulier pour leur rappeler des règles de base malheureusement négligées :

• on ne prescrit pas d’antibiotiques pour les infections virales, qui sont très majoritaires, et donc en cas de
• Rhinopharyngite, laryngite ; ● Otite congestive, otite séreuse et otite de diagnostic incertain ; ● Bronchiolite, bronchite aiguë ; ● Angine aiguë chez l’adulte

sauf en cas de test d’orientation rapide de diagnostic (Trod) à streptocoque bêta-hémolytique du groupe A (sga) avec résultat positif. Le streptocoque n’est pas un virus mais une bactérie à traiter par antibiotiques.

Le médecin peut recourir à une ordonnance de dispensation conditionnelle d’antibiotiques, le pharmacien pourra ainsi délivrer les médicaments si et seulement si le Trod fait à la pharmacie est positif, dans les situations cliniques suivantes :
Angine aiguë chez un enfant âgé de moins de 3 ans ; ● Grippe et Covid-19 ; ● Crise d’asthme fébrile ; ● Suspicion de pneumonie sans examen de confirmation (radiographie ou échographie, dosage de la CRP sérique) ; ● Infections cutanées superficielles (impétigo) et dermatoses impétiginisées ; ● Fièvre non expliquée

L’ordonnance de non-prescription

On le sait en France, un patient est plus satisfait s’il ressort du cabinet médical avec une ordonnance. En conséquence les médecins ont malheureusement la main leste. Une ordonnance indiquant l’absence de prescription médicamenteuse s’agissant par exemple d’un diagnostic d’infection virale, peut être une solution judicieuse (sauf pour la consommation de papier inutile).

Actualité en lien

Hier 13 décembre, les sénateurs du groupe Communiste Républicain Citoyen et Ecologiste (CRCE) ont annoncé le lancement d’une commission d’enquête sur les ruptures d’approvisionnement touchant différents médicaments. Chaque groupe de l’Assemblée nationale peut lancer une telle initiative chaque année. Celle-ci débutera début 2023.

Du côté du gouvernement, on tente de calmer le jeu avec des déclarations successives du ministre de la Santé François Braun, qui tout d’abord a justifié les tensions actuelles concernant le Doliprane (amoxicilline) essentiellement par « un mouvement social » chez le fabricant de la spécialité, Sanofi, qui serait « en train d’être réglé. Il pense qu’on est en train de revenir à « un niveau normal ».

Après avoir demandé aux Français de ne pas faire de réserves d’antibiotiques, il leur a ensuite demandé de porter un masque en cette période hivernale, soit d’essayer de ne pas tomber malade comme moyen de contribuer à lutter contre les pénuries.

Pour aller plus loin

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !

Si on extrapole les résultats de l’étude à la population générale et sur une année, on arrive à 212 500 personnes hospitalisées à cause de médicaments contre 144 000 en 2007.

Conception de l’étude

Il s’agit d’une étude prospective incluant des patients hospitalisés en CHU ou CH entre avril et juin 2018 dans des centres hospitaliers sélectionnés qui a inclus près de 3500 patients, avec le concours des Centres régionaux de pharmacovigilance (CRPV) :

Sur cette base ont été évalués les patients hospitalisés en raison d’un effet indésirables médicamenteux, soit 351 patients, parmi lesquels 309 cas ont été retenus pour répondre aux critères d’inclusion dans l’étude.

Répartition des 309 cas par tranche de 5 ans d’âge :

L’âge médian de cette population était de 75 ans dont près de deux tiers de femmes.

Répartition des effets indésirables :

Voyons maintenant la répartition des médicaments impliqués dans ces effets indésirables entraînant hospitalisation selon 2 systèmes de classification – On notera que pour les 309 cas, un total de 610 médicaments ont été suspectés d’avoir causé les effets indésirables.

Analyse de la conformité d’utilisation des médicaments

Il est important de déterminer avant tout si les médicaments incriminés ont été utilisés correctement c’est à dire conformément aux indications autorisés.

Pour cette analyse, seuls 248 cas ont été retenu, en raison d’un manque d’information sur les modalités d’utilisation des médicaments pour les cas non retenus.

Il s’est avéré que dans plus d’un quart des cas, les médicaments, soit 120 pour 66 cas, en cause n’avaient pas été utilisés de manière conforme.

Après des rattrapages au cas par cas justifiant l’utilisation non conforme aux prescriptions, il est ressortie que 16 % des effets indésirables auraient pu être évités partiellement ou totalement

Le détail des non-conformités :

Ainsi, on peut estimer à environ 2,5 millions le nombre de patients hospitalisés en
médecine-obstétrique (hors ambulatoire) dans le secteur public en France
métropolitaine en 2018, ce qui correspond à la définition de notre population cible.

. Ce résultat est proche des valeurs retrouvées dans la littérature. Dans les
deux plus récentes revues de la littérature sur le sujet portant sur les études publiées entre
2000 et 2015, la médiane des hospitalisations liées à un EIM était de 6.3% et 7.0% (10-11).
Plus spécifiquement en Europe, une synthèse de 22 études publiées entre 2000 et 2014
permet de retrouver une médiane d’hospitalisations liées à un EIM de 3,5% (12).

Hausse inexpliquée, en partie évitable

La hausse des hospitalisations est significative en 10 ans, c’est un vrai signal d’alerte avec un + 136 %. Les personnes âgées, plus médiquées, sont logiquement plus touchées.

Pour autant, et bien qu’il s’agisse d’une tendance générale non spécifique à la France, les causes de cette élévation restent inexpliquées.
Des médicaments innovants (antidiabétiques d’action directe, incrétinomimétiques, thérapies ciblées et immunothérapies) causent des effets indésirables significatifs, mais leur « poids » n’explique pas le mouvement d’ampleur observé.

À défaut de comprendre la hausse générale, on pourra utilement se concentrer sur les cas évitables soit 16 % d’entre eux : mésusage, automédication… autant de causes qui peuvent être ciblées par la prévention et l’éducation des patients et de la population. On le pointe régulièrement, en France, la gestion des risques et la prévention ne sont pas au premier plan en santé publique, espérons que cette « culture » change.

Pour aller plus loin : le rapport complet du RFCRPV, réseau français des centres régionaux de pharmacovigilance

[Expertise revendiquée de la Rédaction : pharmacologie, pharmacovigilance, recherche clinique]

Science infuse est un service de presse en ligne agréé (n° 0324 x 94873) piloté par Citizen4Science, association à but non lucratif d’information et de médiation scientifique doté d’une Rédaction avec journalistes professionnels. Nous défendons farouchement notre indépendance. Nous existons grâce à vous, lecteurs. Pour nous soutenir, faites un don ponctuel ou mensuel.

ou via J’aime l’Info, partenaire de la presse en ligne indépendante

Abonnez-vous à la Newsletter de Science infuse !