Aux urgences, ChatGPT fait presque aussi bien que les médecins

Les jours des médecins urgentistes sont-ils comptés ? C'est ce que pourraient suggérer les résultats d'une étude parue dans la revue spécialisée  Annals of Emergency Medicine, mercredi 13 septembre. Mais les chercheurs ont souligné que si le chatbot était potentiellement capable d'accélérer le diagnostic, il n'est pas encore près de remplacer le jugement et l'expérience d'un humain.

Trente cas traités dans un service d'urgence aux Pays-Bas en 2022 ont été examinés. En fonction des antécédents des patients, des tests en laboratoire et des observations des médecins, ChatGPT* devait proposer cinq diagnostics possibles. Dans 87 % des cas, le bon diagnostic se trouvait dans la liste des praticiens, contre 97 % pour la version 3.5 de ChatGPT. 

Le chatbot «était capable de réaliser des diagnostics médicaux un peu comme l'aurait fait un médecin humain», a résumé Hidde ten Berg, du service d'urgence de l'hôpital Jeroen Bosch, dans le sud des Pays-Bas. 

Gaffes 

Le coauteur de l'étude Steef Kurstjens a souligné que celle-ci ne concluait pas que des ordinateurs pourraient un jour diriger les urgences et que l'IA pouvait jouer un rôle vital en aidant les médecins sous pression. Le chatbot «peut aider à réaliser un diagnostic et peut peut-être proposer des idées auxquelles le médecin n'avait pas pensé», a-t-il déclaré. Il a toutefois partagé ses inquiétudes quant à la confidentialité des données médicales sensibles dans un chatbot. 

Et, comme dans d’autres domaines, ChatGPT a rencontré certaines limites. Son raisonnement était «parfois médicalement invraisemblable ou incohérent, ce qui peut conduire à des informations erronées ou à un diagnostic incorrect, avec des implications importantes», note l'étude. Parfois aussi, ChatGPT ne fournissait pas le bon diagnostic dans les cinq possibilités, explique M. Kurstjens, notamment dans le cas d'un anévrisme aortique abdominal, une complication potentiellement mortelle, avec l'aorte qui enfle. Mais, lot de consolation pour ChatGPT : dans ce cas, le médecin s’est également trompé. Le rapport signale en outre des "gaffes" médicales commises par le chatbot, par exemple en diagnostiquant une anémie (faible taux d'hémoglobine dans le sang) chez un patient présentant un taux d'hémoglobine normal.

Enfin, les scientifiques admettent certaines lacunes dans leurs recherches, comme la petite taille de l'échantillon. De plus, seuls des cas relativement simples ont été examinés, avec des patients présentant une seule plainte principale. L'efficacité du chatbot dans des cas complexes n'est pas claire.

Les résultats de l'étude, parus dans la revue spécialisée Annals of Emergency Medicine, seront présentés au Congrès européen de médecine d'urgence (EUSEM) de 2023 à Barcelone.

*Pour Chat Generative Pre-trained Tranformer – un prototype d’agent conversationnel (chatbot) utilisant l’intelligence artificielle et spécialisé dans le dialogue.