ChatGPT, mauvais docteur ? Une étude met en cause la capacité des IA à poser un diagnostic

Les outils d'intelligence artificielle, tel l'emblématique ChatGPT, ne sont pas bons pour poser un diagnostic, avance une étude publiée lundi, alors que l'intérêt médical des IA est scruté de près à travers le monde.

Publiée dans Nature Medicine, cette étude, réalisée auprès de 1.300 personnes au Royaume-Uni, montre que plusieurs modèles d'IA - ChatGPT, Llama (Meta) ou Command R+ - ne font pas mieux qu'une simple recherche en ligne quand un patient s'interroge sur ses symptômes.

"Il y a un emballement autour des IA, mais elles ne sont tout simplement pas prêtes à remplacer un médecin", estime, dans un communiqué, Rebecca Payne, chercheuse à l'Université d'Oxford et co-auteure de l'étude.

Les participants à l'étude n'étaient pas réellement malades. Ils ont pris part à une sorte de jeu de rôle: les chercheurs leur ont distribué dix ensembles différents de symptômes, faisant l'unanimité dans le corps médical quant au diagnostic à y associer.

Seuls un tiers des participants à l'étude se sont vu poser un diagnostic correct. Ce n'est pas mieux qu'au sein d'un groupe qui devait se contenter d'une recherche classique sur internet.

Pourtant, certaines études avaient montré que ChatGPT et d'autres modèles peuvent passer avec succès des épreuves médicales: mis à la place d'un étudiant en médecine face, par exemple, à des questions à choix multiples, les IA s'en sortent bien.

Mais, montre cette nouvelle étude, la situation change quand il s'agit d'interagir avec de vraies personnes. Celles-ci peuvent notamment manquer de précisions dans la description de leurs symptômes et ne pas fournir tous les éléments essentiels, avancent les chercheurs.

Cette étude s'inscrit dans un contexte de grande interrogation sur l'apport potentiel des IA en matière d'information médicale, alors qu'il est souvent long d'accéder à un médecin dans nombre de pays, y compris développés.

En France, la Haute autorité de santé (HAS) doit prochainement se prononcer sur l'intérêt d'un usage direct de l'IA pour les patients. Elle a déjà estimé fin 2025 que ces outils pouvaient servir aux soignants, s'ils sont utilisés de manière raisonnée.

L'étude publiée lundi comporte certaines limites, comme sa méthodologie basée sur des scénarios fictifs. Les modèles utilisés ont, par ailleurs, été largement remplacés depuis par des versions plus performantes.

Mais "c'est une étude très importante qui souligne que les chatbots posent de vrais risques médicaux pour le grand public", juge auprès de l'AFP David Shaw, spécialiste en bioéthique à l’université de Maastricht (Pays-Bas).