IA : ChatGPT-4.0 d’OpenAI réussit avec brio un examen clinique de neurologie

À l’heure où les compagnies s’engagent dans une course effrénée à l’intelligence artificielle (IA), le large language model (LLM) ChatGPT-4.0 continue sa progression. En témoigne son succès éclatant en matière de neurologie clinique qui laisse entrevoir de possibles applications pratiques.

L’IA ChatGPT-4.0 d’OpenAI valide à 85 % un test en neurologie clinique

ChatGPT-4.0, le modèle linguistique de pointe d’OpenAI, fait une nouvelle fois parler de lui. L’outil d’IA a réalisé un exploit remarquable en réussissant un examen clinique de neurologie. Et parler d’« exploit » n’est pas une emphase.

En effet, le modèle d’IA ChatGPT-4.0 a fourni 85 % de réponses vraies à des questions qui lui ont été posées. Notamment, dans le cadre d’une étude de validation de principe menée par des chercheurs de l’hôpital universitaire de Heidelberg et du Centre allemand de recherche sur le cancer.

Pour tester ChatGPT-4.0, les chercheurs se sont appuyés sur des questions de l’American Board of Psychiatry and Neurology. Il s’agit d’une organisation américaine qui se consacre à l’évaluation et à la certification des médecins spécialisés en psychiatrie et en neurologie.

L’expérience a notamment consisté à comparer ChatGPT-4.0 à son prédécesseur, ChatGPT-3.5. Et les résultats sont sans commune mesure. Là où ChatGPT-4.0 réalise un taux de réussite de 85 %, ChatGPT-3.5 ne fait pas mieux qu’un score de 66,8 %. C’est dire les progrès d’IA considérables réalisés par la dernière itération.

🧠 Exciting news from our latest research published in @JAMANetworkOpen ! We've explored the performance of Large Language Models (LLMs) in neurology board-style exams. The results? Fascinating implications for AI in healthcare and neurology in specific: https://t.co/liX5hbIoei…

— Varun Venkataramani (@VarunVenkatara2) December 7, 2023

Un développement potentiellement favorable à des applications cliniques

L’un des points d’orgue de cette étude, c’est d’avoir mis en exergue l’excellente réaction de ces modèles d’IA. En particulier sur les questions d’ordre comportemental, cognitif et psychologique.

Ils montrent néanmoins des faiblesses en ce qui a trait aux tâches nécessitant une réflexion de haut calibre. Malgré cet état de fait, la performance globale du modèle d’IA ChatGPT-4.0 dépasse le score humain moyen.

Cette percée laisse entrevoir des applications futures prometteuses en matière de neurologie clinique. Une option qui ne devrait être sérieusement envisagée qu’une fois les perfectionnements nécessaires effectués.

Les chercheurs reconnaissent le potentiel des LLM dans la documentation et les systèmes d’aide à la décision dans les soins de santé. Ils invitent tout de même les neurologues à aborder leur utilisation pratique avec la plus grande prudence. Ceci, en raison de leur faille dans les tâches impliquant des fonctions cognitives de haut niveau.