La dernière génération d’outil d’intelligence artificielle générative (GenAI), en l’occurrence ChatGPT-4.0 lancé en mars 2023, a obtenu de meilleurs résultats que des dentistes diplômés aux examens nécessaires pour pouvoir exercer aux Etats-Unis et au Royaume-Uni, montre une étude publiée dans l’International Dental Journal (la revue de la FDI) et diffusée sur « ScienceDirect » le 19 janvier.
Au total, 1461 questions à choix multiples provenant de manuels d’études ont été sélectionnées, dont 745 questions pour l’INBDE américain (Integrated national board dental examination) et 716 questions pour l’ORE anglais (Overseas registration exam). Ces deux examens sont une évaluation complète des connaissances dentaires requises pour exercer dans ces deux pays.
Les questions qui contenaient des figures ou des tableaux ont été éliminées (32 au total), la saisie de ces éléments graphiques n’étant pas possible dans le système ChatGPT.
Résultats : alors que les plus récents taux de réussite aux examens dentaires aux États-Unis et au Royaume-Uni étaient respectivement de 75 % et 50 %, ChatGPT-4.0 a obtenu 80,7 % et 62,7 %.
La version 3.5 de ChatGPT, également incluse dans l’étude, a elle échoué avec 68,3 % et 43,3 %.
Selon les auteurs de la Faculté dentaire de l’Université de Hong-Kong, ces résultats sont susceptibles de bouleverser les programmes universitaires et les méthodes d’évaluation actuelles des étudiants. Des compétences et des d’aptitudes différentes seront nécessaires, prédisent-ils.
« Puisque les professionnels dentaires et les patients peuvent désormais accéder facilement à des connaissances précises grâce à GenAI, les premiers n’ont peut-être pas besoin d’une formation approfondie, mais doivent plutôt se concentrer sur l’apprentissage de la façon de vérifier l’exactitude des connaissances dentaires générées par GenAI et de les appliquer à des patients individuels », suggèrent-ils.
Ils soulignent néanmoins les limites de leur travail : un seul modèle de GenAI a été utilisé, les questions à choix multiples et l’échantillon de questions ORE et INBDE ne permettent pas d’évaluer de manière exhaustive certains aspects des connaissances dentaires notamment cliniques, et les bonnes réponses pourraient être en partie due au hasard…
Commentaires