LES SOIGNANTS DEMANDENT DE LA PAPERASSE À L'IA, PAS DES DIAGNOSTICS

Les hôpitaux fournissent désormais à leur personnel des assistants IA sécurisés, fondés sur de grands modèles de langage. On juge s’ils sont prêts surtout grâce à des scores de benchmarks — des questions de type examen ou des cas soigneusement choisis, sur lesquels les modèles atteignent désormais presque le maximum. L’article rappelle que sur 519 évaluations de modèles de langage en santé publiées jusqu’à début 2024, seules 5 % utilisaient des données réelles de soins.

Un benchmark ne renseigne sur l’usage réel que si ses questions ressemblent à ce que demandent vraiment les cliniciens. Krithik Vishwanath, Tim Requarth, Eric Oermann et leurs collègues, principalement de NYU Langone Health et de l’université de New York, ont entrepris de le mesurer.

127 833 vraies demandes

L’équipe a analysé le premier message de 127 833 conversations entre des soignants et l’assistant IA sécurisé d’un grand système hospitalier universitaire multi-sites, d’août 2025 à avril 2026. Elles venaient de 6 342 personnes de 35 spécialités : médecins titulaires, « fellows », internes, infirmiers praticiens, assistants médicaux et infirmiers. La moitié des demandes venaient d’infirmiers et d’infirmiers praticiens ou assistants, des groupes rarement inclus dans les évaluations de l’IA.

Pour étiqueter chaque demande, les chercheurs ont construit une grille de 20 champs appelée RCQ-Map (tâche, intention, information manquante, préjudice potentiel, réponse la plus sûre…) et l’ont fait appliquer par un modèle d’IA, GPT-5.6 sol d’OpenAI. Ils l’ont d’abord confronté à sept cliniciens sur 100 demandes : le modèle était d’accord avec la réponse commune des cliniciens à peu près aussi souvent qu’un clinicien, 84,6 % contre 83,0 %. Les chercheurs n’ont jamais vu le texte des demandes, seulement les étiquettes.

Ce que les soignants demandent vraiment

• Documentation et administration : 36,2 % — notes cliniques, plans de soins, consignes de sortie, résumés de dossier, réponses aux messages des patients.
• Recherche de connaissances : 28,9 %, dont les informations sur les médicaments (14,1 %).
• Raisonnement clinique sur une situation : 14,3 %, dont seulement 3,7 % de diagnostic.
• Un quart des demandes n’étaient que des fragments de mots-clés, et plus de la moitié utilisaient des abréviations cliniques.
• Les spécialistes sortaient souvent de leur domaine : 43,9 % de leurs questions cliniques portaient sur des pathologies gérées par un autre département.

Beaucoup de questions n’ont pas de réponse en l’état

Plus d’un tiers des demandes (36,1 %) ne pouvaient pas recevoir une bonne réponse telles qu’elles étaient écrites. Dans 22,2 % des cas, une bonne réponse exigeait des informations absentes du message — les antécédents du patient, la liste de médicaments ou les protocoles de l’hôpital. Pour environ un quart des demandes, la réponse la plus sûre était une question de clarification ; refuser ou transmettre à un humain n’était presque jamais la meilleure option.

Le modèle a jugé que 13,2 % des demandes présentaient un préjudice potentiel élevé ou critique en cas de mauvaise réponse, mais il s’est montré plus prudent que les cliniciens : recalibré sur leur consensus, le chiffre tombe à environ 3,7 %. Ces demandes risquées se concentraient autour des doses de médicaments et des décisions ou vérifications d’une action prévue.

Des tests conçus pour un autre métier

L’équipe a ensuite appliqué la même grille à 58 benchmarks publics d’IA médicale. Le benchmark typique ne contenait aucune demande de documentation, et sa répartition des tâches ne recoupait l’usage réel qu’à 31 % — moins qu’un benchmark qui répartirait ses questions également entre tous les types de tâches (55 %). Les benchmarks issus de suites conçues pour ressembler à la pratique clinique n’en étaient pas plus proches. Dans MedQA, un test de type examen très utilisé, le diagnostic représentait 48 % des items, et presque chaque item appelait une réponse directe.

Un hôpital, un outil

L’étude porte sur un seul système hospitalier et un seul assistant ; elle n’a pas examiné les réponses de l’assistant et mesure donc un préjudice potentiel, non réel. Les cliniciens n’étaient que modérément d’accord entre eux sur le risque d’une demande. Un auteur déclare, parmi d’autres intérêts, des activités de conseil pour Google, et un autre pour une entreprise d’IA en santé. Les auteurs publient leur grille et leur atlas de benchmarks, pour que d’autres hôpitaux puissent profiler leur propre usage. Leur message aux concepteurs de tests : évaluer l’IA sur le travail que les soignants lui confient réellement.