ÄRZTE WOLLEN VON DER KI PAPIERKRAM, KEINE DIAGNOSEN

Krankenhäuser stellen ihrem Personal inzwischen abgesicherte KI-Assistenten auf Basis großer Sprachmodelle zur Verfügung. Ob diese Assistenten bereit sind, wird vor allem an Benchmark-Ergebnissen beurteilt – Fragen im Prüfungsstil oder sorgfältig ausgewählten Fällen, bei denen die Modelle inzwischen nahezu die Höchstpunktzahl erreichen. Die Studie hält fest, dass von 519 bis Anfang 2024 veröffentlichten Bewertungen von Sprachmodellen im Gesundheitswesen nur 5 % echte Daten aus der Patientenversorgung verwendeten.

Ein Benchmark sagt nur dann etwas über die reale Nutzung aus, wenn seine Fragen dem ähneln, was Klinikpersonal tatsächlich fragt. Krithik Vishwanath, Tim Requarth, Eric Oermann und Kollegen, überwiegend von NYU Langone Health und der New York University, wollten genau das messen.

127.833 echte Anfragen

Das Team analysierte die erste Nachricht von 127.833 Gesprächen zwischen Klinikpersonal und dem abgesicherten KI-Assistenten eines großen akademischen Gesundheitsverbunds mit mehreren Krankenhäusern, von August 2025 bis April 2026. Sie stammten von 6.342 Personen aus 35 Fachrichtungen: Fachärzten (attending physicians), Fellows, Assistenzärzten, Pflegekräften mit erweiterten Befugnissen (nurse practitioners), Arztassistenten (physician assistants) und Pflegekräften. Die Hälfte der Anfragen kam von Pflegekräften und Fachkräften mit erweiterter Praxis – Gruppen, die in KI-Bewertungen selten vorkommen.

Um jede Anfrage zu kategorisieren, entwickelten die Forschenden ein Raster mit 20 Feldern namens RCQ-Map (Aufgabe, Absicht, fehlende Information, möglicher Schaden, sicherste Antwort …) und ließen es von einem KI-Modell, GPT-5.6 sol von OpenAI, anwenden. Zuvor prüften sie es an 100 Anfragen gegen sieben klinisch Tätige: Das Modell stimmte mit der gemeinsamen Antwort der Klinikerinnen und Kliniker etwa so oft überein wie eine einzelne Person aus dieser Gruppe, 84,6 % gegenüber 83,0 %. Die Forschenden sahen nie den Text der Anfragen, nur die Kategorien.

Was Klinikpersonal tatsächlich fragt

Dokumentation und Verwaltung: 36,2 % – klinische Notizen, Behandlungspläne, Entlassungsanweisungen, Aktenzusammenfassungen, Antworten auf Patientennachrichten.
Wissen nachschlagen: 28,9 %, darunter Arzneimittelinformationen (14,1 %).
Klinisches Abwägen einer Situation: 14,3 %, wovon Diagnosen nur 3,7 % ausmachten.
Ein Viertel der Anfragen bestand aus bloßen Stichwortfetzen, und mehr als die Hälfte verwendete klinische Abkürzungen.
Fachärzte verließen oft ihr eigenes Gebiet: 43,9 % ihrer klinischen Fragen betrafen Erkrankungen, die eine andere Abteilung behandelt.

Viele Fragen lassen sich so nicht beantworten

Mehr als ein Drittel der Anfragen (36,1 %) ließ sich so, wie sie formuliert waren, nicht gut beantworten. In 22,2 % der Fälle brauchte eine gute Antwort Informationen, die die Nachricht nicht enthielt – die Vorgeschichte des Patienten, die Arzneimittelliste oder die Protokolle des Krankenhauses. Bei etwa einem Viertel der Anfragen war die sicherste Reaktion eine Rückfrage; Ablehnen oder die Weitergabe an einen Menschen war fast nie die beste Option.

Das Modell stufte 13,2 % der Anfragen so ein, dass eine falsche Antwort hohen oder kritischen Schaden anrichten könnte, war dabei aber vorsichtiger als das Klinikpersonal: Am Konsens der Fachleute neu kalibriert, sinkt der Anteil auf etwa 3,7 %. Diese riskanten Anfragen häuften sich bei Medikamentendosen sowie bei Entscheidungen über eine geplante Maßnahme oder deren Überprüfung.

Tests für eine andere Aufgabe

Danach wendete das Team dasselbe Raster auf 58 öffentliche Benchmarks für medizinische KI an. Der typische Benchmark enthielt überhaupt keine Dokumentationsanfragen, und seine Aufgabenmischung überschnitt sich mit der realen Nutzung nur zu 31 % – weniger als bei einem Benchmark, der seine Fragen gleichmäßig auf alle Aufgabentypen verteilt (55 %). Benchmarks aus Sammlungen, die der klinischen Praxis nachempfunden sein sollen, lagen nicht näher. In MedQA, einem weit verbreiteten Test im Prüfungsstil, machten Diagnosen 48 % der Aufgaben aus, und fast jede Aufgabe ließ sich am besten direkt beantworten.

Ein Krankenhaus, ein Werkzeug

Die Studie umfasst einen einzigen Gesundheitsverbund und einen einzigen Assistenten; die Antworten des Assistenten wurden nicht untersucht, sodass sie potenziellen und nicht tatsächlichen Schaden misst. Das Klinikpersonal war sich untereinander nur mäßig einig, wie riskant eine Anfrage war. Ein Autor gibt unter anderen Interessen eine Beratertätigkeit für Google an, ein anderer eine für ein Unternehmen für Gesundheits-KI. Die Autoren veröffentlichen ihr Raster und ihren Benchmark-Atlas, damit andere Krankenhäuser ihre eigene Nutzung erfassen können. Ihre Botschaft an alle, die Tests entwickeln: KI an der Arbeit messen, die Klinikpersonal ihr tatsächlich bringt.