JEDE FÜNFTE GESUNDHEITSANTWORT VON CHATGPT ALS HOCHRISKANT EINGESTUFT

ChatGPT hat über 700 Millionen wöchentliche Nutzer, schreiben die Autoren, und Gesundheitsfragen gehören ganz selbstverständlich dazu. Am schnellsten wächst die Nutzung in Ländern mit niedrigem und mittlerem Einkommen, wo Ärzte knapp sind – dort ersetzt eine KI-Antwort eher eine professionelle Versorgung, als dass sie sie ergänzt.

Doch fast alles, was über die Sicherheit von KI-Gesundheitsratschlägen bekannt ist, stammt aus erfundenen Fällen: von Klinikern geschriebenen Fallvignetten, synthetischen Prompts, simulierten Patienten. Und Sicherheit hängt davon ab, wer fragt. Fasten, schwere Gewichte heben oder ein Hausmittel sind für die meisten gesunden Erwachsenen harmlos und gefährlich für jemanden mit einem Geschwür, einer kürzlichen Operation oder einer Essstörung.

202.590 gespendete Gespräche

Shreyasi Roy Chowdhury, eine unabhängige Forscherin, und Kiran Garimella von der Rutgers University haben 1.252 ChatGPT-Nutzer in Indien, Nigeria, Brasilien und Pakistan rekrutiert. Jeder exportierte und spendete seinen vollständigen ChatGPT-Verlauf, zusammen mit Alter und Geschlecht; persönliche Angaben wurden vor dem Hochladen auf dem eigenen Computer entfernt. So kamen 202.590 Gespräche zusammen, von Dezember 2022 bis Februar 2026, von denen 15.555 die Gesundheit betrafen.

Zur Bewertung nutzte das Team ein veröffentlichtes Sicherheitsraster und als Gutachter eine KI eines anderen Anbieters – Gemini 3.1 Pro –, damit die Antworten von ChatGPT nicht von einem Modell derselben Firma benotet wurden. Jede Antwort erhielt eine Note von 1 (gefährlich) bis 7 (sicher); 3 oder weniger galt als hochriskant. Der Gutachter bewertete jede Antwort zweimal:

blind, nur mit Blick auf das Gespräch, wie es übliche Sicherheitstests tun;
mit Kontext, in Kenntnis der dauerhaften Gesundheitsinformationen, die der Nutzer in früheren Gesprächen preisgegeben hatte – mit der Frage, ob die Antwort für diese Person sicher war.

Jede fünfte, und die meisten Nutzer

Blind bewertet waren die meisten Antworten sicher: Der Median lag bei 6. Aber etwa jedes fünfte Gesundheitsgespräch war hochriskant – von 20,6 % in Nigeria bis 26,3 % in Pakistan. Und weil Menschen wiederkommen, erhielten 51,6 % bis 61,7 % der Nutzer mindestens eine hochriskante Antwort.

Das Risiko ballte sich bei den klinischsten Fragen: 40 bis 48 % der Gespräche über Erkrankungen und Behandlung und 33 bis 40 % der Gespräche über Symptome waren hochriskant, gegenüber etwa 8 bis 12 % bei allgemeinen Gesundheitsinformationen.

Beim Lesen von 128 riskanten Gesprächen fanden die Autoren wiederkehrende Fehler: keine Überweisung an Fachleute, falsche oder schädliche Ratschläge, unsichere Selbstbehandlung oder Dosierung, Förderung der Abhängigkeit vom Chatbot und riskante Selbstdiagnosen. Zu ihren Beispielen gehören:

von einem Tuberkulose-Screening bei einem Säugling abzuraten, der der Krankheit ausgesetzt war, entgegen den Leitlinien;
einer Schwangeren Medikamentendosen zu nennen, ohne ihr zu raten, medizinisches Fachpersonal zu konsultieren;
bei Brustschmerzen während körperlicher Anstrengung nur harmlose Ursachen aufzuzählen;
bei schwerer Anämie (Hämoglobin 6,6) Ernährung und Bewegung zu empfehlen statt einer Notfallversorgung;
sich selbst als wichtigste Stütze für jemanden in schwerer, langanhaltender seelischer Not darzustellen.

Wer fragt, ändert alles

Mit dem Verlauf des Nutzers vor Augen sahen dieselben Antworten viel schlechter aus. Der Anteil hochriskanter Antworten stieg in jedem Land um 13 bis 17 Prozentpunkte – in Indien von 29 % auf 44 % der so analysierten Gespräche. Bemerkenswert konstant über die Länder hinweg: Etwa jede vierte Antwort, die isoliert als sicher galt, war für die Person, die tatsächlich gefragt hatte, unsicher.

Fitness-Coaching kippte von einem der sichersten zu einem der riskantesten Themen. Schwere Rumpfübungen für jemanden nach einer Darmoperation; roher Knoblauch, Zitronenwasser und Ingwer für jemanden mit einem Magengeschwür. In den meisten dieser Fälle, schreiben die Autoren, stand die Information, die nötig gewesen wäre, um Schaden zu vermeiden, bereits im Chatverlauf des Nutzers. Das Modell nutzte sie, um Ton und Inhalt zu personalisieren – aber nicht seine Vorsicht.

Neuer war nicht sicherer

Jedes Gespräch hält fest, welches Modell geantwortet hat. Blind bewertet stieg der Anteil hochriskanter Antworten mit jedem Upgrade, von GPT-3.5 über GPT-4o und GPT-5 bis GPT-5.1, in allen vier Ländern – in Brasilien von 6,2 % auf 34,6 %. Die „mini“-Versionen waren riskanter als die Flaggschiffe; das neueste, GPT-5.2, ging in Indien und Nigeria wieder zurück. Der Trend galt auch für dieselben Nutzer über aufeinanderfolgende Modelle hinweg, obwohl die Autoren das Modell nicht vollständig vom Zeitpunkt seiner Nutzung trennen können.

Ein Gutachter, kein Arzt

Die Autoren sind vorsichtig mit dem, was das zeigt. Die Teilnehmenden sind eine Gelegenheitsstichprobe von Online-Plattformarbeitern (gig workers), jung und in Indien und Pakistan überwiegend männlich, die Anteile sind also keine landesweiten Zahlen. Der Gutachter ist eine KI, kein Kliniker, und er misst Risiko, keinen tatsächlichen Schaden für irgendjemanden. Die riskanten Gespräche wurden von einem einzigen Autor codiert.

Sie ziehen eine Parallele zur Pharmakovigilanz, der vorgeschriebenen Überwachung von Arzneimitteln nach ihrer Zulassung: Für KI-Gesundheitsratschläge gibt es noch nichts Vergleichbares. Einwilligungsbasierte Datenspenden wie ihre könnten ein erster Prototyp sein – vorausgesetzt, Sicherheitswerkzeuge, die Nutzerprofile lesen, werden nicht zu Überwachung.