GPT-5 ERKENNT SEINE EIGENEN TEXTE BESSER ALS WIR

Im ursprünglichen Turing-Test tauscht ein menschlicher Fragesteller schriftliche Nachrichten aus und versucht, einen Mann von einer Frau zu unterscheiden. Irgendwann wird der Mann durch eine Maschine ersetzt. Kann der Fragesteller die Maschine dann immer noch nicht von der Frau unterscheiden, gilt der Test als bestanden. Turing meinte das als philosophisches Gedankenexperiment, doch seit Jahrzehnten dient es als Maßstab für künstliche Intelligenz — und jüngste Behauptungen, Chatbots wie ChatGPT hätten den Test endlich bestanden, haben eine alte Frage neu belebt: Was beweist das Bestehen eigentlich?

Zwei Arten, einen Richter zu täuschen

Ein Team unter der Leitung von Cristina Becchio am Universitätsklinikum Hamburg-Eppendorf weist darauf hin, dass ein getäuschter Fragesteller zwei sehr verschiedene Dinge bedeuten kann.

• Ein Versagen der Kodierung. Die Antworten der Maschine überschneiden sich so stark mit menschlichen, dass der Text keinerlei Hinweis mehr auf seine Herkunft trägt. Kein Beobachter, wie geschickt auch immer, könnte den Zufall schlagen. Das wäre ein starkes Ergebnis.
• Ein Versagen des Auslesens. Die Hinweise stecken im Text, aber der Fragesteller nimmt sie nicht auf. Ein anderer Richter — etwa ein künstlicher — könnte Erfolg haben. Dann sagt der Test mehr über den Richter als über die Maschine.

Der klassische Test wirft beides in einen Topf. Die Autoren fügen eine dritte Ebene hinzu, das Meta-Auslesen: Kann ein Richter korrekt angeben, welche Hinweise seine eigene Entscheidung geleitet haben?

Seltsame Geschichten, zwei Antworten

Um diese Ebenen zu trennen, hat das Team den Turing-Test umgekehrt: Menschen wie KI-Systeme nahmen auf dem Stuhl des Fragestellers Platz. Das Material stammte aus dem Test Strange Stories („Seltsame Geschichten“), einer Reihe von acht kurzen sozialen Szenarien — Täuschung, Ironie, Überredung, Missverständnis —, die jeweils mit einer Frage danach enden, was eine Figur denkt oder warum sie handelt. Menschen und GPT-Modelle hatten sie beantwortet, und nur richtige Antworten wurden behalten, damit ein Richter die Maschine nicht an fehlerhaftem Denken entlarven konnte.

Jeder Fragesteller sah eine Geschichte und zwei Antworten darauf, eine menschliche und eine der KI, musste dann entweder die menschliche oder die KI-Antwort auswählen, seine Zuversicht einschätzen und seine Wahl schriftlich begründen. In der ersten Studienreihe wurden Antworten von GPT-4 von Menschen und von GPT-4 beurteilt; in der zweiten Antworten von GPT-5 von Menschen und von GPT-5. Insgesamt nahmen 3.824 Personen über die Plattform Prolific teil, jede mit einem einzigen Urteil, dem ebenso viele Durchläufe der Modelle gegenüberstanden.

Die Leistung wurde mit einem Maß namens Sensitivität, d′, bewertet: Null bedeutet Raten, höhere Werte bedeuten bessere Unterscheidung, und ein negativer Wert bedeutet, dass der Richter systematisch falsch liegt.

Menschen rutschen ab, GPT-5 wird schärfer

Gegen GPT-4 schnitten Menschen recht gut ab, mit einem d′ von 1,36, wenn sie die KI-Antwort finden sollten, und 1,10, wenn sie die menschliche finden sollten. GPT-4 war als Richter schwächer, und bei der Aufgabe „finde den Menschen“ war sein Wert negativ, nämlich −1,11: Es zeigte häufiger auf die falsche Antwort als auf die richtige.

Gegen GPT-5 rutschten die Menschen der zweiten Reihe auf 0,77 und 0,27 ab — immer noch über dem Zufall, bei der Menschen-Aufgabe aber nur knapp. GPT-5 als Richter tat das Gegenteil und erreichte 2,09 und 2,01, in beiden Aufgaben weit über den Menschen.

Die Hinweise verschwanden nie

War der Abstieg der Menschen ein Versagen der Kodierung? Um das zu prüfen, maßen die Forscher 12 Merkmale jeder Antwort — Länge, Detailreichtum, Tippfehler, Redundanz, Zeichensetzung, Lesbarkeit, analytischer oder gesprächiger Ton und weitere — und trainierten ein einfaches statistisches Modell, das daraus die Herkunft erraten sollte. Es traf bei Antworten von GPT-4 in 98,3 % der Fälle die richtige Herkunft (eine „balancierte Genauigkeit“ von 0,983, die seinen Erfolg über beide Reihenfolgen der Antworten mittelt) und bei GPT-5 immer noch in 92,5 %. GPT-5 klingt menschlicher, aber die Information ist noch da.

Geändert hat sich, welche Hinweise sie tragen. GPT-4 verriet sich vor allem durch längere Antworten, weniger Tippfehler und mehr Wiederholungen. Bei GPT-5 schrumpfte der Längenunterschied stark, während dichtere Zeichensetzung und weniger Tippfehler zu den verräterischen Zeichen wurden. Menschliche Richter stützten sich weiterhin auf die Länge — eine Gewohnheit, die nach Ansicht der Autoren an früheren Chatbots geeicht wurde. Wer angab, häufig Chatbots zu nutzen, hatte sich teilweise umgestellt: Bei der Aufgabe „finde die KI“ gewichteten diese Menschen Zeichensetzung und Tippfehler richtig. GPT-5 wiederum verband dichte Zeichensetzung und Redundanz mit KI und Tippfehler mit Menschen und traf damit die tatsächlichen Unterschiede fast perfekt.

Richtige Hinweise, falsche Richtungen

Die letzte Ebene verglich, was die Richter in ihren Begründungen schrieben, mit dem, worauf ihre Entscheidungen tatsächlich beruhten. Hier kehrt sich die Rangfolge um. Die Begründungen der Menschen passten vergleichsweise gut zu ihren Entscheidungen (eine Übereinstimmung von etwa 0,63 in der GPT-4-Reihe, auf einer Skala, auf der 1 bedeutet, dass Begründungen und Entscheidungen in dieselbe Richtung weisen). GPT-5 nannte viele der Merkmale, die es tatsächlich nutzte, lag aber bei einigen in der Richtung falsch: In beiden Aufgaben gab es an, ein analytischerer Ton, höhere Lesbarkeit und mehr Details deuteten auf KI hin, während seine Entscheidungen alle drei mit menschlichen Antworten verknüpften. Seine Begründungen passten weit schlechter zu seiner tatsächlichen Gewichtung als die der Menschen.

Die Autoren werten das nicht als reine nachträgliche Erfindung, da GPT-5s Begründungen bei beiden Maßen über dem Zufall blieben; die Abweichung beschränkt sich auf einige Merkmale. Sie warnen, dass eine solche örtlich begrenzte Lücke bei Nutzern, die sich auf die Erklärungen eines Modells verlassen, eine Illusion von Übereinstimmung erzeugen kann.

Die Studie umfasst zwei Modelle von OpenAI, die jeweils Antworten ihrer eigenen Generation beurteilten, zu acht kurzen Geschichten. Auf jener Übereinstimmungsskala erreichte GPT-5 in der einen Aufgabe 0,297 und in der anderen 0,296, deutlich unter den Menschen — mit denselben drei vertauschten Merkmalen in beiden Fällen.