GPT-5 REPÈRE SA PROPRE ÉCRITURE MIEUX QUE NOUS

Dans le test de Turing d’origine, un interrogateur humain échange des messages écrits et tente de distinguer un homme d’une femme. À un moment, l’homme est remplacé par une machine. Si l’interrogateur ne parvient toujours pas à distinguer la machine de la femme, on dit que la machine a réussi. Turing le concevait comme une expérience de pensée philosophique ; il sert pourtant depuis des décennies de banc d’essai à l’intelligence artificielle — et des affirmations récentes selon lesquelles des agents conversationnels comme ChatGPT l’auraient enfin réussi ont relancé une vieille question : que prouve vraiment une réussite ?

Deux façons de tromper un juge

Une équipe dirigée par Cristina Becchio, du centre médical universitaire de Hambourg-Eppendorf, souligne qu’un interrogateur trompé peut signifier deux choses très différentes.

• Un échec d’encodage. Les réponses de la machine se confondent si bien avec les réponses humaines que le texte ne porte plus aucun indice sur sa source. Aucun observateur, si habile soit-il, ne ferait mieux que le hasard. Ce serait un résultat fort.
• Un échec de lecture. Les indices sont dans le texte, mais l’interrogateur ne les capte pas. Un autre juge — artificiel, par exemple — pourrait réussir. Le test en dit alors plus sur le juge que sur la machine.

Le test classique mélange les deux. Les auteurs ajoutent un troisième niveau, la méta-lecture : un juge sait-il dire correctement quels indices ont guidé sa propre décision ?

Des histoires étranges, deux réponses

Pour séparer ces niveaux, l’équipe a inversé le test de Turing : humains et systèmes d’IA ont tous pris le siège de l’interrogateur. Le matériel venait du test des Strange Stories (« histoires étranges »), un ensemble de huit courts scénarios sociaux — tromperie, ironie, persuasion, malentendu —, chacun se terminant par une question sur ce que pense un personnage ou sur la raison de ses actes. Des humains et des modèles GPT y avaient répondu, et seules les réponses correctes ont été gardées : un juge ne pouvait donc pas démasquer la machine à cause d’un raisonnement erroné.

Chaque interrogateur voyait une histoire et deux réponses, l’une humaine, l’autre de l’IA, puis devait désigner soit la réponse humaine, soit celle de l’IA, noter sa confiance et expliquer son choix par écrit. Dans la première série d’études, des réponses de GPT-4 étaient jugées par des humains et par GPT-4 ; dans la seconde, des réponses de GPT-5 étaient jugées par des humains et par GPT-5. Au total, 3 824 personnes ont participé via la plateforme Prolific, chacune donnant un seul jugement, avec autant d’exécutions des modèles en face.

La performance était mesurée par un indice appelé sensibilité, d′ : zéro correspond au hasard, plus il est élevé, meilleure est la distinction, et une valeur négative signifie que le juge se trompe systématiquement.

Les humains reculent, GPT-5 s’affûte

Face à GPT-4, les humains s’en sont plutôt bien tirés, avec un d′ de 1,36 quand il fallait trouver la réponse de l’IA et de 1,10 quand il fallait trouver la réponse humaine. GPT-4 en juge était plus faible, et dans la tâche « trouver l’humain » son score était négatif, à −1,11 : il désignait plus souvent la mauvaise réponse que la bonne.

Face à GPT-5, les humains de la seconde série sont descendus à 0,77 et 0,27 — toujours au-dessus du hasard, mais tout juste dans la tâche « trouver l’humain ». GPT-5 en juge a fait l’inverse, atteignant 2,09 et 2,01, bien au-dessus des humains dans les deux tâches.

Les indices n’ont jamais disparu

Le recul des humains venait-il d’un échec d’encodage ? Pour le vérifier, les chercheurs ont mesuré 12 caractéristiques de chaque réponse — longueur, détail, fautes de frappe, redondance, ponctuation, lisibilité, ton analytique ou conversationnel, entre autres — et entraîné un simple modèle statistique à deviner la source à partir d’elles. Il a désigné la bonne source dans 98,3 % des cas pour les réponses de GPT-4 (une « exactitude équilibrée » de 0,983, qui fait la moyenne de ses succès sur les deux ordres de présentation), et encore dans 92,5 % des cas pour GPT-5. GPT-5 sonne plus humain, mais l’information est toujours là.

Ce qui a changé, ce sont les indices qui la portent. GPT-4 se trahissait surtout par des réponses plus longues, moins de fautes et plus de répétitions. Avec GPT-5, l’écart de longueur s’est fortement réduit, tandis qu’une ponctuation plus dense et moins de fautes sont devenues les signes révélateurs. Les juges humains ont continué de s’appuyer sur la longueur — une habitude, suggèrent les auteurs, calibrée sur les agents conversationnels précédents. Les personnes déclarant utiliser souvent des agents conversationnels s’étaient en partie mises à jour : dans la tâche « trouver l’IA », elles pondéraient correctement ponctuation et fautes. GPT-5, de son côté, associait ponctuation dense et redondance à l’IA, et fautes aux humains, en accord presque parfait avec les vraies différences.

Les bons indices, dans le mauvais sens

Le dernier niveau comparait ce que les juges écrivaient dans leurs explications avec ce sur quoi leurs choix reposaient réellement. Ici, le classement s’inverse. Les explications des humains collaient comparativement mieux à leurs choix (un alignement d’environ 0,63 dans la série GPT-4, sur une échelle où 1 signifie qu’explications et choix vont dans le même sens). GPT-5 citait beaucoup des caractéristiques qu’il utilisait vraiment, mais se trompait de sens pour certaines : dans les deux tâches, il affirmait qu’un ton plus analytique, une meilleure lisibilité et plus de détail désignaient l’IA, alors que ses choix associaient ces trois caractéristiques aux réponses humaines. Ses explications correspondaient bien moins à sa pondération réelle que celles des humains.

Les auteurs n’y voient pas une pure invention après coup, puisque les explications de GPT-5 restaient au-dessus du hasard sur les deux mesures ; le décalage se limite à quelques caractéristiques. Ils préviennent qu’un tel écart localisé peut créer une illusion d’alignement chez les utilisateurs qui se fient aux explications d’un modèle.

L’étude porte sur deux modèles d’OpenAI, chacun jugeant des réponses de sa propre génération, sur huit courtes histoires. Sur cette échelle d’alignement, GPT-5 obtient 0,297 dans une tâche et 0,296 dans l’autre, nettement en dessous des humains — avec les trois mêmes caractéristiques inversées les deux fois.