GPT-5は、自分の書いた文章を人間よりうまく見抜く

もともとのチューリングテストでは、人間の質問者が文字のメッセージをやりとりし、男性と女性を見分けようとする。ある時点で、男性が機械に置き換えられる。それでも質問者が機械と女性を見分けられなければ、機械は合格したとされる。チューリングはこれを哲学的な思考実験として考えたが、何十年ものあいだ人工知能のベンチマークとして使われてきた。そして、ChatGPTのようなチャットボットがついに合格したという最近の主張は、古い問いをよみがえらせた。合格したことで、実際には何が証明されるのか？

判定者をだます二つの道

ハンブルク・エッペンドルフ大学医療センターのクリスティーナ・ベッキオ（Cristina Becchio）が率いるチームは、質問者がだまされたことには、まったく異なる二つの意味がありうると指摘する。

符号化（encoding）の失敗。 機械の答えが人間の答えとあまりにも重なっているため、文章にはもはや出どころを示す手がかりがまったく含まれていない。どれほど熟練した観察者でも、偶然を上回ることはできない。これなら強い結果といえる。
読み取り（readout）の失敗。 手がかりは文章の中にあるのに、質問者がそれを拾えない。別の判定者――たとえば人工の判定者――なら成功するかもしれない。その場合、このテストは機械よりも判定者について多くを語っていることになる。

従来のテストは、この二つをひとまとめにしている。著者たちはこれに第三のレベル、メタ読み取り（meta-readout）を加える。判定者は、自分の判断を導いた手がかりがどれだったかを正しく言えるだろうか？

奇妙な物語と二つの答え

これらのレベルを切り分けるため、チームはチューリングテストを逆転させた。人間とAIシステムの両方が質問者の席についたのである。素材はストレンジ・ストーリーズ（Strange Stories）テストから取られた。だまし、皮肉、説得、誤解といった8つの短い社会的な場面からなり、どれも登場人物が何を考えているか、なぜそう行動するかを問う質問で終わる。人間とGPTモデルがこれに答え、正しい答えだけが残された。そのため判定者は、推論の誤りから機械の正体を見破ることはできない。

各質問者は、一つの物語と、それに対する二つの答え――一つは人間、一つはAIのもの――を見て、人間の答えかAIの答えのどちらかを選び、自分の確信の度合いを評価し、選んだ理由を文章で説明しなければならなかった。最初の一連の研究では、GPT-4の答えを人間とGPT-4が判定した。2つめの一連の研究では、GPT-5の答えを人間とGPT-5が判定した。全体で3,824人がProlificというプラットフォームを通じて参加し、それぞれが1回だけ判定を行った。モデルも同じ回数だけ実行された。

成績は感度d′と呼ばれる尺度で採点された。ゼロは当てずっぽう、数値が高いほど見分ける力が高く、負の値は判定者が系統的に間違えていることを意味する。

人間は後退し、GPT-5は鋭くなる

GPT-4が相手のとき、人間はそれなりの成績を上げた。AIの答えを見つけるよう求められたときのd′は1.36、人間の答えを見つけるよう求められたときは1.10だった。判定者としてのGPT-4はそれより弱く、「人間を見つける」課題では成績が**−1.11**と負になった。正しい答えより間違った答えを指すことのほうが多かったのである。

GPT-5が相手になると、2つめの一連の研究の人間は0.77と0.27に後退した。偶然よりは上だが、人間を見つける課題ではかろうじて上回る程度だ。判定者としてのGPT-5は逆の動きを見せ、2.09と2.01に達し、どちらの課題でも人間を大きく上回った。

手がかりは消えていなかった

人間の後退は符号化の失敗だったのだろうか？それを確かめるため、研究者たちはすべての答えについて12の特徴――長さ、詳しさ、誤字、冗長さ、句読点、読みやすさ、分析的な口調か会話的な口調か、など――を測り、そこから出どころを推測する単純な統計モデルを訓練した。このモデルは、GPT-4の答えでは**98.3%の確率で正しい出どころを選び（「バランス精度」0.983。答えの並び順の両方について成功率を平均したもの）、GPT-5でも依然として92.5%**だった。GPT-5はより人間らしく聞こえるが、情報はまだそこにある。

変わったのは、どの手がかりがその情報を運んでいるかだ。GPT-4は主に、より長い答え、少ない誤字、多い繰り返しで正体を明かしていた。GPT-5では長さの差が大きく縮まり、代わりに句読点の多さと誤字の少なさが決め手になった。人間の判定者は長さに頼り続けた。著者たちは、それが以前のチャットボットに合わせて身についた習慣だろうと示唆している。チャットボットをよく使うと答えた人々は、部分的に考えを更新していた。「AIを見つける」課題で、句読点と誤字を正しく重みづけていたのだ。一方GPT-5は、句読点の多さと冗長さをAIに、誤字を人間に結びつけ、実際の違いにほぼ完全に一致していた。

正しい手がかり、逆の向き

最後のレベルでは、判定者が説明に書いたことと、実際の選択が頼っていたものとを比べた。ここで順位が逆転する。人間の説明は、比較的よく自分の選択と一致していた（GPT-4のシリーズで一致度は約0.63。一致度は、説明と選択が同じ向きを指すときに1となる尺度である）。GPT-5は実際に使っていた特徴の多くを挙げたが、そのうちいくつかの向きを取り違えていた。どちらの課題でも、より分析的な口調、より高い読みやすさ、より多くの詳しさはAIを示すと述べたのに、実際の選択ではこの3つすべてを人間の答えに結びつけていたのである。GPT-5の説明が実際の重みづけと一致する度合いは、人間の説明よりはるかに低かった。

著者たちは、これを単なる後づけの作り話とは考えていない。GPT-5の説明は、どちらの尺度でも偶然を上回っていたからだ。食い違いは少数の特徴に限られている。著者たちは、こうした局所的なずれが、モデルの説明に頼るユーザーに、説明と判断が一致しているという錯覚を生みかねないと警告している。

この研究が扱っているのは、OpenAIの2つのモデルで、それぞれが自分と同じ世代の答えを、8つの短い物語について判定したものだ。この一致度の尺度で、GPT-5は一方の課題で0.297、もう一方で0.296と、人間を大きく下回った。どちらの場合も、同じ3つの特徴が逆向きになっていた。