GPT-5 认出自己写的文字，比我们更在行

在最初的图灵测试中，一名人类提问者通过书面消息进行交流，试图分辨出一个男人和一个女人。在某个时刻，男人被换成了一台机器。如果提问者仍然无法把机器和女人区分开来，就说这台机器通过了测试。图灵本意是把它作为一个哲学思想实验，然而几十年来，它一直被用作人工智能的基准——而近来关于 ChatGPT 等聊天机器人终于通过了这一测试的说法，又让一个老问题重新浮出水面：通过测试究竟证明了什么？

骗过评判者的两种方式

汉堡-埃彭多夫大学医学中心的克里斯蒂娜·贝基奥（Cristina Becchio）领导的团队指出，提问者被骗过可能意味着两种截然不同的情况。

编码的失败。 机器的回答与人类的回答重叠得如此紧密，以至于文字中不再含有任何关于其来源的线索。任何观察者，无论多么老练，都无法胜过随机猜测。这将是一个很强的结果。
读出的失败。 线索就在文字里，但提问者没有捕捉到。另一位评判者——比如一个人工评判者——也许就能成功。这样一来，测试反映的更多是评判者，而不是机器。

经典的测试把这两种情况混为一谈。作者增加了第三个层次——元读出（meta-readout）：评判者能否正确说出是哪些线索引导了自己的判断？

奇怪的故事，两个回答

为了区分这些层次，团队把图灵测试倒了过来：人类和人工智能系统都坐上了提问者的位置。材料来自**“奇怪故事”测验**（Strange Stories），这是一组八个简短的社交情境——欺骗、反讽、说服、误解——每个情境最后都会问一个问题，关于某个角色在想什么或为什么这样做。人类和 GPT 模型都回答过这些问题，并且只保留了正确的回答，这样评判者就无法通过推理错误来揪出机器。

每位提问者看到一个故事和针对它的两个回答，一个来自人类，一个来自人工智能，然后必须挑出人类的回答或人工智能的回答，为自己的把握程度打分，并书面解释自己的选择。在第一组研究中，GPT-4 的回答由人类和 GPT-4 评判；在第二组研究中，GPT-5 的回答由人类和 GPT-5 评判。总共有3,824人通过 Prolific 平台参与，每人只做一次判断，模型也运行了同样多的次数与之对应。

表现用一个称为敏感度 d′ 的指标来衡量：零表示瞎猜，数值越高表示区分能力越强，而负值表示评判者系统性地判断错误。

人类失手，GPT-5 变得更敏锐

面对 GPT-4 时，人类表现得还算不错：要求找出人工智能的回答时，d′ 为1.36；要求找出人类的回答时，为1.10。作为评判者的 GPT-4 较弱，在“找出人类”的任务中得分为负，为**−1.11**：它指错答案的次数多于指对的次数。

面对 GPT-5 时，第二组研究中的人类下滑到0.77和0.27——仍高于随机水平，但在找人类的任务中只是勉强高于。作为评判者的 GPT-5 则恰恰相反，达到了2.09和2.01，在两项任务中都远远高于人类。

线索从未消失

人类表现的下滑，是编码的失败吗？为了检验这一点，研究者测量了每个回答的12项特征——长度、细节、错别字、冗余、标点、可读性、分析性或口语化的语气等——并训练了一个简单的统计模型，根据这些特征猜测来源。对于 GPT-4 的回答，它在98.3%的情况下选对了来源（“平衡准确率”为0.983，即把两种回答顺序下的成功率取平均）；对于 GPT-5，仍有92.5%。GPT-5 听起来更像人，但信息仍然存在。

改变的是承载这些信息的线索。GPT-4 主要因为回答更长、错别字更少、重复更多而露馅。到了 GPT-5，长度差距大幅缩小，而更密集的标点和更少的错别字成了能说明问题的迹象。人类评判者仍然倚重长度——作者认为，这是一种根据早期聊天机器人养成的习惯。自称经常使用聊天机器人的人已经部分更新了认识：在“找出人工智能”的任务中，他们对标点和错别字的权衡是正确的。与此同时，GPT-5 把密集的标点和冗余与人工智能联系起来，把错别字与人类联系起来，几乎完美地对应了真实的差异。

线索对了，方向错了

最后一个层次比较的是评判者在解释中写了什么，以及他们的选择实际上依赖了什么。在这里，排名反转了。人类的解释与其选择相对吻合（在 GPT-4 那组研究中，一致性约为0.63，在这个标尺上，1表示解释和选择指向同一方向）。GPT-5 说出了许多它真正使用过的特征，但其中一些特征的方向却弄反了：在两项任务中，它都说更具分析性的语气、更高的可读性和更多的细节指向人工智能，而它的选择却把这三者都与人类的回答联系在一起。它的解释与其实际权重的吻合程度，远不如人类。

作者并不认为这纯粹是事后编造，因为 GPT-5 的解释在两项衡量指标上都仍高于随机水平；不一致只局限于少数几项特征。他们警告说，对于依赖模型解释的用户来说，这种局部的差距可能会制造出一种“一致”的错觉。

这项研究涵盖两个 OpenAI 模型，每个模型都评判自己这一代模型的回答，所用材料是八个简短的故事。在那个一致性标尺上，GPT-5 在一项任务中得分0.297，在另一项任务中得分0.296，显著低于人类——而且两次都是同样的三项特征方向相反。