GPT-5 РАСПОЗНАЁТ СОБСТВЕННЫЕ ТЕКСТЫ ЛУЧШЕ НАС

В оригинальном тесте Тьюринга человек-интервьюер обменивается письменными сообщениями и пытается отличить мужчину от женщины. В какой-то момент мужчину заменяет машина. Если интервьюер по-прежнему не может отличить машину от женщины, считается, что машина прошла тест. Тьюринг задумывал его как философский мысленный эксперимент, но десятилетиями он служил эталоном для искусственного интеллекта — а недавние заявления о том, что чат-боты вроде ChatGPT наконец его прошли, оживили старый вопрос: что на самом деле доказывает прохождение теста?

Два способа обмануть судью

Команда под руководством Кристины Беккьо из Университетского медицинского центра Гамбург-Эппендорф указывает, что обманутый интервьюер может означать две совершенно разные вещи.

• Сбой кодирования. Ответы машины настолько сливаются с человеческими, что текст больше не несёт никаких подсказок о своём источнике. Ни один наблюдатель, каким бы искусным он ни был, не смог бы превзойти случайное угадывание. Это был бы сильный результат.
• Сбой считывания. Подсказки в тексте есть, но интервьюер их не улавливает. Другой судья — скажем, искусственный — мог бы справиться. Тогда тест говорит больше о судье, чем о машине.

Классический тест смешивает эти два случая. Авторы добавляют третий уровень — метасчитывание: может ли судья правильно сказать, какие подсказки направляли его собственное решение?

Странные истории, два ответа

Чтобы разделить эти уровни, команда перевернула тест Тьюринга: в кресло интервьюера сели и люди, и системы ИИ. Материал взяли из теста Strange Stories («Странные истории») — набора из восьми коротких социальных сценариев (обман, ирония, убеждение, недоразумение), каждый из которых заканчивается вопросом о том, что думает персонаж или почему он так поступает. На них отвечали люди и модели GPT, и оставили только правильные ответы, чтобы судья не мог разоблачить машину по ошибочным рассуждениям.

Каждый интервьюер видел историю и два ответа на неё — человеческий и от ИИ, — а затем должен был выбрать либо человеческий, либо ответ ИИ, оценить свою уверенность и письменно объяснить выбор. В первой серии исследований ответы GPT-4 оценивали люди и GPT-4; во второй ответы GPT-5 оценивали люди и GPT-5. Всего через платформу Prolific участвовали 3824 человека, каждый вынес одно суждение; им соответствовало столько же прогонов моделей.

Результаты оценивали с помощью меры, называемой чувствительностью, d′: ноль означает угадывание, большее значение — лучшее различение, а отрицательное — что судья систематически ошибается.

Люди сдают, GPT-5 набирает остроту

Против GPT-4 люди справились неплохо: d′ составил 1,36, когда нужно было найти ответ ИИ, и 1,10, когда нужно было найти человеческий. GPT-4 в роли судьи была слабее, а в задаче «найди человека» её оценка оказалась отрицательной — −1,11: она указывала на неверный ответ чаще, чем на верный.

Против GPT-5 люди во второй серии опустились до 0,77 и 0,27 — всё ещё выше случайного уровня, но в задаче с человеком едва-едва. GPT-5 в роли судьи сделала обратное, достигнув 2,09 и 2,01 — значительно выше людей в обеих задачах.

Подсказки никуда не исчезли

Было ли падение у людей сбоем кодирования? Чтобы проверить это, исследователи измерили 12 характеристик каждого ответа — длину, детальность, опечатки, избыточность, пунктуацию, удобочитаемость, аналитический или разговорный тон и другие — и обучили простую статистическую модель угадывать по ним источник. Она верно определяла источник в 98,3% случаев для ответов GPT-4 («сбалансированная точность» 0,983, усредняющая её успех по обоим порядкам ответов) и всё ещё в 92,5% для GPT-5. GPT-5 звучит более по-человечески, но информация по-прежнему на месте.

Изменилось то, какие подсказки её несут. GPT-4 выдавала себя главным образом более длинными ответами, меньшим числом опечаток и большим числом повторов. У GPT-5 разница в длине резко сократилась, а характерными признаками стали более плотная пунктуация и меньше опечаток. Люди-судьи продолжали опираться на длину — привычка, которая, как предполагают авторы, сложилась на прежних чат-ботах. Те, кто сообщал, что часто пользуется чат-ботами, частично перестроились: в задаче «найди ИИ» они правильно взвешивали пунктуацию и опечатки. GPT-5 тем временем связывала плотную пунктуацию и избыточность с ИИ, а опечатки — с людьми, почти идеально совпадая с реальными различиями.

Верные подсказки, неверные направления

Последний уровень сравнивал то, что судьи писали в объяснениях, с тем, на что на самом деле опирались их решения. Здесь расклад переворачивается. Объяснения людей сравнительно хорошо соответствовали их выбору (согласованность около 0,63 в серии с GPT-4, по шкале, где 1 означает, что объяснения и выбор указывают в одну сторону). GPT-5 назвала многие признаки, которые действительно использовала, но для некоторых из них ошиблась с направлением: в обеих задачах она утверждала, что более аналитический тон, лучшая удобочитаемость и большая детальность указывают на ИИ, тогда как в её решениях все три признака были связаны с человеческими ответами. Её объяснения соответствовали её реальному взвешиванию гораздо хуже, чем объяснения людей.

Авторы не считают это чистым вымыслом задним числом, поскольку объяснения GPT-5 оставались выше случайного уровня по обеим мерам; несоответствие ограничено несколькими признаками. Они предупреждают, что такой локальный разрыв может создавать иллюзию согласованности у пользователей, полагающихся на объяснения модели.

Исследование охватывает две модели OpenAI, каждая из которых оценивала ответы своего поколения, на восьми коротких историях. По шкале согласованности GPT-5 получила 0,297 в одной задаче и 0,296 в другой, что значительно ниже, чем у людей, — причём оба раза перевёрнутыми оказались одни и те же три признака.