GPT-5 نوشتهٔ خودش را بهتر از ما تشخیص می‌دهد
در آزمون تورینگ اصلی، یک بازپرس انسانی پیام‌های نوشتاری رد و بدل می‌کند و می‌کوشد مردی را از زنی تشخیص دهد. در لحظه‌ای، ماشینی جای مرد را می‌گیرد. اگر بازپرس همچنان نتواند ماشین را از زن تشخیص دهد، گفته می‌شود ماشین از آزمون گذشته است. تورینگ آن را آزمایشی فکری و فلسفی در نظر داشت، اما دهه‌ها است که این آزمون معیاری برای هوش مصنوعی بوده است — و ادعاهای اخیر مبنی بر اینکه چت‌بات‌هایی مانند ChatGPT سرانجام از آن گذشته‌اند، پرسشی قدیمی را دوباره زنده کرده است: گذشتن از آزمون در واقع چه چیزی را ثابت می‌کند؟
دو راه برای فریب دادن داور
گروهی به رهبری کریستینا بکیو (Cristina Becchio) در مرکز پزشکی دانشگاهی هامبورگ-اپندورف (University Medical Center Hamburg-Eppendorf) یادآوری می‌کند که بازپرسِ فریب‌خورده می‌تواند دو معنای بسیار متفاوت داشته باشد.
- شکست در رمزگذاری (encoding). پاسخ‌های ماشین چنان با پاسخ‌های انسانی هم‌پوشانی دارند که متن دیگر هیچ سرنخی دربارهٔ منبعش در خود ندارد. هیچ ناظری، هر قدر هم ماهر، نمی‌تواند از حد شانس فراتر رود. این نتیجه‌ای قوی می‌بود.
- شکست در خوانش (readout). سرنخ‌ها در متن هستند، اما بازپرس آن‌ها را درنمی‌یابد. داور دیگری — مثلاً یک داور مصنوعی — ممکن است موفق شود. در این صورت آزمون بیشتر دربارهٔ داور سخن می‌گوید تا دربارهٔ ماشین.
آزمون کلاسیک این دو را با هم درمی‌آمیزد. نویسندگان سطح سومی هم می‌افزایند، فراخوانش (meta-readout): آیا یک داور می‌تواند به‌درستی بگوید کدام سرنخ‌ها تصمیم خودش را هدایت کرده‌اند؟
داستان‌های عجیب، دو پاسخ
برای جدا کردن این سطوح، گروه آزمون تورینگ را وارونه کرد: هم انسان‌ها و هم سامانه‌های هوش مصنوعی روی صندلی بازپرس نشستند. مواد آزمون از آزمون Strange Stories (داستان‌های عجیب) آمده بود، مجموعه‌ای از هشت موقعیت اجتماعی کوتاه — فریب، طعنه، اقناع، سوءتفاهم — که هر کدام با پرسشی دربارهٔ اینکه یک شخصیت چه فکر می‌کند یا چرا چنین رفتار می‌کند به پایان می‌رسد. انسان‌ها و مدل‌های GPT به آن‌ها پاسخ داده بودند و فقط پاسخ‌های درست نگه داشته شدند تا داور نتواند ماشین را از روی استدلال نادرست رسوا کند.
هر بازپرس یک داستان و دو پاسخ به آن را می‌دید، یکی انسانی و یکی از هوش مصنوعی، و سپس باید یا پاسخ انسانی را برمی‌گزید یا پاسخ هوش مصنوعی را، میزان اطمینان خود را درجه‌بندی می‌کرد و انتخابش را به‌صورت نوشتاری توضیح می‌داد. در نخستین سری از مطالعه‌ها، پاسخ‌های GPT-4 را انسان‌ها و GPT-4 داوری کردند؛ در سری دوم، پاسخ‌های GPT-5 را انسان‌ها و GPT-5. در مجموع 3,824 نفر از طریق سکوی Prolific شرکت کردند که هر کدام تنها یک داوری انجام دادند، و به همان تعداد اجرای مدل‌ها با آن‌ها جفت شد.
عملکرد با معیاری به نام حساسیت (sensitivity)، d′، سنجیده شد: صفر یعنی حدس زدن، مقدار بالاتر یعنی تشخیص بهتر، و مقدار منفی یعنی داور به‌طور نظام‌مند اشتباه می‌کند.
انسان‌ها پس می‌روند، GPT-5 تیزتر می‌شود
در برابر GPT-4، انسان‌ها نسبتاً خوب عمل کردند: d′ آن‌ها وقتی خواسته شد پاسخ هوش مصنوعی را پیدا کنند 1.36 و وقتی خواسته شد پاسخ انسانی را پیدا کنند 1.10 بود. GPT-4 در مقام داور ضعیف‌تر بود و در تکلیف «انسان را پیدا کن» امتیازش منفی بود، −1.11: پاسخ نادرست را بیشتر از پاسخ درست نشان می‌داد.
در برابر GPT-5، انسان‌های سری دوم به 0.77 و 0.27 نزول کردند — هنوز بالاتر از شانس، اما در تکلیف انسانی به‌زحمت. GPT-5 در مقام داور برعکس عمل کرد و به 2.09 و 2.01 رسید، در هر دو تکلیف بسیار بالاتر از انسان‌ها.
سرنخ‌ها هرگز ناپدید نشدند
آیا افت انسان‌ها شکستی در رمزگذاری بود؟ برای وارسی، پژوهشگران 12 ویژگی هر پاسخ را اندازه گرفتند — طول، جزئیات، غلط‌های تایپی، تکرار، نشانه‌گذاری، خوانایی، لحن تحلیلی یا گفت‌وگویی، و دیگر ویژگی‌ها — و یک مدل آماری ساده را آموزش دادند تا از روی آن‌ها منبع را حدس بزند. این مدل برای پاسخ‌های GPT-4 در 98.3% موارد منبع درست را برگزید (یک «دقت متوازن»، balanced accuracy، برابر 0.983 که میانگین موفقیتش را روی هر دو ترتیب پاسخ‌ها می‌گیرد) و برای GPT-5 همچنان در 92.5% موارد. GPT-5 انسانی‌تر به نظر می‌رسد، اما اطلاعات هنوز آنجاست.
آنچه تغییر کرد این بود که کدام سرنخ‌ها حامل این اطلاعات‌اند. GPT-4 عمدتاً با پاسخ‌های بلندتر، غلط‌های تایپی کمتر و تکرار بیشتر خود را لو می‌داد. در GPT-5 فاصلهٔ طول به‌شدت کم شد، در حالی که نشانه‌گذاری فشرده‌تر و غلط‌های تایپی کمتر به نشانه‌های افشاگر تبدیل شدند. داوران انسانی همچنان به طول تکیه می‌کردند — به گفتهٔ نویسندگان، عادتی که بر پایهٔ چت‌بات‌های پیشین تنظیم شده است. کسانی که گفته بودند اغلب از چت‌بات‌ها استفاده می‌کنند تا حدی خود را به‌روز کرده بودند: در تکلیف «هوش مصنوعی را پیدا کن» به نشانه‌گذاری و غلط‌های تایپی وزن درستی دادند. GPT-5 هم نشانه‌گذاری فشرده و تکرار را به هوش مصنوعی و غلط‌های تایپی را به انسان‌ها نسبت داد، که تقریباً به‌طور کامل با تفاوت‌های واقعی جور درمی‌آمد.
سرنخ‌های درست، جهت‌های نادرست
سطح آخر آنچه را داوران در توضیحاتشان نوشتند با آنچه انتخاب‌هایشان واقعاً بر آن تکیه داشت مقایسه کرد. اینجا رتبه‌بندی وارونه می‌شود. توضیحات انسان‌ها نسبتاً خوب با انتخاب‌هایشان جور بود (هم‌راستایی‌ای حدود 0.63 در سری GPT-4، روی مقیاسی که در آن 1 یعنی توضیحات و انتخاب‌ها به یک جهت اشاره می‌کنند). GPT-5 بسیاری از ویژگی‌هایی را که واقعاً به کار برده بود نام برد، اما جهت برخی از آن‌ها را اشتباه گفت: در هر دو تکلیف، گفت لحن تحلیلی‌تر، خوانایی بالاتر و جزئیات بیشتر نشانهٔ هوش مصنوعی‌اند، در حالی که انتخاب‌هایش هر سه را به پاسخ‌های انسانی پیوند می‌دادند. توضیحاتش بسیار کمتر از توضیحات انسان‌ها با وزن‌دهی واقعی‌اش جور بود.
نویسندگان این را صرفاً ساختنِ پس از واقعه نمی‌دانند، چون توضیحات GPT-5 در هر دو سنجه بالاتر از حد شانس ماند؛ ناهمخوانی به چند ویژگی محدود است. آن‌ها هشدار می‌دهند که چنین شکاف موضعی‌ای می‌تواند برای کاربرانی که به توضیحات یک مدل تکیه می‌کنند توهم هم‌راستایی پدید آورد.
این مطالعه دو مدل OpenAI را در بر می‌گیرد که هر کدام پاسخ‌های نسل خودش را داوری کرده است، روی هشت داستان کوتاه. روی آن مقیاس هم‌راستایی، GPT-5 در یک تکلیف 0.297 و در دیگری 0.296 گرفت، به‌طور معناداری پایین‌تر از انسان‌ها — و هر دو بار همان سه ویژگی وارونه بودند.