GPT-5 अपना लिखा हमसे बेहतर पहचानता है

मूल ट्यूरिंग परीक्षण में एक मानव पूछताछकर्ता लिखित संदेशों का आदान-प्रदान करता है और एक पुरुष को एक स्त्री से अलग पहचानने की कोशिश करता है। किसी मोड़ पर पुरुष की जगह एक मशीन ले लेती है। अगर पूछताछकर्ता तब भी मशीन को स्त्री से अलग नहीं पहचान पाता, तो कहा जाता है कि मशीन पास हो गई। ट्यूरिंग ने इसे एक दार्शनिक विचार-प्रयोग के रूप में सोचा था, फिर भी दशकों से यह कृत्रिम बुद्धिमत्ता के एक मानदंड का काम करता रहा है — और हाल के ऐसे दावों ने, कि ChatGPT जैसे चैटबॉट आख़िरकार इसमें पास हो गए हैं, एक पुराने सवाल को फिर से ज़िंदा कर दिया है: पास होना असल में साबित क्या करता है?

जज को धोखा देने के दो तरीक़े

यूनिवर्सिटी मेडिकल सेंटर हैम्बर्ग-एपेनडॉर्फ़ की क्रिस्टीना बेक्कियो (Cristina Becchio) के नेतृत्व वाली एक टीम बताती है कि धोखा खाए पूछताछकर्ता के दो बहुत अलग अर्थ हो सकते हैं।

• एन्कोडिंग की विफलता। मशीन के जवाब इंसानी जवाबों से इतने क़रीब से मेल खाते हैं कि पाठ में उसके स्रोत का कोई सुराग ही नहीं बचता। कोई भी प्रेक्षक, चाहे कितना भी कुशल हो, संयोग से बेहतर नहीं कर सकता। यह एक मज़बूत परिणाम होगा।
• रीडआउट की विफलता। सुराग पाठ में मौजूद हैं, पर पूछताछकर्ता उन्हें पकड़ नहीं पाता। कोई दूसरा जज — मान लीजिए कोई कृत्रिम जज — सफल हो सकता है। तब परीक्षण मशीन से ज़्यादा जज के बारे में बताता है।

क्लासिक परीक्षण इन दोनों को एक साथ मिला देता है। लेखक एक तीसरा स्तर जोड़ते हैं, मेटा-रीडआउट: क्या कोई जज सही-सही बता सकता है कि किन सुरागों ने उसके अपने निर्णय को दिशा दी?

अजीब कहानियाँ, दो जवाब

इन स्तरों को अलग करने के लिए टीम ने ट्यूरिंग परीक्षण को उलट दिया: इंसान और AI प्रणालियाँ, दोनों पूछताछकर्ता की कुर्सी पर बैठे। सामग्री स्ट्रेंज स्टोरीज़ (Strange Stories) परीक्षण से ली गई, जो आठ छोटी सामाजिक स्थितियों का एक समूह है — धोखा, व्यंग्य, समझाना-मनाना, ग़लतफ़हमी — जिनमें से हर एक के अंत में यह सवाल होता है कि कोई पात्र क्या सोच रहा है या ऐसा क्यों करता है। इंसानों और GPT मॉडलों ने इनके जवाब दिए थे, और केवल सही जवाब रखे गए, ताकि कोई जज ग़लत तर्क के सहारे मशीन को बेनक़ाब न कर सके।

हर पूछताछकर्ता ने एक कहानी और उसके दो जवाब देखे, एक इंसान का और एक AI का, फिर उसे या तो इंसानी जवाब या AI वाला जवाब चुनना था, अपने भरोसे का स्तर बताना था और अपने चुनाव को लिखकर समझाना था। अध्ययनों की पहली शृंखला में GPT-4 के जवाबों को इंसानों और GPT-4 ने परखा; दूसरी में GPT-5 के जवाबों को इंसानों और GPT-5 ने। कुल मिलाकर Prolific प्लेटफ़ॉर्म के ज़रिए 3,824 लोगों ने भाग लिया, हर एक ने एक ही निर्णय दिया, और मॉडलों के उतने ही रन उनसे मिलाए गए।

प्रदर्शन को संवेदनशीलता, d′, नाम के एक माप से आँका गया: शून्य का अर्थ है अंदाज़ा लगाना, अधिक मान का अर्थ है बेहतर भेद करना, और ऋणात्मक मान का अर्थ है कि जज व्यवस्थित रूप से ग़लत है।

इंसान फिसले, GPT-5 पैना हुआ

GPT-4 के सामने इंसानों ने ठीक-ठाक प्रदर्शन किया, AI वाला जवाब ढूँढ़ने को कहे जाने पर d′ 1.36 और इंसानी जवाब ढूँढ़ने को कहे जाने पर 1.10 रहा। जज के रूप में GPT-4 कमज़ोर था, और “इंसान ढूँढ़ो” वाले काम में उसका अंक ऋणात्मक, −1.11, रहा: उसने सही जवाब की तुलना में ग़लत जवाब की ओर अधिक बार इशारा किया।

GPT-5 के सामने दूसरी शृंखला के इंसान फिसलकर 0.77 और 0.27 पर आ गए — अब भी संयोग से ऊपर, पर इंसान वाले काम में मुश्किल से। जज के रूप में GPT-5 ने इसका उलटा किया, 2.09 और 2.01 तक पहुँचकर, दोनों कामों में इंसानों से काफ़ी ऊपर।

सुराग कभी ग़ायब नहीं हुए

क्या इंसानों की फिसलन एन्कोडिंग की विफलता थी? यह जाँचने के लिए शोधकर्ताओं ने हर जवाब की 12 विशेषताएँ मापीं — लंबाई, ब्योरा, टाइपिंग की ग़लतियाँ, दोहराव, विराम-चिह्न, पठनीयता, विश्लेषणात्मक या बातचीत वाला लहजा, और अन्य — और उनसे स्रोत का अनुमान लगाने के लिए एक सरल सांख्यिकीय मॉडल को प्रशिक्षित किया। GPT-4 के जवाबों के लिए उसने 98.3% बार सही स्रोत चुना (0.983 की “संतुलित सटीकता”, जो जवाबों के दोनों क्रमों पर उसकी सफलता का औसत है) और GPT-5 के लिए भी 92.5%। GPT-5 ज़्यादा इंसानी लगता है, पर जानकारी अब भी मौजूद है।

बदला यह कि कौन-से सुराग उस जानकारी को ढोते हैं। GPT-4 मुख्य रूप से लंबे जवाबों, कम टाइपिंग ग़लतियों और अधिक दोहराव से पकड़ में आ जाता था। GPT-5 के साथ लंबाई का अंतर तेज़ी से घटा, जबकि घने विराम-चिह्न और कम टाइपिंग ग़लतियाँ पहचान के संकेत बन गए। मानव जज लंबाई पर ही टिके रहे — लेखकों का अनुमान है कि यह पहले के चैटबॉटों पर बनी एक आदत है। जिन लोगों ने बताया कि वे अक्सर चैटबॉट इस्तेमाल करते हैं, उन्होंने ख़ुद को आंशिक रूप से अद्यतन कर लिया था: “AI ढूँढ़ो” वाले काम में उन्होंने विराम-चिह्नों और टाइपिंग ग़लतियों को सही वज़न दिया। इस बीच GPT-5 ने घने विराम-चिह्नों और दोहराव को AI से, और टाइपिंग ग़लतियों को इंसानों से जोड़ा, जो वास्तविक अंतरों से लगभग पूरी तरह मेल खाता है।

सही सुराग, ग़लत दिशाएँ

आख़िरी स्तर ने इसकी तुलना की कि जजों ने अपनी व्याख्याओं में क्या लिखा और उनके चुनाव असल में किस पर टिके थे। यहाँ क्रम उलट जाता है। इंसानों की व्याख्याएँ उनके चुनावों से तुलनात्मक रूप से अच्छी तरह मेल खाती थीं (GPT-4 शृंखला में लगभग 0.63 का संरेखण, एक ऐसे पैमाने पर जहाँ 1 का अर्थ है कि व्याख्याएँ और चुनाव एक ही दिशा में इशारा करते हैं)। GPT-5 ने उनमें से कई विशेषताओं के नाम लिए जिनका उसने सचमुच उपयोग किया था, पर उनमें से कुछ की दिशा ग़लत बताई: दोनों कामों में उसने कहा कि अधिक विश्लेषणात्मक लहजा, अधिक पठनीयता और अधिक ब्योरा AI की ओर इशारा करते हैं, जबकि उसके चुनावों ने इन तीनों को इंसानी जवाबों से जोड़ा। उसकी व्याख्याएँ उसके वास्तविक वज़न-निर्धारण से, इंसानों की तुलना में, कहीं कम मेल खाती थीं।

लेखक इसे पूरी तरह बाद में गढ़ी गई कहानी नहीं मानते, क्योंकि GPT-5 की व्याख्याएँ दोनों मापों पर संयोग से ऊपर रहीं; बेमेल कुछ ही विशेषताओं तक सीमित है। वे चेताते हैं कि ऐसा स्थानीय अंतर उन उपयोगकर्ताओं के लिए संरेखण का भ्रम पैदा कर सकता है जो किसी मॉडल की व्याख्याओं पर भरोसा करते हैं।

अध्ययन में OpenAI के दो मॉडल शामिल हैं, जिनमें से हर एक ने अपनी ही पीढ़ी के जवाबों को आठ छोटी कहानियों पर परखा। उस संरेखण पैमाने पर GPT-5 ने एक काम में 0.297 और दूसरे में 0.296 अंक पाए, जो इंसानों से उल्लेखनीय रूप से नीचे है — और दोनों बार वही तीन विशेषताएँ उलटी रहीं।