GPT-5 आपले स्वतःचे लिखाण आपल्यापेक्षा चांगले ओळखतो

मूळ ट्युरिंग चाचणीत, एक मानवी प्रश्नकर्ता लेखी संदेशांची देवाणघेवाण करतो आणि एक पुरुष व एक स्त्री यांना वेगळे ओळखण्याचा प्रयत्न करतो. कधीतरी पुरुषाच्या जागी एक यंत्र आणले जाते. तरीही प्रश्नकर्त्याला यंत्र आणि स्त्री यांना वेगळे ओळखता आले नाही, तर यंत्र उत्तीर्ण झाले असे म्हटले जाते. ट्युरिंग यांनी हा एक तात्त्विक विचारप्रयोग म्हणून मांडला होता, तरीही अनेक दशके तो कृत्रिम बुद्धिमत्तेसाठी एक मापदंड म्हणून वापरला गेला आहे — आणि ChatGPT सारखे चॅटबॉट अखेर ही चाचणी उत्तीर्ण झाल्याच्या अलीकडच्या दाव्यांनी एक जुना प्रश्न पुन्हा जागा केला आहे: उत्तीर्ण होणे प्रत्यक्षात काय सिद्ध करते?

परीक्षकाला फसवण्याचे दोन मार्ग

University Medical Center Hamburg-Eppendorf मधील Cristina Becchio यांच्या नेतृत्वाखालील एक टीम लक्षात आणून देते की फसलेल्या प्रश्नकर्त्याचा अर्थ दोन अगदी वेगळ्या गोष्टी असू शकतो.

• संकेतनाचे अपयश (failure of encoding). यंत्राची उत्तरे मानवी उत्तरांशी इतकी जुळतात की मजकुरात त्याच्या स्रोताबद्दल कोणताही सुगावा उरत नाही. कितीही कुशल निरीक्षक असला तरी तो योगायोगापेक्षा चांगली कामगिरी करू शकणार नाही. तो एक भक्कम निकाल ठरेल.
• वाचनाचे अपयश (failure of readout). सुगावे मजकुरात असतात, पण प्रश्नकर्ता ते टिपत नाही. दुसरा एखादा परीक्षक — समजा, कृत्रिम — यशस्वी होऊ शकेल. अशा वेळी ही चाचणी यंत्रापेक्षा परीक्षकाबद्दलच अधिक सांगते.

पारंपरिक चाचणी या दोन्हींची सरमिसळ करते. लेखक एक तिसरी पातळी जोडतात, मेटा-वाचन (meta-readout): कोणत्या सुगाव्यांनी आपल्या निर्णयाला दिशा दिली हे परीक्षक अचूकपणे सांगू शकतो का?

विचित्र कथा, दोन उत्तरे

या पातळ्या वेगळ्या करण्यासाठी टीमने ट्युरिंग चाचणी उलटी केली: माणसे आणि AI प्रणाली दोघांनीही प्रश्नकर्त्याची खुर्ची घेतली. साहित्य Strange Stories चाचणीतून घेतले होते, आठ छोट्या सामाजिक प्रसंगांचा एक संच — फसवणूक, उपरोध, मन वळवणे, गैरसमज — ज्यातील प्रत्येकाचा शेवट एखादे पात्र काय विचार करते किंवा ते तसे का वागते याबद्दलच्या प्रश्नाने होतो. माणसांनी आणि GPT मॉडेलनी त्यांची उत्तरे दिली होती, आणि फक्त बरोबर उत्तरेच ठेवली गेली, जेणेकरून सदोष तर्कावरून परीक्षकाला यंत्राचा बुरखा फाडता येऊ नये.

प्रत्येक प्रश्नकर्त्याने एक कथा आणि तिची दोन उत्तरे पाहिली, एक माणसाचे आणि एक AI चे, आणि मग त्याला एकतर मानवी उत्तर किंवा AI चे उत्तर निवडायचे होते, आपल्या खात्रीची पातळी नोंदवायची होती आणि आपल्या निवडीचे लेखी स्पष्टीकरण द्यायचे होते. अभ्यासांच्या पहिल्या मालिकेत, GPT-4 च्या उत्तरांचे परीक्षण माणसांनी आणि GPT-4 ने केले; दुसऱ्या मालिकेत, GPT-5 च्या उत्तरांचे परीक्षण माणसांनी आणि GPT-5 ने केले. एकूण 3,824 लोकांनी Prolific या मंचावरून भाग घेतला, प्रत्येकाने एकच निर्णय दिला, आणि मॉडेलच्या तितक्याच फेऱ्या चालवून त्यांची बरोबरी साधली गेली.

कामगिरी d′ नावाच्या संवेदनशीलता-मापाने मोजली गेली: शून्य म्हणजे अंदाजपंचे, अधिक मूल्य म्हणजे अधिक चांगला भेद, आणि ऋण मूल्य म्हणजे परीक्षक पद्धतशीरपणे चुकत आहे.

माणसे घसरतात, GPT-5 धारदार होतो

GPT-4 समोर माणसांनी बऱ्यापैकी चांगली कामगिरी केली: AI चे उत्तर शोधायला सांगितल्यावर d′ 1.36 आणि मानवी उत्तर शोधायला सांगितल्यावर 1.10. परीक्षक म्हणून GPT-4 कमकुवत होता, आणि “मानवी उत्तर शोधा” या कार्यात त्याचे गुण ऋण होते, −1.11: तो बरोबर उत्तरापेक्षा चुकीच्या उत्तराकडे अधिक वेळा बोट दाखवत होता.

GPT-5 समोर, दुसऱ्या मालिकेतील माणसे 0.77 आणि 0.27 पर्यंत घसरली — अजूनही योगायोगापेक्षा वर, पण मानवी उत्तराच्या कार्यात जेमतेमच. परीक्षक म्हणून GPT-5 ने उलटे केले, 2.09 आणि 2.01 पर्यंत पोहोचत, दोन्ही कार्यांत माणसांपेक्षा कितीतरी वर.

सुगावे कधीच नाहीसे झाले नाहीत

माणसांची ही घसरण संकेतनाचे अपयश होती का? हे तपासण्यासाठी संशोधकांनी प्रत्येक उत्तराची 12 वैशिष्ट्ये मोजली — लांबी, तपशील, टंकलेखनातील चुका, पुनरुक्ती, विरामचिन्हे, वाचनसुलभता, विश्लेषणात्मक किंवा संवादी सूर, आणि इतर — आणि त्यांवरून स्रोताचा अंदाज बांधण्यासाठी एक साधे सांख्यिकीय मॉडेल प्रशिक्षित केले. GPT-4 च्या उत्तरांसाठी त्याने 98.3% वेळा योग्य स्रोत ओळखला (0.983 ची “संतुलित अचूकता”, जी उत्तरांच्या दोन्ही क्रमांवरील त्याच्या यशाची सरासरी घेते) आणि GPT-5 साठीही 92.5% वेळा. GPT-5 अधिक मानवी वाटतो, पण माहिती अजूनही तिथे आहे.

बदलले ते हे की ती माहिती कोणते सुगावे वाहून नेतात. GPT-4 मुख्यतः लांब उत्तरे, टंकलेखनाच्या कमी चुका आणि अधिक पुनरुक्ती यांमुळे उघडा पडत असे. GPT-5 बाबत लांबीतील फरक झपाट्याने कमी झाला, तर अधिक दाट विरामचिन्हे आणि टंकलेखनाच्या कमी चुका ही ओळख पटवणारी चिन्हे बनली. मानवी परीक्षक लांबीवरच विसंबत राहिले — लेखकांच्या मते, आधीच्या चॅटबॉटवर जुळवलेली सवय. चॅटबॉट वारंवार वापरत असल्याचे सांगणाऱ्या लोकांनी अंशतः आपली समज अद्ययावत केली होती: “AI शोधा” या कार्यात त्यांनी विरामचिन्हे आणि टंकलेखनाच्या चुका यांना योग्य वजन दिले. दरम्यान GPT-5 ने दाट विरामचिन्हे आणि पुनरुक्ती AI शी, आणि टंकलेखनाच्या चुका माणसांशी जोडल्या, जे प्रत्यक्ष फरकांशी जवळजवळ अचूक जुळते.

योग्य सुगावे, चुकीच्या दिशा

शेवटच्या पातळीत, परीक्षकांनी आपल्या स्पष्टीकरणात जे लिहिले त्याची तुलना त्यांच्या निवडी प्रत्यक्षात कशावर आधारलेल्या होत्या याच्याशी केली गेली. इथे क्रमवारी उलटते. माणसांची स्पष्टीकरणे त्यांच्या निवडींशी तुलनेने अधिक चांगली जुळली (GPT-4 मालिकेत सुमारे 0.63 सुसंगती, अशा मोजपट्टीवर जिथे 1 म्हणजे स्पष्टीकरणे आणि निवडी एकाच दिशेने निर्देश करतात). GPT-5 ने प्रत्यक्ष वापरलेली अनेक वैशिष्ट्ये सांगितली, पण त्यांपैकी काहींची दिशा चुकीची सांगितली: दोन्ही कार्यांत, त्याने सांगितले की अधिक विश्लेषणात्मक सूर, अधिक वाचनसुलभता आणि अधिक तपशील AI कडे निर्देश करतात, तर त्याच्या निवडींनी ही तिन्ही वैशिष्ट्ये मानवी उत्तरांशी जोडली. त्याची स्पष्टीकरणे त्याच्या प्रत्यक्ष वजनवाटपाशी माणसांच्या स्पष्टीकरणांपेक्षा कितीतरी कमी जुळली.

लेखक याचा अर्थ नंतर केलेली निव्वळ रचनाबाजी असा लावत नाहीत, कारण GPT-5 ची स्पष्टीकरणे दोन्ही मापांवर योगायोगापेक्षा वर राहिली; ही विसंगती काही वैशिष्ट्यांपुरतीच मर्यादित आहे. ते इशारा देतात की अशी स्थानिक दरी, मॉडेलच्या स्पष्टीकरणांवर विसंबणाऱ्या वापरकर्त्यांसाठी, सुसंगतीचा भ्रम निर्माण करू शकते.

हा अभ्यास OpenAI च्या दोन मॉडेलपुरता आहे, ज्यातील प्रत्येक आपल्याच पिढीच्या उत्तरांचे परीक्षण करतो, आठ छोट्या कथांवर. सुसंगतीच्या या मोजपट्टीवर GPT-5 ला एका कार्यात 0.297 आणि दुसऱ्यात 0.296 गुण मिळाले, माणसांपेक्षा लक्षणीयरीत्या कमी — दोन्ही वेळा त्याच तीन वैशिष्ट्यांची दिशा उलटी होती.