GPT-5 தனது சொந்த எழுத்தை நம்மை விட நன்றாக அடையாளம் காண்கிறது

மூல டூரிங் சோதனையில், ஒரு மனித விசாரணையாளர் எழுத்துச் செய்திகளைப் பரிமாறிக்கொண்டு, ஓர் ஆணை ஒரு பெண்ணிலிருந்து பிரித்தறிய முயல்கிறார். ஏதோ ஒரு கட்டத்தில் அந்த ஆணுக்குப் பதிலாக ஓர் இயந்திரம் வைக்கப்படுகிறது. விசாரணையாளரால் இப்போதும் இயந்திரத்தைப் பெண்ணிலிருந்து பிரித்தறிய முடியாவிட்டால், இயந்திரம் தேர்ச்சி பெற்றதாகக் கூறப்படுகிறது. டூரிங் இதை ஒரு மெய்யியல் சிந்தனைச் சோதனையாகக் கருதினார்; ஆனாலும் பல பத்தாண்டுகளாக இது செயற்கை நுண்ணறிவுக்கான ஓர் அளவுகோலாகப் பயன்பட்டு வருகிறது — ChatGPT போன்ற உரையாடு மென்பொருள்கள் (chatbots) இறுதியாக இதில் தேர்ச்சி பெற்றுவிட்டன என்ற அண்மைக் கூற்றுகள் ஒரு பழைய கேள்வியை மீண்டும் எழுப்பியுள்ளன: தேர்ச்சி பெறுவது உண்மையில் எதை நிரூபிக்கிறது?

ஒரு நடுவரை ஏமாற்ற இரண்டு வழிகள்

University Medical Center Hamburg-Eppendorf-ஐச் சேர்ந்த Cristina Becchio தலைமையிலான ஒரு குழு, ஏமாற்றப்பட்ட ஒரு விசாரணையாளர் முற்றிலும் வேறுபட்ட இரண்டு விஷயங்களைக் குறிக்கலாம் என்று சுட்டிக்காட்டுகிறது.

• குறியாக்கத்தின் தோல்வி (failure of encoding). இயந்திரத்தின் பதில்கள் மனிதப் பதில்களுடன் மிக நெருக்கமாக ஒன்றின்மேல் ஒன்று படிவதால், உரை அதன் மூலத்தைப் பற்றி எந்தத் துப்பையும் இனி கொண்டிருக்கவில்லை. எவ்வளவு திறமையான கவனிப்பாளராலும் தற்செயலை வெல்ல முடியாது. அது ஒரு வலுவான முடிவாக இருக்கும்.
• வாசிப்பின் தோல்வி (failure of readout). துப்புகள் உரையில் இருக்கின்றன, ஆனால் விசாரணையாளர் அவற்றைப் பிடிக்கவில்லை. வேறொரு நடுவர் — ஒரு செயற்கை நடுவர் என்று வைத்துக்கொள்வோம் — வெற்றி பெறக்கூடும். அப்போது சோதனை இயந்திரத்தைப் பற்றியதை விட நடுவரைப் பற்றியே அதிகம் சொல்கிறது.

மரபான சோதனை இந்த இரண்டையும் ஒன்றாகக் கலக்கிறது. ஆசிரியர்கள் மூன்றாவது நிலை ஒன்றைச் சேர்க்கின்றனர், மீ-வாசிப்பு (meta-readout): தனது சொந்த முடிவை எந்தத் துப்புகள் வழிநடத்தின என்பதை ஒரு நடுவரால் சரியாகச் சொல்ல முடியுமா?

விசித்திரக் கதைகள், இரண்டு பதில்கள்

இந்த நிலைகளைப் பிரிக்க, குழு டூரிங் சோதனையைத் தலைகீழாக்கியது: மனிதர்களும் செயற்கை நுண்ணறிவு அமைப்புகளும் விசாரணையாளர் இருக்கையில் அமர்ந்தனர். பொருள் Strange Stories (விசித்திரக் கதைகள்) சோதனையிலிருந்து வந்தது; இது எட்டுச் சிறிய சமூகச் சூழல்களின் தொகுப்பு — ஏமாற்றுதல், முரண்நகை, வற்புறுத்தல், தவறான புரிதல் — ஒவ்வொன்றும் ஒரு கதாபாத்திரம் என்ன நினைக்கிறது அல்லது ஏன் அப்படிச் செயல்படுகிறது என்ற கேள்வியுடன் முடிகிறது. மனிதர்களும் GPT மாதிரிகளும் இவற்றுக்குப் பதிலளித்திருந்தனர்; சரியான பதில்கள் மட்டுமே வைத்துக்கொள்ளப்பட்டன; எனவே தவறான பகுத்தறிவின் மூலம் ஒரு நடுவர் இயந்திரத்தின் முகமூடியைக் கிழிக்க முடியாது.

ஒவ்வொரு விசாரணையாளரும் ஒரு கதையையும் அதற்கான இரண்டு பதில்களையும் பார்த்தார் — ஒன்று மனிதருடையது, மற்றொன்று செயற்கை நுண்ணறிவுடையது — பிறகு மனிதப் பதிலையோ அல்லது செயற்கை நுண்ணறிவுப் பதிலையோ தேர்ந்தெடுக்க வேண்டியிருந்தது, தனது நம்பிக்கையை மதிப்பிட வேண்டியிருந்தது, தனது தேர்வை எழுத்தில் விளக்க வேண்டியிருந்தது. முதல் தொடர் ஆய்வுகளில், GPT-4-இன் பதில்கள் மனிதர்களாலும் GPT-4-ஆலும் மதிப்பிடப்பட்டன; இரண்டாவதில், GPT-5-இன் பதில்கள் மனிதர்களாலும் GPT-5-ஆலும் மதிப்பிடப்பட்டன. மொத்தத்தில், Prolific தளத்தின் வழியாக 3,824 பேர் பங்கேற்றனர்; ஒவ்வொருவரும் ஒரே ஒரு மதிப்பீட்டை வழங்கினர்; அதே எண்ணிக்கையிலான மாதிரி ஓட்டங்கள் அவர்களுக்கு இணையாக்கப்பட்டன.

செயல்திறன், உணர்திறன் (sensitivity) எனப்படும் d′ என்ற அளவீட்டால் மதிப்பிடப்பட்டது: பூஜ்யம் என்றால் ஊகம்; அதிக மதிப்பு என்றால் சிறந்த பிரித்தறிதல்; எதிர்மறை மதிப்பு என்றால் நடுவர் முறையாகத் தவறு செய்கிறார்.

மனிதர்கள் சறுக்குகின்றனர், GPT-5 கூர்மையாகிறது

GPT-4-க்கு எதிராக, மனிதர்கள் ஓரளவு நன்றாகச் செயல்பட்டனர்: செயற்கை நுண்ணறிவுப் பதிலைக் கண்டுபிடிக்கச் சொன்னபோது d′ 1.36, மனிதப் பதிலைக் கண்டுபிடிக்கச் சொன்னபோது 1.10. நடுவராக GPT-4 பலவீனமாக இருந்தது; “மனிதரைக் கண்டுபிடி” பணியில் அதன் மதிப்பெண் எதிர்மறையாக, −1.11-இல் இருந்தது: அது சரியான பதிலை விடத் தவறான பதிலையே அடிக்கடி சுட்டிக்காட்டியது.

GPT-5-க்கு எதிராக, இரண்டாவது தொடரில் மனிதர்கள் 0.77, 0.27-க்குச் சறுக்கினர் — இன்னும் தற்செயலை விட மேலே, ஆனால் மனிதப் பணியில் அரிதாகவே. நடுவராக GPT-5 நேர்மாறாகச் செய்து, 2.09, 2.01-ஐ எட்டியது — இரண்டு பணிகளிலும் மனிதர்களுக்கு மிகவும் மேலே.

துப்புகள் ஒருபோதும் மறையவில்லை

மனிதர்களின் சரிவு குறியாக்கத்தின் தோல்வியா? இதைச் சரிபார்க்க, ஆய்வாளர்கள் ஒவ்வொரு பதிலின் 12 அம்சங்களை அளந்தனர் — நீளம், விவரம், எழுத்துப் பிழைகள், மிகைச்சொல் (redundancy), நிறுத்தக்குறிகள், வாசிப்பெளிமை, பகுப்பாய்வு அல்லது உரையாடல் தொனி, மேலும் பிற — அவற்றைக் கொண்டு மூலத்தை ஊகிக்க ஓர் எளிய புள்ளியியல் மாதிரியைப் பயிற்றுவித்தனர். GPT-4 பதில்களுக்கு அது 98.3% நேரம் சரியான மூலத்தைத் தேர்ந்தெடுத்தது (0.983 என்ற “சமநிலைத் துல்லியம்” (balanced accuracy), இது பதில்களின் இரண்டு வரிசைகளிலும் அதன் வெற்றியைச் சராசரியாக்குகிறது); GPT-5-க்கு இன்னும் 92.5%. GPT-5 அதிக மனிதத்தன்மையுடன் ஒலிக்கிறது, ஆனால் தகவல் இன்னும் அங்கேயே இருக்கிறது.

மாறியது, அந்தத் தகவலை எந்தத் துப்புகள் சுமக்கின்றன என்பதுதான். GPT-4 முக்கியமாக நீண்ட பதில்கள், குறைவான எழுத்துப் பிழைகள், அதிகத் திரும்பத் திரும்பக் கூறல் மூலம் தன்னைக் காட்டிக்கொடுத்தது. GPT-5-இல் நீள இடைவெளி கூர்மையாகக் குறைந்தது; அதே நேரம் அடர்த்தியான நிறுத்தக்குறிகளும் குறைவான எழுத்துப் பிழைகளும் வெளிப்படுத்தும் அறிகுறிகளாயின. மனித நடுவர்கள் தொடர்ந்து நீளத்தையே நம்பினர் — முந்தைய உரையாடு மென்பொருள்களின் அடிப்படையில் அளவீடு செய்யப்பட்ட ஒரு பழக்கம் என்று ஆசிரியர்கள் கருதுகின்றனர். உரையாடு மென்பொருள்களை அடிக்கடி பயன்படுத்துவதாகக் கூறியவர்கள் ஓரளவு புதுப்பித்துக்கொண்டிருந்தனர்: “செயற்கை நுண்ணறிவைக் கண்டுபிடி” பணியில் அவர்கள் நிறுத்தக்குறிகளுக்கும் எழுத்துப் பிழைகளுக்கும் சரியான எடை கொடுத்தனர். இதற்கிடையில், GPT-5 அடர்த்தியான நிறுத்தக்குறிகளையும் மிகைச்சொல்லையும் செயற்கை நுண்ணறிவுடனும், எழுத்துப் பிழைகளை மனிதர்களுடனும் இணைத்தது — உண்மையான வேறுபாடுகளுடன் கிட்டத்தட்டச் சரியாகப் பொருந்தியது.

சரியான துப்புகள், தவறான திசைகள்

கடைசி நிலை, நடுவர்கள் தங்கள் விளக்கங்களில் எழுதியதை, அவர்களின் தேர்வுகள் உண்மையில் சார்ந்திருந்தவற்றுடன் ஒப்பிட்டது. இங்கே தரவரிசை தலைகீழாகிறது. மனிதர்களின் விளக்கங்கள் அவர்களின் தேர்வுகளுடன் ஒப்பீட்டளவில் நன்றாகப் பொருந்தின (GPT-4 தொடரில் சுமார் 0.63 ஒத்திசைவு; விளக்கங்களும் தேர்வுகளும் ஒரே திசையைச் சுட்டினால் 1 என்று பொருள்படும் அளவுகோலில்). GPT-5 தான் உண்மையில் பயன்படுத்திய அம்சங்கள் பலவற்றைப் பெயரிட்டது, ஆனால் அவற்றில் சிலவற்றின் திசையைத் தவறாகக் கூறியது: இரண்டு பணிகளிலும், அதிகப் பகுப்பாய்வுத் தொனி, அதிக வாசிப்பெளிமை, அதிக விவரம் ஆகியவை செயற்கை நுண்ணறிவைச் சுட்டுவதாக அது கூறியது; அதன் தேர்வுகளோ இந்த மூன்றையும் மனிதப் பதில்களுடன் இணைத்தன. அதன் விளக்கங்கள் அதன் உண்மையான எடையிடலுடன் பொருந்திய அளவு, மனிதர்களின் விளக்கங்கள் பொருந்தியதை விட மிகக் குறைவு.

இதை ஆசிரியர்கள் நிகழ்வுக்குப் பின் செய்யப்பட்ட தூய புனைவாகக் கருதவில்லை, ஏனெனில் GPT-5-இன் விளக்கங்கள் இரண்டு அளவீடுகளிலும் தற்செயலை விட மேலேயே இருந்தன; பொருத்தமின்மை ஒரு சில அம்சங்களுக்கு மட்டுமே உரியது. ஒரு மாதிரியின் விளக்கங்களை நம்பியிருக்கும் பயனர்களுக்கு, இத்தகைய உள்ளூர் இடைவெளி ஒத்திசைவு (alignment) பற்றிய ஒரு மாயையை உருவாக்கக்கூடும் என்று அவர்கள் எச்சரிக்கின்றனர்.

இந்த ஆய்வு இரண்டு OpenAI மாதிரிகளை உள்ளடக்குகிறது; ஒவ்வொன்றும் தனது சொந்தத் தலைமுறையின் பதில்களை, எட்டுச் சிறிய கதைகளின் மீது மதிப்பிடுகிறது. இந்த ஒத்திசைவு அளவுகோலில், GPT-5 ஒரு பணியில் 0.297, மற்றொன்றில் 0.296 மதிப்பெண் பெற்றது, மனிதர்களை விடக் கணிசமாகக் குறைவு — இரண்டு முறையும் அதே மூன்று அம்சங்கள் தலைகீழாக.