తన సొంత రచనను GPT-5 మనకంటే బాగా గుర్తుపడుతుంది
అసలైన ట్యూరింగ్ పరీక్షలో, ఒక మానవ ప్రశ్నకర్త రాతపూర్వక సందేశాలను మార్పిడి చేసుకుంటూ ఒక పురుషుడిని ఒక స్త్రీ నుంచి వేరుచేయడానికి ప్రయత్నిస్తాడు. ఏదో ఒక దశలో పురుషుడి స్థానంలో ఒక యంత్రం వస్తుంది. ప్రశ్నకర్త అప్పటికీ యంత్రాన్ని స్త్రీ నుంచి వేరుచేయలేకపోతే, యంత్రం ఉత్తీర్ణమైందని అంటారు. ట్యూరింగ్ దీన్ని ఒక తాత్విక ఆలోచనా ప్రయోగంగా ఉద్దేశించాడు, అయినా దశాబ్దాలుగా ఇది కృత్రిమ మేధకు ఒక కొలమానంగా పనిచేసింది — ChatGPT లాంటి చాట్‌బాట్‌లు చివరకు దాన్ని ఉత్తీర్ణమయ్యాయనే ఇటీవలి వాదనలు ఒక పాత ప్రశ్నను మళ్లీ లేవనెత్తాయి: ఉత్తీర్ణం కావడం నిజానికి ఏమి రుజువు చేస్తుంది?
న్యాయనిర్ణేతను మోసగించే రెండు మార్గాలు
యూనివర్సిటీ మెడికల్ సెంటర్ హాంబర్గ్-ఎప్పెన్‌డార్ఫ్‌కు చెందిన Cristina Becchio నేతృత్వంలోని ఒక బృందం, మోసపోయిన ప్రశ్నకర్త అంటే రెండు చాలా భిన్నమైన విషయాలు కావచ్చని ఎత్తిచూపుతుంది.
- సంకేతీకరణ (encoding) వైఫల్యం. యంత్రం జవాబులు మనుషుల జవాబులతో ఎంత దగ్గరగా అతివ్యాప్తి చెందుతాయంటే, వచనం ఇక దాని మూలం గురించి ఎలాంటి ఆధారాన్నీ మోయదు. ఎంత నైపుణ్యం ఉన్న పరిశీలకుడైనా యాదృచ్ఛికాన్ని అధిగమించలేడు. అది ఒక బలమైన ఫలితం అవుతుంది.
- పఠనం (readout) వైఫల్యం. ఆధారాలు వచనంలో ఉన్నాయి, కానీ ప్రశ్నకర్త వాటిని పట్టుకోలేదు. మరో న్యాయనిర్ణేత — ఉదాహరణకు ఒక కృత్రిమ న్యాయనిర్ణేత — విజయం సాధించవచ్చు. అప్పుడు పరీక్ష యంత్రం గురించి కంటే న్యాయనిర్ణేత గురించే ఎక్కువ చెబుతుంది.
సంప్రదాయ పరీక్ష ఈ రెండింటినీ కలిపేస్తుంది. రచయితలు మూడో స్థాయిని జోడిస్తారు, మెటా-పఠనం (meta-readout): తన సొంత నిర్ణయానికి ఏ ఆధారాలు మార్గనిర్దేశం చేశాయో ఒక న్యాయనిర్ణేత సరిగ్గా చెప్పగలరా?
వింత కథలు, రెండు జవాబులు
ఈ స్థాయిలను వేరుచేయడానికి, బృందం ట్యూరింగ్ పరీక్షను తలకిందులు చేసింది: మనుషులూ, AI వ్యవస్థలూ రెండూ ప్రశ్నకర్త స్థానంలో కూర్చున్నాయి. సామగ్రి స్ట్రేంజ్ స్టోరీస్ (Strange Stories) పరీక్ష నుంచి వచ్చింది, ఇది ఎనిమిది చిన్న సామాజిక సన్నివేశాల సమితి — మోసం, వ్యంగ్యం, ఒప్పించడం, అపార్థం — ప్రతి ఒక్కటీ ఒక పాత్ర ఏమి ఆలోచిస్తుంది లేదా ఎందుకు అలా ప్రవర్తిస్తుంది అనే ప్రశ్నతో ముగుస్తుంది. మనుషులూ GPT మోడళ్లూ వాటికి జవాబిచ్చారు, సరైన జవాబులను మాత్రమే ఉంచారు, తద్వారా ఒక న్యాయనిర్ణేత తప్పుడు తర్కం ద్వారా యంత్రాన్ని బయటపెట్టలేరు.
ప్రతి ప్రశ్నకర్త ఒక కథనూ దానికి రెండు జవాబులనూ చూశారు, ఒకటి మనిషిది, ఒకటి AIది, ఆపై మనిషి జవాబునో AI జవాబునో ఎంచుకోవాలి, తమ నమ్మకానికి రేటింగ్ ఇవ్వాలి, తమ ఎంపికను రాతపూర్వకంగా వివరించాలి. మొదటి అధ్యయనాల శ్రేణిలో, GPT-4 జవాబులను మనుషులూ GPT-4 అంచనా వేశారు; రెండో శ్రేణిలో, GPT-5 జవాబులను మనుషులూ GPT-5 అంచనా వేశారు. మొత్తంగా, Prolific వేదిక ద్వారా 3,824 మంది ప్రజలు పాల్గొన్నారు, ఒక్కొక్కరూ ఒకే ఒక్క తీర్పు ఇచ్చారు, దానికి సరిపోలేలా మోడళ్లను అన్నిసార్లు నడిపారు.
పనితీరుకు సున్నితత్వం (sensitivity), d′ అనే కొలతతో స్కోరు ఇచ్చారు: సున్నా అంటే ఊహించడం, ఎక్కువ అంటే మెరుగైన విభేదన, రుణ విలువ అంటే న్యాయనిర్ణేత క్రమపద్ధతిలో తప్పు చేస్తున్నారు.
మనుషులు జారిపోతారు, GPT-5 పదునెక్కుతుంది
GPT-4కు వ్యతిరేకంగా, మనుషులు ఓ మోస్తరుగా బాగానే రాణించారు, AI జవాబును కనుగొనమని అడిగినప్పుడు d′ 1.36, మనిషి జవాబును కనుగొనమని అడిగినప్పుడు 1.10. న్యాయనిర్ణేతగా GPT-4 బలహీనంగా ఉంది, “మనిషిని కనుగొను” పనిలో దాని స్కోరు రుణాత్మకం, −1.11: అది సరైన జవాబు కంటే తప్పుడు జవాబునే ఎక్కువసార్లు చూపింది.
GPT-5కు వ్యతిరేకంగా, రెండో శ్రేణిలోని మనుషులు 0.77, 0.27కు జారిపోయారు — ఇప్పటికీ యాదృచ్ఛికం కంటే ఎక్కువే, కానీ మనిషి పనిలో అతి కొద్దిగా మాత్రమే. న్యాయనిర్ణేతగా GPT-5 దీనికి విరుద్ధంగా చేసింది, 2.09, 2.01కు చేరుకుని, రెండు పనుల్లోనూ మనుషుల కంటే బాగా పైన నిలిచింది.
ఆధారాలు ఎన్నడూ మాయం కాలేదు
మనుషుల పతనం సంకేతీకరణ వైఫల్యమా? దాన్ని తనిఖీ చేయడానికి, పరిశోధకులు ప్రతి జవాబులోనూ 12 లక్షణాలను కొలిచారు — పొడవు, వివరం, అక్షర దోషాలు, పునరుక్తి, విరామ చిహ్నాలు, చదవడానికి సౌలభ్యం, విశ్లేషణాత్మక లేదా సంభాషణాత్మక స్వరం, ఇంకా ఇతరాలు — వాటి నుంచి మూలాన్ని ఊహించడానికి ఒక సాధారణ గణాంక మోడల్‌కు శిక్షణ ఇచ్చారు. అది GPT-4 జవాబులకు 98.3% సందర్భాల్లో సరైన మూలాన్ని ఎంచుకుంది (0.983 “సమతుల్య ఖచ్చితత్వం” — balanced accuracy — ఇది రెండు జవాబుల క్రమాలపై దాని విజయాన్ని సగటు చేస్తుంది), GPT-5కు ఇప్పటికీ 92.5%. GPT-5 ఎక్కువ మనిషిలా అనిపిస్తుంది, కానీ సమాచారం ఇంకా అక్కడే ఉంది.
మారిందల్లా దాన్ని ఏ ఆధారాలు మోస్తున్నాయనేదే. GPT-4 ప్రధానంగా పొడవైన జవాబులు, తక్కువ అక్షర దోషాలు, ఎక్కువ పునరుక్తి ద్వారా బయటపడింది. GPT-5తో పొడవులో తేడా బాగా తగ్గిపోయింది, కాగా దట్టమైన విరామ చిహ్నాలు, తక్కువ అక్షర దోషాలు పట్టిచ్చే సంకేతాలుగా మారాయి. మానవ న్యాయనిర్ణేతలు పొడవుపైనే ఆధారపడుతూ వచ్చారు — మునుపటి చాట్‌బాట్‌లపై సర్దుబాటైన ఒక అలవాటు అని రచయితలు సూచిస్తారు. చాట్‌బాట్‌లను తరచుగా వాడతామని చెప్పినవారు పాక్షికంగా తమను తాము నవీకరించుకున్నారు: “AIని కనుగొను” పనిలో వారు విరామ చిహ్నాలకూ అక్షర దోషాలకూ సరైన ప్రాధాన్యం ఇచ్చారు. ఇంతలో GPT-5 దట్టమైన విరామ చిహ్నాలనూ పునరుక్తినీ AIతో, అక్షర దోషాలను మనుషులతో ముడిపెట్టింది, నిజమైన తేడాలతో దాదాపు సంపూర్ణంగా సరిపోలింది.
సరైన ఆధారాలు, తప్పుడు దిశలు
చివరి స్థాయి, న్యాయనిర్ణేతలు తమ వివరణల్లో రాసినదాన్ని వారి ఎంపికలు వాస్తవంగా దేనిపై ఆధారపడ్డాయో దానితో పోల్చింది. ఇక్కడ ర్యాంకింగ్ తలకిందులవుతుంది. మనుషుల వివరణలు వారి ఎంపికలతో తులనాత్మకంగా మెరుగ్గా సరిపోలాయి (GPT-4 శ్రేణిలో సుమారు 0.63 సమన్వయం; వివరణలూ ఎంపికలూ ఒకే దిశను చూపితే 1 అయ్యే కొలమానంపై). GPT-5 తాను నిజంగా వాడిన అనేక లక్షణాలను పేర్కొంది, కానీ వాటిలో కొన్నింటి దిశను తప్పుగా చెప్పింది: రెండు పనుల్లోనూ, ఎక్కువ విశ్లేషణాత్మక స్వరం, ఎక్కువ చదవడానికి సౌలభ్యం, ఎక్కువ వివరం AIని సూచిస్తాయని అది చెప్పింది, కాగా దాని ఎంపికలు ఈ మూడింటినీ మనుషుల జవాబులతో ముడిపెట్టాయి. దాని వివరణలు దాని వాస్తవ ప్రాధాన్యాలతో మనుషుల వివరణల కంటే చాలా తక్కువగా సరిపోలాయి.
రచయితలు దీన్ని తర్వాత కల్పించిన స్వచ్ఛమైన కట్టుకథగా చూడరు, ఎందుకంటే GPT-5 వివరణలు రెండు కొలతల్లోనూ యాదృచ్ఛికం కంటే ఎక్కువగానే ఉన్నాయి; ఈ అసమతుల్యత కొన్ని లక్షణాలకే పరిమితం. ఒక మోడల్ వివరణలపై ఆధారపడే వినియోగదారులకు ఇలాంటి స్థానిక అంతరం సమన్వయం (alignment) ఉన్నట్టు ఒక భ్రమను సృష్టించగలదని వారు హెచ్చరిస్తారు.
ఈ అధ్యయనం రెండు OpenAI మోడళ్లను, ప్రతి ఒక్కటీ తన సొంత తరం జవాబులను అంచనా వేస్తూ, ఎనిమిది చిన్న కథలపై కవర్ చేస్తుంది. ఈ సమన్వయ కొలమానంపై GPT-5 ఒక పనిలో 0.297, మరో పనిలో 0.296 స్కోరు సాధించింది, మనుషుల కంటే గణనీయంగా తక్కువ — రెండుసార్లూ అవే మూడు లక్షణాలు తిరగబడి.