GPT-5 اپنی لکھت نوں ساڈے نالوں چنگا پچھاندا اے
اصلی ٹیورنگ ٹیسٹ وچ، اک انسانی پچھ گچھ کرن والا (interrogator) لکھے ہوئے سنیہے گھلدا تے لیندا اے تے اک بندے نوں اک زنانی توں وکھرا کرن دی کوشش کردا اے۔ کسے ویلے بندے دی تھاں اک مشین آ جاندی اے۔ جے پچھ گچھ کرن والا فیر وی مشین نوں زنانی توں وکھرا نہ کر سکے، تے آکھیا جاندا اے کہ مشین پاس ہو گئی۔ ٹیورنگ نے ایہنوں اک فلسفیانہ سوچ تجربے وجوں سوچیا سی، پر کئی دہاکیاں توں ایہہ مصنوعی ذہانت (artificial intelligence) لئی اک کسوٹی بنیا ہویا اے — تے حالیہ دعوے کہ ChatGPT ورگے چیٹ بوٹ (chatbots) آخرکار ایہدے وچوں پاس ہو گئے نیں، اک پرانے سوال نوں فیر جگا دتا اے: پاس ہونا اصل وچ ثابت کیہ کردا اے؟
جج نوں دھوکا دین دے دو طریقے
University Medical Center Hamburg-Eppendorf دی Cristina Becchio دی اگوائی وچ اک ٹیم دسدی اے کہ دھوکا کھادے پچھ گچھ کرن والے دا مطلب دو بالکل وکھریاں گلاں ہو سکدیاں نیں۔
- انکوڈنگ دی ناکامی (encoding). مشین دے جواب انسانی جواباں نال انے رَل جاندے نیں کہ لکھت وچ اپنے سرچشمے بارے کوئی اشارہ باقی نہیں رہندا۔ کوئی ویکھن والا، بھاویں کنا وی ماہر ہووے، اتفاق توں اگے نہیں ودھ سکدا۔ ایہہ اک تکڑا نتیجہ ہووے گا۔
- پڑھت دی ناکامی (readout). اشارے لکھت وچ ہوندے نیں، پر پچھ گچھ کرن والا اوہناں نوں نہیں پھڑدا۔ کوئی ہور جج — مثلاً اک مصنوعی جج — کامیاب ہو سکدا اے۔ فیر ٹیسٹ مشین بارے گھٹ تے جج بارے ودھ دسدا اے۔
کلاسیکی ٹیسٹ دوہاں نوں اکٹھا رلا دیندا اے۔ لکھاری اک تیجا درجہ جوڑدے نیں، میٹا-پڑھت (meta-readout): کیہ کوئی جج ٹھیک ٹھیک دس سکدا اے کہ کیہڑے اشاریاں نے اوہدے اپنے فیصلے دی رہنمائی کیتی؟
عجیب کہانیاں، دو جواب
ایہناں درجیاں نوں وکھرا کرن لئی، ٹیم نے ٹیورنگ ٹیسٹ نوں اُلٹا دتا: انسان تے AI سسٹم دوویں پچھ گچھ کرن والے دی کرسی اُتے بیٹھے۔ مواد Strange Stories (عجیب کہانیاں) ٹیسٹ توں لیا گیا، جو اٹھ نکیاں سماجی صورتاں دا اک مجموعہ اے — دھوکا، طنز، قائل کرنا، غلط فہمی — تے ہر اک دے اخیر وچ اک سوال ہوندا اے کہ کوئی کردار کیہ سوچدا اے یاں کیوں اجیہا کردا اے۔ انساناں تے GPT ماڈلاں نے ایہناں دے جواب دتے سن، تے صرف ٹھیک جواب رکھے گئے، تاں جو کوئی جج غلط دلیل راہیں مشین دا پردہ نہ چُک سکے۔
ہر پچھ گچھ کرن والے نے اک کہانی تے اوہدے دو جواب ویکھے، اک انسان دا تے اک AI دا، فیر اوہنوں یاں تے انسانی جواب یاں AI والا جواب چُننا سی، اپنے یقین دا درجہ دسنا سی تے اپنی چون لکھ کے سمجھاؤنی سی۔ تحقیقاں دی پہلی لڑی وچ، GPT-4 دے جواباں دا فیصلہ انساناں تے GPT-4 نے کیتا؛ دوجی وچ، GPT-5 دے جواباں دا فیصلہ انساناں تے GPT-5 نے کیتا۔ کُل ملا کے، Prolific پلیٹ فارم راہیں 3,824 لوکاں نے حصہ لیا، ہر اک نے اک ای فیصلہ دتا، تے اوہناں دے برابر ماڈلاں دیاں دوڑاں (runs) نال اوہناں دا جوڑ بنایا گیا۔
کارکردگی نوں حساسیت (sensitivity)، d′، ناں دے اک ناپ نال گنیا گیا: صفر دا مطلب اے اندازہ لاؤنا، ودھ دا مطلب اے چنگی پچھان، تے منفی قدر دا مطلب اے کہ جج باقاعدگی نال غلط اے۔
لوک تِلکدے نیں، GPT-5 تیز ہوندا اے
GPT-4 دے مقابلے، انساناں نے کافی چنگا کیتا: AI والا جواب لبھن لئی آکھے جان اُتے d′ 1.36 تے انسانی جواب لبھن لئی آکھے جان اُتے 1.10 رہیا۔ جج دے طور تے GPT-4 کمزور سی، تے “انسان لبھو” والے کم وچ اوہدا سکور منفی سی، −1.11: اوہنے ٹھیک جواب نالوں غلط جواب ول ودھ اشارہ کیتا۔
GPT-5 دے مقابلے، دوجی لڑی دے انسان تِلک کے 0.77 تے 0.27 اُتے آ گئے — فیر وی اتفاق توں اُتے، پر انسانی کم وچ مساں۔ جج دے طور تے GPT-5 نے اُلٹ کیتا، تے 2.09 تے 2.01 تیکر اپڑیا، دوہاں کماں وچ انساناں توں کتے اُتے۔
اشارے کدی غائب نہیں ہوئے
کیہ انساناں دا تِلکنا انکوڈنگ دی ناکامی سی؟ ایہہ جانچن لئی، کھوجیاں نے ہر جواب دیاں 12 خوبیاں ناپیاں — لمبائی، تفصیل، لکھائی دیاں غلطیاں (typos)، دوہراؤ، رموزِ اوقاف (punctuation)، پڑھن وچ سوکھ، تجزیاتی یاں گل بات والا لہجہ، تے ہور — تے اک سادہ شماریاتی ماڈل نوں سکھایا کہ اوہناں توں سرچشمے دا اندازہ لائے۔ ایہنے GPT-4 دے جواباں لئی 98.3% ویلے ٹھیک سرچشمہ چُنیا (0.983 دی “متوازن درستی”، balanced accuracy، جو جواباں دیاں دوہاں ترتیباں اُتے اوہدی کامیابی دی اوسط کڈھدی اے) تے GPT-5 لئی فیر وی 92.5%۔ GPT-5 ودھ انسانی لگدا اے، پر جانکاری اجے وی اوتھے ای اے۔
جو بدلیا اوہ ایہہ سی کہ ایہہ جانکاری کیہڑے اشارے چُکدے نیں۔ GPT-4 اپنے آپ نوں زیادہ تر لمے جواباں، گھٹ لکھائی دیاں غلطیاں تے ودھ دوہراؤ راہیں ننگا کردا سی۔ GPT-5 نال لمبائی دا فرق بہت گھٹ گیا، جدکہ ودھ سنگھنے رموزِ اوقاف تے گھٹ لکھائی دیاں غلطیاں پچھان کراؤن والیاں نشانیاں بن گئیاں۔ انسانی جج لمبائی اُتے ای ٹکے رہے — لکھاریاں دے خیال وچ، ایہہ پہلاں دے چیٹ بوٹاں اُتے بنی اک عادت اے۔ جیہڑے لوکاں نے دسیا کہ اوہ اکثر چیٹ بوٹ ورتدے نیں، اوہناں نے کجھ حد تیکر اپنی سوچ نویں کر لئی سی: “AI لبھو” والے کم وچ اوہناں نے رموزِ اوقاف تے لکھائی دیاں غلطیاں نوں ٹھیک وزن دتا۔ اودھر GPT-5 نے سنگھنے رموزِ اوقاف تے دوہراؤ نوں AI نال، تے لکھائی دیاں غلطیاں نوں انساناں نال جوڑیا، جو اصل فرقاں نال لگ بھگ پوری طرحاں میل کھاندا سی۔
ٹھیک اشارے، غلط پاسے
آخری درجے نے ایہہ مقابلہ کیتا کہ ججاں نے اپنیاں وضاحتاں وچ کیہ لکھیا تے اوہناں دیاں چوناں اصل وچ کس اُتے ٹکیاں سن۔ ایتھے درجہ بندی اُلٹ جاندی اے۔ انساناں دیاں وضاحتاں اوہناں دیاں چوناں نال نسبتاً چنگی طرحاں میل کھاندیاں سن (GPT-4 لڑی وچ لگ بھگ 0.63 دا میل، اجیہے پیمانے اُتے جتھے 1 دا مطلب اے کہ وضاحتاں تے چوناں اکو پاسے اشارہ کردیاں نیں)۔ GPT-5 نے بہت ساریاں اوہ خوبیاں گنوائیاں جو اوہنے سچی مچی ورتیاں سن، پر اوہناں وچوں کجھ دا پاسا غلط دسیا: دوہاں کماں وچ، اوہنے آکھیا کہ ودھ تجزیاتی لہجہ، ودھ پڑھن وچ سوکھ تے ودھ تفصیل AI ول اشارہ کردے نیں، جدکہ اوہدیاں چوناں نے ایہناں تِناں نوں انسانی جواباں نال جوڑیا۔ اوہدیاں وضاحتاں اوہدے اصل وزن نال انساناں دیاں وضاحتاں نالوں کتے گھٹ میل کھاندیاں سن۔
لکھاری ایہنوں بعد وچ گھڑی گئی نری کہانی نہیں سمجھدے، کیوں جے GPT-5 دیاں وضاحتاں دوہاں ناپاں اُتے اتفاق توں اُتے رہیاں؛ بے میلی کجھ خوبیاں تیکر ای محدود اے۔ اوہ خبردار کردے نیں کہ اجیہا مقامی پاڑ اوہناں ورتن والیاں لئی میل دا بھلیکھا پیدا کر سکدا اے جو کسے ماڈل دیاں وضاحتاں اُتے بھروسا کردے نیں۔
ایہہ تحقیق OpenAI دے دو ماڈلاں اُتے اے، جنہاں وچوں ہر اک اپنی ای پیڑھی دے جواباں دا فیصلہ کردا اے، اٹھ نکیاں کہانیاں اُتے۔ اوس میل والے پیمانے اُتے، GPT-5 نے اک کم وچ 0.297 تے دوجے وچ 0.296 سکور کیتا، جو انساناں توں کافی تھلے اے — تے دوویں واری اوہی تِن خوبیاں اُلٹیاں سن۔