GPT-5 اپنی تحریر کو ہم سے بہتر پہچانتا ہے
اصل ٹیورنگ ٹیسٹ میں ایک انسانی تفتیش کار تحریری پیغامات کا تبادلہ کرتا ہے اور ایک مرد کو ایک عورت سے الگ پہچاننے کی کوشش کرتا ہے۔ کسی مرحلے پر مرد کی جگہ ایک مشین لے لیتی ہے۔ اگر تفتیش کار پھر بھی مشین کو عورت سے الگ نہ پہچان سکے تو کہا جاتا ہے کہ مشین کامیاب ہو گئی۔ ٹیورنگ کا مقصد اسے ایک فلسفیانہ فکری تجربہ بنانا تھا، لیکن دہائیوں سے یہ مصنوعی ذہانت کے لیے ایک کسوٹی کا کام دیتا رہا ہے — اور حالیہ دعووں نے کہ ChatGPT جیسے چیٹ بوٹس آخرکار اس میں کامیاب ہو گئے ہیں، ایک پرانا سوال پھر زندہ کر دیا ہے: کامیاب ہونا دراصل ثابت کیا کرتا ہے؟
منصف کو دھوکا دینے کے دو طریقے
یونیورسٹی میڈیکل سینٹر ہیمبرگ-ایپینڈورف (University Medical Center Hamburg-Eppendorf) کی کرسٹینا بیکیو (Cristina Becchio) کی قیادت میں ایک ٹیم نشاندہی کرتی ہے کہ دھوکا کھائے ہوئے تفتیش کار کے دو بالکل مختلف مطلب ہو سکتے ہیں۔
- رمز بندی (encoding) کی ناکامی۔ مشین کے جوابات انسانی جوابات سے اتنے قریب سے منطبق ہوتے ہیں کہ متن میں اس کے ماخذ کا کوئی سراغ باقی نہیں رہتا۔ کوئی مشاہدہ کار، خواہ کتنا ہی ماہر ہو، اتفاق سے بہتر نتیجہ نہیں دے سکتا۔ یہ ایک مضبوط نتیجہ ہوگا۔
- قرأت (readout) کی ناکامی۔ سراغ متن میں موجود ہیں، لیکن تفتیش کار انہیں نہیں پکڑتا۔ کوئی دوسرا منصف — مثلاً ایک مصنوعی منصف — کامیاب ہو سکتا ہے۔ تب ٹیسٹ مشین سے زیادہ منصف کے بارے میں بتاتا ہے۔
کلاسیکی ٹیسٹ دونوں کو گڈمڈ کر دیتا ہے۔ مصنفین ایک تیسری سطح کا اضافہ کرتے ہیں، ماورائی قرأت (meta-readout): کیا کوئی منصف درست طور پر بتا سکتا ہے کہ کن سراغوں نے اس کے اپنے فیصلے کی رہنمائی کی؟
عجیب کہانیاں، دو جواب
ان سطحوں کو الگ کرنے کے لیے ٹیم نے ٹیورنگ ٹیسٹ کو الٹ دیا: انسان اور AI نظام دونوں تفتیش کار کی کرسی پر بیٹھے۔ مواد Strange Stories (عجیب کہانیاں) ٹیسٹ سے لیا گیا، جو آٹھ مختصر سماجی منظرناموں — دھوکا، طنز، قائل کرنا، غلط فہمی — کا مجموعہ ہے، اور ہر ایک کے آخر میں سوال ہوتا ہے کہ کوئی کردار کیا سوچتا ہے یا کیوں کوئی کام کرتا ہے۔ انسانوں اور GPT ماڈلوں نے ان کے جواب دیے تھے، اور صرف درست جوابات رکھے گئے، تاکہ کوئی منصف ناقص استدلال کے ذریعے مشین کا پردہ فاش نہ کر سکے۔
ہر تفتیش کار ایک کہانی اور اس کے دو جواب دیکھتا تھا، ایک انسانی اور ایک AI کا، پھر اسے یا تو انسانی جواب چننا ہوتا یا AI والا، اپنے اعتماد کی درجہ بندی کرنی ہوتی اور تحریری طور پر اپنے انتخاب کی وضاحت کرنی ہوتی۔ مطالعات کے پہلے سلسلے میں GPT-4 کے جوابات کو انسانوں اور GPT-4 نے پرکھا؛ دوسرے میں GPT-5 کے جوابات کو انسانوں اور GPT-5 نے۔ مجموعی طور پر 3,824 افراد نے Prolific پلیٹ فارم کے ذریعے حصہ لیا، ہر ایک نے ایک ہی فیصلہ دیا، اور ان کے مقابل ماڈلوں کی اتنی ہی دوڑیں (runs) رکھی گئیں۔
کارکردگی کو حساسیت (sensitivity)، d′، نامی ایک پیمانے سے ناپا گیا: صفر کا مطلب ہے اندازے سے جواب، زیادہ کا مطلب بہتر امتیاز، اور منفی قدر کا مطلب ہے کہ منصف منظم طور پر غلط ہے۔
لوگ پھسلتے ہیں، GPT-5 تیز ہوتا ہے
GPT-4 کے مقابلے میں انسانوں نے معقول کارکردگی دکھائی: AI کا جواب ڈھونڈنے کو کہا گیا تو d′ 1.36 اور انسانی جواب ڈھونڈنے کو کہا گیا تو 1.10 رہا۔ منصف کے طور پر GPT-4 کمزور تھا، اور “انسان ڈھونڈو” والے کام میں اس کا اسکور منفی، −1.11، تھا: وہ درست جواب کے بجائے زیادہ بار غلط جواب کی طرف اشارہ کرتا تھا۔
GPT-5 کے مقابلے میں دوسرے سلسلے کے انسان گر کر 0.77 اور 0.27 پر آ گئے — اب بھی اتفاق سے بہتر، لیکن انسانی جواب والے کام میں بمشکل۔ منصف کے طور پر GPT-5 نے اس کے برعکس کیا، 2.09 اور 2.01 تک پہنچا، جو دونوں کاموں میں انسانوں سے کہیں اوپر تھا۔
سراغ کبھی غائب نہیں ہوئے
کیا انسانوں کی گراوٹ رمز بندی کی ناکامی تھی؟ یہ جانچنے کے لیے محققین نے ہر جواب کی 12 خصوصیات ناپیں — طوالت، تفصیل، ٹائپنگ کی غلطیاں، تکرار، رموزِ اوقاف، پڑھنے میں آسانی، تجزیاتی یا گفتگو والا لہجہ، وغیرہ — اور ان سے ماخذ کا اندازہ لگانے کے لیے ایک سادہ شماریاتی ماڈل کو تربیت دی۔ اس نے GPT-4 کے جوابات کے لیے 98.3% بار درست ماخذ چنا (0.983 کی “متوازن درستی”، جو جوابات کی دونوں ترتیبوں پر اس کی کامیابی کی اوسط ہے) اور GPT-5 کے لیے بھی 92.5% بار۔ GPT-5 زیادہ انسان جیسا لگتا ہے، لیکن معلومات اب بھی موجود ہیں۔
جو بدلا وہ یہ تھا کہ کون سے سراغ یہ معلومات اٹھائے ہوئے ہیں۔ GPT-4 بنیادی طور پر لمبے جوابات، کم ٹائپنگ غلطیوں اور زیادہ تکرار سے پہچانا جاتا تھا۔ GPT-5 کے ساتھ طوالت کا فرق تیزی سے سکڑ گیا، جبکہ زیادہ گھنے رموزِ اوقاف اور کم ٹائپنگ غلطیاں نمایاں علامتیں بن گئیں۔ انسانی منصف طوالت ہی پر انحصار کرتے رہے — ایک عادت جو، مصنفین کے خیال میں، پچھلے چیٹ بوٹس پر ترتیب پائی تھی۔ جن لوگوں نے بتایا کہ وہ اکثر چیٹ بوٹس استعمال کرتے ہیں، وہ جزوی طور پر خود کو اپ ڈیٹ کر چکے تھے: “AI ڈھونڈو” والے کام میں وہ رموزِ اوقاف اور ٹائپنگ غلطیوں کو درست وزن دیتے تھے۔ دوسری طرف GPT-5 نے گھنے رموزِ اوقاف اور تکرار کو AI سے اور ٹائپنگ غلطیوں کو انسانوں سے جوڑا، جو اصل فرق سے تقریباً مکمل طور پر میل کھاتا تھا۔
درست سراغ، غلط سمتیں
آخری سطح نے اس کا موازنہ کیا کہ منصفوں نے اپنی وضاحتوں میں کیا لکھا اور ان کے انتخاب دراصل کس چیز پر مبنی تھے۔ یہاں درجہ بندی الٹ جاتی ہے۔ انسانوں کی وضاحتیں ان کے انتخاب سے نسبتاً اچھی طرح میل کھاتی تھیں (GPT-4 والے سلسلے میں تقریباً 0.63 کی ہم آہنگی، ایک ایسے پیمانے پر جس میں 1 کا مطلب ہے کہ وضاحتیں اور انتخاب ایک ہی سمت میں اشارہ کرتے ہیں)۔ GPT-5 نے بہت سی ایسی خصوصیات کا نام لیا جو وہ واقعی استعمال کرتا تھا، لیکن ان میں سے کچھ کی سمت غلط بتائی: دونوں کاموں میں اس نے کہا کہ زیادہ تجزیاتی لہجہ، زیادہ آسانی سے پڑھا جانا اور زیادہ تفصیل AI کی طرف اشارہ کرتے ہیں، جبکہ اس کے انتخاب ان تینوں کو انسانی جوابات سے جوڑتے تھے۔ اس کی وضاحتیں اس کی اصل وزن بندی سے انسانوں کی وضاحتوں کے مقابلے میں کہیں کم میل کھاتی تھیں۔
مصنفین اسے بعد میں گھڑی گئی محض من گھڑت بات نہیں سمجھتے، کیونکہ GPT-5 کی وضاحتیں دونوں پیمانوں پر اتفاق سے بہتر رہیں؛ بے میلی صرف چند خصوصیات تک محدود ہے۔ وہ خبردار کرتے ہیں کہ ایسا مقامی خلا ان صارفین کے لیے ہم آہنگی کا فریب پیدا کر سکتا ہے جو کسی ماڈل کی وضاحتوں پر بھروسا کرتے ہیں۔
یہ مطالعہ OpenAI کے دو ماڈلوں کا احاطہ کرتا ہے، جن میں سے ہر ایک نے آٹھ مختصر کہانیوں پر اپنی ہی نسل کے جوابات پرکھے۔ اس ہم آہنگی کے پیمانے پر GPT-5 نے ایک کام میں 0.297 اور دوسرے میں 0.296 اسکور کیا، جو انسانوں سے نمایاں طور پر کم ہے — اور دونوں بار وہی تین خصوصیات الٹی تھیں۔