GPT-5 নিজের লেখা আমাদের চেয়ে ভালো চেনে

মূল টুরিং পরীক্ষায় একজন মানব প্রশ্নকর্তা লিখিত বার্তা আদান-প্রদান করেন এবং একজন পুরুষকে একজন নারী থেকে আলাদা করে চেনার চেষ্টা করেন। কোনো এক পর্যায়ে পুরুষটির জায়গা নেয় একটি যন্ত্র। প্রশ্নকর্তা যদি তখনো যন্ত্রটিকে নারীটি থেকে আলাদা করতে না পারেন, তবে বলা হয় যন্ত্রটি পাস করেছে। টুরিং একে একটি দার্শনিক চিন্তা-পরীক্ষা হিসেবে ভেবেছিলেন, তবু দশকের পর দশক ধরে এটি কৃত্রিম বুদ্ধিমত্তার একটি মাপকাঠি হিসেবে কাজ করেছে — আর ChatGPT-র মতো চ্যাটবট অবশেষে এতে পাস করেছে, সাম্প্রতিক এমন দাবিগুলো একটি পুরোনো প্রশ্নকে আবার জাগিয়ে তুলেছে: পাস করা আসলে কী প্রমাণ করে?

বিচারককে ধোঁকা দেওয়ার দুটি উপায়

ইউনিভার্সিটি মেডিক্যাল সেন্টার হামবুর্গ-এপেনডর্ফের ক্রিস্টিনা বেক্কিওর (Cristina Becchio) নেতৃত্বাধীন একটি দল দেখিয়েছে, ধোঁকা-খাওয়া প্রশ্নকর্তার মানে দুটি সম্পূর্ণ ভিন্ন জিনিস হতে পারে।

• এনকোডিংয়ের ব্যর্থতা। যন্ত্রের উত্তর মানুষের উত্তরের সঙ্গে এত ঘনিষ্ঠভাবে মিলে যায় যে লেখায় তার উৎসের কোনো সূত্রই আর থাকে না। কোনো পর্যবেক্ষক, যত দক্ষই হোন, আন্দাজের চেয়ে ভালো করতে পারবেন না। এটি হবে একটি জোরালো ফল।
• রিডআউটের ব্যর্থতা। সূত্রগুলো লেখায় আছে, কিন্তু প্রশ্নকর্তা সেগুলো ধরতে পারেন না। অন্য কোনো বিচারক — ধরা যাক একটি কৃত্রিম বিচারক — সফল হতে পারে। তখন পরীক্ষাটি যন্ত্রের চেয়ে বিচারক সম্পর্কেই বেশি বলে।

ধ্রুপদি পরীক্ষাটি দুটোকে একসঙ্গে গুলিয়ে ফেলে। লেখকেরা একটি তৃতীয় স্তর যোগ করেছেন, মেটা-রিডআউট: একজন বিচারক কি সঠিকভাবে বলতে পারেন কোন সূত্রগুলো তাঁর নিজের সিদ্ধান্তকে চালিত করেছে?

অদ্ভুত গল্প, দুটি উত্তর

এই স্তরগুলো আলাদা করতে দলটি টুরিং পরীক্ষাকে উল্টে দিয়েছে: মানুষ ও AI ব্যবস্থা, দুই পক্ষই প্রশ্নকর্তার আসনে বসেছে। উপাদান এসেছে স্ট্রেঞ্জ স্টোরিজ (Strange Stories) পরীক্ষা থেকে, আটটি ছোট সামাজিক পরিস্থিতির একটি সংকলন — প্রতারণা, ব্যঙ্গ, প্ররোচনা, ভুল বোঝাবুঝি — যার প্রতিটি শেষ হয় একটি প্রশ্ন দিয়ে: কোনো চরিত্র কী ভাবছে বা কেন এমন করছে। মানুষ ও GPT মডেলগুলো এগুলোর উত্তর দিয়েছিল, আর কেবল সঠিক উত্তরগুলোই রাখা হয়েছে, যাতে কোনো বিচারক ভুল যুক্তির সূত্র ধরে যন্ত্রের মুখোশ খুলে দিতে না পারেন।

প্রত্যেক প্রশ্নকর্তা একটি গল্প আর তার দুটি উত্তর দেখেছেন, একটি মানুষের আর একটি AI-এর, তারপর তাঁকে হয় মানুষেরটি বা AI-এরটি বেছে নিতে হয়েছে, নিজের আস্থার মাত্রা জানাতে হয়েছে এবং লিখে বাছাইয়ের কারণ ব্যাখ্যা করতে হয়েছে। গবেষণার প্রথম ধারায় GPT-4-এর উত্তর বিচার করেছে মানুষ ও GPT-4; দ্বিতীয় ধারায় GPT-5-এর উত্তর বিচার করেছে মানুষ ও GPT-5। সব মিলিয়ে Prolific প্ল্যাটফর্মের মাধ্যমে 3,824 জন অংশ নিয়েছেন, প্রত্যেকে একটি করে রায় দিয়েছেন, আর তাঁদের সঙ্গে মেলানো হয়েছে মডেলগুলোর সমসংখ্যক চালনা।

কার্যকারিতা মাপা হয়েছে সংবেদনশীলতা, d′, নামের একটি পরিমাপ দিয়ে: শূন্য মানে আন্দাজ, বেশি মান মানে ভালো পার্থক্য করা, আর ঋণাত্মক মান মানে বিচারক নিয়মিতভাবে ভুল করছেন।

মানুষ পিছলে যায়, GPT-5 আরও ধারালো হয়

GPT-4-এর বিরুদ্ধে মানুষ মোটামুটি ভালোই করেছেন: AI-এর উত্তর খুঁজতে বলা হলে d′ ছিল 1.36, আর মানুষের উত্তর খুঁজতে বলা হলে 1.10। বিচারক হিসেবে GPT-4 দুর্বল ছিল, আর “মানুষ খোঁজো” কাজে তার নম্বর ছিল ঋণাত্মক, −1.11: সে সঠিক উত্তরের চেয়ে ভুল উত্তরের দিকেই বেশি বার আঙুল তুলেছে।

GPT-5-এর বিরুদ্ধে দ্বিতীয় ধারার মানুষ পিছলে নেমে এসেছেন 0.77 ও 0.27-এ — তখনো আন্দাজের চেয়ে ভালো, তবে মানুষ খোঁজার কাজে কোনোমতে। বিচারক হিসেবে GPT-5 করেছে উল্টোটা, পৌঁছেছে 2.09 ও 2.01-এ, দুই কাজেই মানুষের চেয়ে অনেক ওপরে।

সূত্রগুলো কখনো হারায়নি

মানুষের এই পতন কি এনকোডিংয়ের ব্যর্থতা ছিল? তা যাচাই করতে গবেষকেরা প্রতিটি উত্তরের 12টি বৈশিষ্ট্য মেপেছেন — দৈর্ঘ্য, বিস্তার, টাইপিংয়ের ভুল, পুনরাবৃত্তি, যতিচিহ্ন, পাঠযোগ্যতা, বিশ্লেষণধর্মী বা কথ্য সুর, এবং অন্যান্য — আর সেগুলো থেকে উৎস আন্দাজ করতে একটি সরল পরিসংখ্যানগত মডেলকে প্রশিক্ষণ দিয়েছেন। GPT-4-এর উত্তরের ক্ষেত্রে এটি 98.3% বার সঠিক উৎস বেছে নিয়েছে (0.983-এর একটি “ভারসাম্যপূর্ণ নির্ভুলতা”, যা উত্তর দুটির দুই ধরনের ক্রমে তার সাফল্যের গড়), আর GPT-5-এর ক্ষেত্রেও 92.5%। GPT-5 শুনতে বেশি মানুষের মতো, কিন্তু তথ্যটা এখনো রয়ে গেছে।

বদলেছে কোন সূত্রগুলো সেই তথ্য বহন করে। GPT-4 নিজেকে ধরিয়ে দিত মূলত লম্বা উত্তর, কম টাইপিং-ভুল আর বেশি পুনরাবৃত্তি দিয়ে। GPT-5-এর ক্ষেত্রে দৈর্ঘ্যের ফারাক তীব্রভাবে কমেছে, আর ঘন যতিচিহ্ন ও কম টাইপিং-ভুল হয়ে উঠেছে ধরিয়ে দেওয়ার চিহ্ন। মানব বিচারকেরা দৈর্ঘ্যের ওপরই ভর দিয়ে গেছেন — লেখকদের মতে, আগের চ্যাটবটগুলো দেখে গড়ে ওঠা একটি অভ্যাস। যাঁরা জানিয়েছেন তাঁরা প্রায়ই চ্যাটবট ব্যবহার করেন, তাঁরা নিজেদের আংশিকভাবে হালনাগাদ করে নিয়েছিলেন: “AI খোঁজো” কাজে তাঁরা যতিচিহ্ন ও টাইপিং-ভুলকে সঠিক গুরুত্ব দিয়েছেন। এদিকে GPT-5 ঘন যতিচিহ্ন ও পুনরাবৃত্তিকে AI-এর সঙ্গে আর টাইপিং-ভুলকে মানুষের সঙ্গে যুক্ত করেছে, যা আসল পার্থক্যগুলোর সঙ্গে প্রায় নিখুঁতভাবে মেলে।

সঠিক সূত্র, ভুল দিক

শেষ স্তরটি তুলনা করেছে বিচারকেরা তাঁদের ব্যাখ্যায় কী লিখেছেন আর তাঁদের বাছাই আসলে কিসের ওপর দাঁড়িয়ে ছিল। এখানে ক্রম উল্টে যায়। মানুষের ব্যাখ্যা তাঁদের বাছাইয়ের সঙ্গে তুলনামূলকভাবে ভালোই মিলেছে (GPT-4 ধারায় প্রায় 0.63-এর সামঞ্জস্য, এমন একটি মাপকাঠিতে যেখানে 1 মানে ব্যাখ্যা ও বাছাই একই দিকে নির্দেশ করে)। GPT-5 যে বৈশিষ্ট্যগুলো সত্যিই ব্যবহার করেছে, তার অনেকগুলোর নাম বলেছে, কিন্তু কয়েকটির দিক ভুল বলেছে: দুই কাজেই সে বলেছে, বেশি বিশ্লেষণধর্মী সুর, বেশি পাঠযোগ্যতা ও বেশি বিস্তার AI-এর দিকে ইঙ্গিত করে, অথচ তার বাছাইগুলো তিনটিকেই যুক্ত করেছে মানুষের উত্তরের সঙ্গে। তার ব্যাখ্যা তার আসল গুরুত্ব-নির্ধারণের সঙ্গে মানুষের তুলনায় অনেক কম মিলেছে।

লেখকেরা একে নিছক পরে বানানো গল্প হিসেবে পড়ছেন না, কারণ দুই পরিমাপেই GPT-5-এর ব্যাখ্যা আন্দাজের চেয়ে ভালো ছিল; অমিলটি কয়েকটি বৈশিষ্ট্যেই সীমাবদ্ধ। তাঁরা সতর্ক করেছেন, এমন স্থানীয় ফারাক সেই ব্যবহারকারীদের মনে সামঞ্জস্যের একটি বিভ্রম তৈরি করতে পারে, যাঁরা কোনো মডেলের ব্যাখ্যার ওপর নির্ভর করেন।

গবেষণাটিতে রয়েছে OpenAI-এর দুটি মডেল, যার প্রতিটি নিজের প্রজন্মের উত্তর বিচার করেছে, আটটি ছোট গল্পে। সেই সামঞ্জস্যের মাপকাঠিতে GPT-5 এক কাজে পেয়েছে 0.297 আর অন্যটিতে 0.296, যা মানুষের চেয়ে উল্লেখযোগ্যভাবে কম — আর দুবারই সেই একই তিনটি বৈশিষ্ট্য উল্টো ছিল।