একটি চ্যাটবটকে একটি এলোমেলো সংখ্যা বেছে নিতে বলুন

মানুষ চ্যাটবটকে বলে সমান-সমান অবস্থার মীমাংসা করতে, খেয়ালখুশিমতো কিছু বেছে নিতে বা মুদ্রা টসের বদলি হিসেবে কাজ করতে। সামার আনসারি (Samar Ansari) একে দেখেন ক্রমাঙ্কনের (calibration) প্রশ্ন হিসেবে: কোনো বিকল্পকে পছন্দ করার কারণ নেই এমন একটি মডেলের উচিত তার সম্ভাবনা সবকটির মধ্যে ছড়িয়ে দেওয়া। কোনো উত্তরের পক্ষে কিছুই না থাকলে একটি মডেল কী করে, গবেষণাপত্রের ভাষায় তা “একটি পরিমাপযোগ্য বৈশিষ্ট্য, কোনো ভোজবাজি নয়”।

আগের গবেষণাগুলো উত্তর গুনত: একই প্রশ্ন প্রায় একশোবার করা, তারপর একটি হিস্টোগ্রাম আঁকা। এতে মডেল নিজে কী পছন্দ করে আর ডিকোডিং-সেটিং (decoding settings) তার ওপর কী প্রভাব ফেলে, তা গুলিয়ে যায়, আর একশোটি নমুনা সূক্ষ্ম খুঁটিনাটি ঢেকে দেয়।

ছক্কা না গড়িয়েই সঠিক সম্ভাবনা

একটি নির্দিষ্ট প্রম্পটের (prompt) জন্য একটি ভাষা মডেল প্রতিটি সম্ভাব্য ধারাবাহিকতার জন্য একটি করে সম্ভাবনা নির্ধারণ করে। তাই নমুনা নেওয়ার বদলে লেখক হিসাব করেন, মডেলটি 1 থেকে N পর্যন্ত প্রতিটি পূর্ণসংখ্যা লিখবে — এবং তারপর থেমে যাবে — তার সম্ভাবনা কত। শেষ ধাপটি গুরুত্বপূর্ণ: এটি ছাড়া “1” লেখা আর “17” লেখা আলাদা উত্তর হতো না, কারণ একটি দিয়েই অন্যটি শুরু হয়।

প্রম্পট সবসময় একই ছিল: “আমাকে 1 থেকে [N]-এর মধ্যে (দুটিসহ) একটি এলোমেলো পূর্ণসংখ্যা দাও। উত্তরে শুধু সংখ্যাটি লেখো।” গবেষণাটিতে আছে উন্মুক্ত মডেলের 18টি পরিবার (Qwen, Gemma, Llama, OLMo ও অন্যান্য, কোনোটিই 8 বিলিয়ন প্যারামিটারের বেশি নয়), 1–5 থেকে 1–100 পর্যন্ত পাঁচটি পরিসর, 29টি ডিকোডিং-সেটিং এবং দুটি আলাদা কম্পিউটার। একটি মডেলের 5,000টি সত্যিকারের নমুনা-উত্তরের সঙ্গে মিলিয়ে দেখলে একই প্রিয় সংখ্যা পাওয়া গেছে, 15, যার সম্ভাবনা হিসাব করে 0.579 আর নমুনায় 0.587।

টিউনিং বিস্তারকে সংকুচিত করে

মাপকাঠিটি হলো একটি নিরপেক্ষ লটারি থেকে মোট বিচলন দূরত্ব (total variation distance): “ভুল” সংখ্যাগুলোর ওপর বসে থাকা সম্ভাবনার অংশ। শূন্য মানে পুরোপুরি সুষম; 1 থেকে 30-এর মধ্যে সর্বোচ্চ মান 0.967।

15টি মডেলের ক্ষেত্রে গবেষণাটি কাঁচা “বেস” (base) সংস্করণকে নির্দেশ মানার জন্য সূক্ষ্ম-প্রশিক্ষিত (fine-tuned) সংস্করণের সঙ্গে তুলনা করে। 15টি জোড়ার সবকটিতেই টিউনিং উত্তরগুলোকে কম সুষম করেছে। Gemma-3-4b 0.135 থেকে পৌঁছায় 0.966-এ, সর্বোচ্চ মানের একেবারে গা ঘেঁষে: গবেষকেরা এর উত্তরের শুরুটা আগে থেকেই “Answer: ” লিখে দিলে এটি 1.000 সম্ভাবনায় 17 দেয় (নিজে থেকে উত্তর দিলে 0.997)। বিপরীতে কিছু বেস মডেল প্রায় নিরপেক্ষ: OLMo-2-7B-এর মান 0.063।

তিনটি অভ্যাস

• প্রান্ত এড়িয়ে চলা। বেস মডেলগুলোই 1 বা সবচেয়ে বড় সংখ্যাটি দেয় মাঝের যেকোনো সংখ্যার তুলনায় মাত্র 0.30 থেকে 0.60 গুণ ঘনঘন। টিউন করা মডেলগুলো প্রায় কখনোই দেয় না।
• গোল সংখ্যা এড়িয়ে চলা — তবে কেবল টিউনিংয়ের পরে। প্রান্তগুলো বাদ দিলে বেস মডেলগুলো 10-এর গুণিতকগুলোকে তাদের ন্যায্য ভাগ দেয়। টিউন করা মডেলগুলো দেয় তার 0.00 থেকে 0.12; 1 থেকে 30-এর মধ্যে উনিশ গুণ পতন। সংখ্যা যত গোল, এড়িয়ে চলার প্রবণতা তত জোরালো।
• বিজোড় সংখ্যার দিকে ঝোঁক, যা টিউন করা মডেলগুলোর মধ্যে স্পষ্ট কেবল 1 থেকে 100-এর মধ্যে, যেখানে টিউন করা 33টি বিন্যাসের মধ্যে 27টি এগুলোকে পছন্দ করে।

বিপরীতে, পরিসরের মাঝখানটিকে প্রায় এড়ানোই হয় না।

কোনো সর্বজনীন প্রিয় সংখ্যা নেই

টিউনিং প্রতিটি মডেলে একটিই জাদুকরী সংখ্যা বসিয়ে দেয় না। টিউন করা মডেলগুলোর সবচেয়ে সাধারণ প্রিয় সংখ্যা হলো 3 (1 থেকে 5), 7 (1 থেকে 10), 14 (1 থেকে 20), 17 (1 থেকে 30) আর 42 (1 থেকে 100) — সেখান থেকেই গবেষণাপত্রের শিরোনাম — কিন্তু 10-এর ওপরে কোনো প্রিয় সংখ্যাই 42%-এর বেশি বিন্যাসে মেলে না। টিউনিংয়ের পরে 17-এর সম্ভাবনা 10টি জোড়ায় বাড়ে আর 5টিতে কমে। Qwen3-1.7B, যার বেস সংস্করণ 17 পছন্দ করে, শেষ পর্যন্ত 15-এর ওপর রাখে 0.993।

এর জন্য ডিকোডারও দায়ী নয়। অসম্ভাব্য উত্তরগুলো ছেঁটে ফেলা, একটি প্রচলিত সেটিং, নিরপেক্ষ লটারি থেকে দূরত্ব বাড়ায় মধ্যমা হিসেবে মাত্র 0.035: পক্ষপাতটি থাকে মডেলের ভেতরেই।

অভ্যাস ধার করা, সংখ্যা নয়

মানুষের পছন্দ নিয়ে একটি ধ্রুপদি গবেষণায় কুবোভি (Kubovy) ও সটকা (Psotka) 558 জন পথচারীকে 0 থেকে 9-এর মধ্যে একটি অঙ্ক বলতে বলেন; আগের তিনটি গবেষণার সঙ্গে মিলিয়ে 1,770 জনের মধ্যে 28.4% বেছে নিয়েছিলেন 7। অনুমান হিসেবে দেওয়া তাঁদের ব্যাখ্যা অনুযায়ী মানুষ এড়িয়ে চলে প্রান্ত, মাঝখান, জোড় সংখ্যা আর 3-এর গুণিতক। টিউন করা মডেলগুলোর মধ্যে প্রথম অভ্যাসটি পুরোপুরি আছে, আর সবচেয়ে বড় পরিসরে বিজোড়ের দিকে ঝোঁকটিও, কিন্তু মাঝখান এড়ানোর অভ্যাসটি নেই — আর তাদের সবচেয়ে জোরালো অভ্যাস, গোল সংখ্যা এড়িয়ে চলা, মানুষের এই বিবরণে নেই। নির্দিষ্ট সংখ্যাগুলো মানুষের সঙ্গে মেলে মাত্র একবার: 7, 1 থেকে 10-এর মধ্যে।

লেখক জোর দিয়ে বলেন, এই ব্যর্থতা এলোমেলো গোলমাল নয়, বরং সুবিন্যস্ত: সংখ্যাগুলোর মধ্যে খেয়ালখুশিমতো বেছে নেওয়ার সময় একটি টিউন করা মডেল প্রথম বিকল্প, শেষটি আর গোল সংখ্যাগুলো থেকে সরে থাকে। ব্যবহারিক পরামর্শটি সেখান থেকেই আসে — একটি ভাষা মডেলকে এলোমেলো-সংখ্যা উৎপাদক হিসেবে ব্যবহার করবেন না; সংখ্যাটি এর বাইরে বের করুন, তারপর ফলটি মডেলের হাতে দিন।