کسی چیٹ بوٹ سے کوئی بے ترتیب عدد چننے کو کہیے

لوگ چیٹ بوٹس سے برابری کا فیصلہ کرنے، من مانا انتخاب کرنے یا سکہ اچھالنے کی جگہ لینے کو کہتے ہیں۔ سمر انصاری (Samar Ansari) کے نزدیک یہ انشانکاری (calibration) کا سوال ہے: جس ماڈل کے پاس کسی بھی آپشن کو ترجیح دینے کی کوئی وجہ نہ ہو، اسے اپنا احتمال ان سب پر پھیلا دینا چاہیے۔ جب کوئی چیز کسی جواب کے حق میں نہ ہو تو ماڈل کیا کرتا ہے، یہ مقالے کے الفاظ میں “ایک قابلِ پیمائش خاصیت ہے، کوئی شعبدہ نہیں”۔

پچھلے مطالعات جوابات گنتے تھے: ایک ہی سوال تقریباً سو بار پوچھیے، پھر ایک ہسٹوگرام (histogram) بنائیے۔ اس طرح ماڈل کی اپنی ترجیح اور اس پر ڈی کوڈنگ (decoding) کی ترتیبات کا اثر آپس میں گڈمڈ ہو جاتے ہیں، اور سو نمونے باریک تفصیل کو چھپا دیتے ہیں۔

ٹھیک ٹھیک احتمالات، کوئی پانسہ پھینکے بغیر

کسی مقررہ پرامپٹ (prompt) کے لیے ایک لسانی ماڈل ہر ممکنہ تسلسل کے لیے ایک احتمال متعین کرتا ہے۔ چنانچہ نمونے لینے کے بجائے اس مطالعے میں اس احتمال کا حساب لگایا جاتا ہے کہ ماڈل 1 سے N تک کا ہر پورا عدد لکھے — اور پھر رک جائے۔ یہ آخری قدم اہم ہے: اس کے بغیر “1” لکھنا اور “17” لکھنا الگ الگ جواب نہ ہوتے، کیونکہ ایک دوسرے کا آغاز ہے۔

پرامپٹ ہمیشہ ایک ہی تھا: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” مطالعہ کھلے ماڈلوں کے 18 خاندانوں (Qwen، Gemma، Llama، OLMo اور دیگر، جن میں سے کوئی بھی 8 ارب پیرامیٹرز سے بڑا نہیں)، 1–5 سے 1–100 تک پانچ دائروں، ڈی کوڈنگ کی 29 ترتیبات اور دو مختلف کمپیوٹروں کا احاطہ کرتا ہے۔ ایک ماڈل کے 5,000 حقیقی نمونہ جوابات سے موازنے نے وہی پسندیدہ عدد، 15، دیا، جس کا احتمال حساب سے 0.579 اور نمونوں سے 0.587 نکلا۔

ٹیوننگ پھیلاؤ کو سکیڑ دیتی ہے

پیمانہ ایک منصفانہ قرعہ اندازی سے کُل تغیری فاصلہ (total variation distance) ہے: یعنی احتمال کا وہ حصہ جو “غلط” اعداد پر پڑا ہو۔ صفر کا مطلب ہے بالکل یکساں؛ 1 اور 30 کے درمیان زیادہ سے زیادہ قدر 0.967 ہے۔

15 ماڈلوں کے لیے مطالعہ خام “بنیادی” (base) نسخے کا موازنہ اس نسخے سے کرتا ہے جسے ہدایات پر عمل کرنے کے لیے مزید تربیت (fine-tuning) دی گئی ہو۔ تمام 15 جوڑوں میں ٹیوننگ نے جوابات کو کم یکساں بنا دیا۔ Gemma-3-4b کی قدر 0.135 سے بڑھ کر 0.966 ہو جاتی ہے، زیادہ سے زیادہ قدر سے بال برابر کم: جب محققین اس کے جواب کا آغاز پہلے سے “Answer: “ لکھ دیں تو وہ 1.000 کے احتمال سے 17 دیتا ہے (آزادانہ جواب دینے پر 0.997)۔ اس کے برعکس کچھ بنیادی ماڈل تقریباً منصفانہ ہیں: OLMo-2-7B کی قدر 0.063 ہے۔

تین عادتیں

• کناروں سے گریز۔ بنیادی ماڈل بھی 1 یا سب سے بڑا عدد دونوں کناروں کے بیچ کسی بھی عدد کے مقابلے میں صرف 0.30 سے 0.60 گنا ہی دیتے ہیں۔ ٹیون شدہ ماڈل تقریباً کبھی نہیں دیتے۔
• گول اعداد سے گریز — مگر صرف ٹیوننگ کے بعد۔ کناروں کو چھوڑ کر، بنیادی ماڈل 10 کے مضربوں کو ان کا منصفانہ حصہ دیتے ہیں۔ ٹیون شدہ ماڈل انہیں اس کا 0.00 سے 0.12 دیتے ہیں؛ 1 اور 30 کے درمیان یہ انیس گنا کمی ہے۔ عدد جتنا زیادہ گول ہو، گریز اتنا ہی شدید۔
• طاق اعداد کی طرف جھکاؤ، جو ٹیون شدہ ماڈلوں میں صرف 1 اور 100 کے درمیان واضح ہے، جہاں 33 میں سے 27 ٹیون شدہ سیٹ اپ (set-ups) انہیں ترجیح دیتے ہیں۔

اس کے برعکس دائرے کے درمیانی حصے سے بمشکل ہی کوئی گریز کیا جاتا ہے۔

کوئی عالمگیر پسندیدہ عدد نہیں

ٹیوننگ ہر ماڈل میں ایک ہی جادوئی عدد نہیں بو دیتی۔ ٹیون شدہ ماڈلوں کے سب سے عام پسندیدہ اعداد 3 (1 سے 5)، 7 (1 سے 10)، 14 (1 سے 20)، 17 (1 سے 30) اور 42 (1 سے 100) ہیں — اسی سے مقالے کا عنوان بنا ہے — لیکن 10 سے اوپر کوئی بھی پسندیدہ عدد 42% سے زیادہ سیٹ اپس میں مشترک نہیں۔ ٹیوننگ کے بعد 17 کا احتمال 10 جوڑوں میں بڑھتا اور 5 میں گھٹتا ہے۔ Qwen3-1.7B، جس کا بنیادی نسخہ 17 کو ترجیح دیتا ہے، آخرکار 15 پر 0.993 رکھ دیتا ہے۔

یہ ڈی کوڈر کا کیا دھرا بھی نہیں۔ غیر اغلب جوابات کو کاٹ دینا، جو ایک عام ترتیب ہے، منصفانہ قرعہ اندازی سے فاصلے میں وسطانیہ (median) کے لحاظ سے صرف 0.035 کا اضافہ کرتا ہے: جانبداری خود ماڈل کے اندر بستی ہے۔

عادتیں مستعار، اعداد نہیں

انسانی انتخاب پر ایک کلاسیکی مطالعے میں کوبووی اور پسوٹکا (Kubovy and Psotka) نے 558 راہگیروں سے 0 سے 9 تک کا کوئی ہندسہ مانگا؛ اس سے پہلے کے تین مطالعوں کے ساتھ ملا کر، 1,770 افراد میں سے 28.4% نے 7 چنا۔ ان کی وضاحت، جو ایک قیاس کے طور پر پیش کی گئی، یہ ہے کہ لوگ کناروں، درمیان، جفت اعداد اور 3 کے مضربوں سے گریز کرتے ہیں۔ ٹیون شدہ ماڈل پہلی عادت میں پوری طرح شریک ہیں اور سب سے بڑے دائرے میں طاق اعداد کی طرف جھکاؤ میں بھی، مگر درمیان والی عادت میں نہیں — اور ان کی سب سے مضبوط عادت، یعنی گول اعداد سے گریز، انسانی بیان میں موجود ہی نہیں۔ مخصوص اعداد انسانوں سے صرف ایک بار ملتے ہیں: 7، 1 اور 10 کے درمیان۔

مصنف کی تاکید کے مطابق یہ ناکامی بے ہنگم شور نہیں بلکہ منظم ہے: اعداد میں سے من مانا انتخاب کرتے ہوئے ٹیون شدہ ماڈل پہلے آپشن، آخری آپشن اور گول اعداد سے کتراتا ہے۔ عملی مشورہ اسی سے نکلتا ہے — کسی لسانی ماڈل کو بے ترتیب عدد ساز (random number generator) کے طور پر استعمال نہ کیجیے؛ عدد اس سے باہر نکالیے، پھر نتیجہ ماڈل کے حوالے کیجیے۔