کسے چیٹ بوٹ نوں کوئی بے ترتیب نمبر چُنن لئی آکھو
لوک چیٹ بوٹاں نوں برابری دا فیصلہ کرن، من مرضی دیاں چوناں کرن یا سِکہ اچھالن دی تھاں ورتدے نیں۔ سمر انصاری (Samar Ansari) ایہنوں کیلیبریشن (calibration) دا سوال سمجھدے نیں: جیس ماڈل کول کسے اک چون نوں دوجی اُتے ترجیح دین دی کوئی وجہ نہ ہووے، اوہنوں اپنا امکان ساریاں چوناں وچ ونڈ دینا چاہیدا اے۔ جدوں کوئی شے کسے وی جواب دے حق وچ نہ ہووے تے ماڈل کیہ کردا اے، ایہہ پیپر دے لفظاں وچ «اک ناپی جا سکن والی خاصیت اے، بیٹھک دا کوئی کرتب نہیں»۔
پہلاں دیاں کھوجاں جواب گِندیاں سن: اکو سوال لگ بھگ سو واری پچھو، فیر اک ہسٹوگرام (histogram) بناؤ۔ ایہہ اوس شے نوں جو ماڈل آپ پسند کردا اے، اوس نال رَلا دیندا اے جو ڈی کوڈنگ (decoding) دیاں سیٹنگاں اوہدے نال کردیاں نیں، تے سو واریاں باریک تفصیل لُکا دیندیاں نیں۔
ٹھیک ٹھیک امکان، کوئی پاسا نہیں سُٹیا
کسے پکے پرامپٹ (prompt) لئی، زبان دا ماڈل ہر ممکن اگلی لکھت لئی اک امکان مقرر کردا اے۔ ایس لئی نمونے لین دی تھاں، لکھاری 1 توں N تیکر ہر پورے نمبر لئی اوہ امکان حساب نال کڈھدے نیں کہ ماڈل اوہ نمبر لکھے — تے فیر رُک جائے۔ اوہ اخیرلا قدم اہم اے: ایہدے بنا، «1» لکھنا تے «17» لکھنا وکھرے جواب نہ ہوندے، کیونکہ اک نال دوجا شروع ہوندا اے۔
پرامپٹ ہمیشہ اکو سی: «مینوں 1 تے [N] وچکار، دوہاں سمیت، کوئی بے ترتیب پورا نمبر دیو۔ صرف نمبر نال جواب دیو۔» ایس کھوج وچ کھلے ماڈلاں دے 18 ٹبر (Qwen، Gemma، Llama، OLMo تے ہور، کوئی وی 8 ارب پیرامیٹراں توں ودھ نہیں)، 1–5 توں 1–100 تیکر پنج رینجاں، 29 ڈی کوڈنگ سیٹنگاں تے دو وکھرے کمپیوٹر شامل نیں۔ اک ماڈل دے 5,000 اصلی نمونے والے جواباں نال پرکھ نے اوہو پسندیدہ نمبر، 15، دتا، حساب نال 0.579 تے نمونیاں نال 0.587 امکان نال۔
ٹیوننگ پھیلاؤ نوں نچوڑ دیندی اے
پیمانہ اے اک انصاف والے قرعے توں کُل فرق دی دُوری (total variation distance): امکان دا اوہ حصہ جو «غلط» نمبراں اُتے پیا اے۔ صفر دا مطلب اے بالکل برابر؛ 1 تے 30 وچکار، سب توں ودھ 0.967 اے۔
15 ماڈلاں لئی، کھوج کچے «بیس» (base) روپ دا مقابلہ اوس روپ نال کردی اے جیہنوں ہدایتاں منن لئی باریکی نال ٹیون (fine-tune) کیتا گیا اے۔ سارے 15 جوڑیاں وچ، ٹیوننگ نے جواباں نوں گھٹ برابر بنا دتا۔ Gemma-3-4b 0.135 توں 0.966 تیکر اپڑ جاندا اے، سب توں ودھ حد توں وال برابر دُور: جدوں کھوجی ایہدے جواب دا مُڈھ «Answer: » پہلاں توں لکھ دیندے نیں، ایہہ 1.000 امکان نال 17 دیندا اے (جدوں ایہہ آزادی نال جواب دیندا اے تاں 0.997)۔ دوجے پاسے، کجھ بیس ماڈل لگ بھگ انصاف والے نیں: OLMo-2-7B 0.063 اُتے اے۔
تِن عادتاں
- کنارے ٹالے جاندے نیں۔ بیس ماڈل پہلاں ای 1 یا سب توں اُچا نمبر، کناریاں دے وچکار والے کسے وی نمبر دے مقابلے، صرف 0.30 توں 0.60 گُنا واری دیندے نیں۔ ٹیون کیتے ماڈل لگ بھگ کدی وی نہیں دیندے۔
- گول نمبر ٹالے جاندے نیں — پر صرف ٹیوننگ توں بعد۔ کناریاں نوں پاسے رکھ کے، بیس ماڈل 10 دے پہاڑے والے نمبراں (multiples of 10) نوں اوہناں دا بندا حصہ دیندے نیں۔ ٹیون کیتے ماڈل اوہناں نوں ایہدا صرف 0.00 توں 0.12 دیندے نیں؛ 1 تے 30 وچکار، اُنی گُنا گھاٹا۔ نمبر جِنا ودھ گول، کترانا اونا ای تکڑا۔
- طاق نمبراں ول جھکاؤ، جو ٹیون کیتے ماڈلاں وچ صرف 1 تے 100 وچکار صاف اے، جتھے ٹیون کیتے 33 سیٹ اپاں (set-ups) وچوں 27 اوہناں نوں پسند کردے نیں۔
دوجے پاسے، رینج دے وچکار توں مساں ای کترایا جاندا اے۔
کوئی سانجھا پسندیدہ نمبر نہیں
ٹیوننگ ہر ماڈل وچ اکو جادوئی نمبر نہیں بیجدی۔ ٹیون کیتے ماڈلاں دے سب توں عام پسندیدہ نمبر 3 (1 توں 5)، 7 (1 توں 10)، 14 (1 توں 20)، 17 (1 توں 30) تے 42 (1 توں 100) نیں — ایسے لئی پیپر دا سرناواں — پر 10 توں اُتے، کوئی وی پسندیدہ نمبر 42% توں ودھ سیٹ اپاں وچ سانجھا نہیں۔ ٹیوننگ مگروں 17 دا امکان 10 جوڑیاں وچ ودھدا تے 5 وچ گھٹدا اے۔ Qwen3-1.7B، جیہدا بیس روپ 17 نوں پسند کردا اے، اخیر 15 اُتے 0.993 رکھ دیندا اے۔
نہ ای ایہہ ڈی کوڈر دا کیتا اے۔ گھٹ امکان والے جواباں نوں کٹ دینا، جو اک عام سیٹنگ اے، انصاف والے قرعے توں دُوری وچ وچکارلے (median) طور اُتے صرف 0.035 ودھاؤندا اے: جھکاؤ (bias) ماڈل دے اپنے اندر وسدا اے۔
عادتاں اُدھاریاں، نمبر نہیں
انسانی چون بارے اک پرانی مشہور کھوج وچ، Kubovy تے Psotka نے 558 راہگیراں توں 0 توں 9 تیکر کوئی اک ہندسہ منگیا؛ تن پہلاں دیاں کھوجاں نال رلا کے، 1,770 لوکاں وچوں 28.4% نے 7 چُنیا۔ اوہناں دی وضاحت، جو اک اندازے (conjecture) دے طور اُتے دتی گئی، ایہہ اے کہ لوک کناریاں، وچکار، جفت نمبراں تے 3 دے پہاڑے والے نمبراں توں بچدے نیں۔ ٹیون کیتے ماڈل پہلی عادت پوری طرحاں سانجھی کردے نیں تے طاق ول جھکاؤ سب توں وڈی رینج اُتے، پر وچکار والی نہیں — تے اوہناں دی سب توں تکڑی عادت، گول نمبراں توں بچنا، انساناں والے بیان وچ ہے ای نہیں۔ خاص نمبر صرف اک واری انساناں نال میل کھاندے نیں: 7، 1 تے 10 وچکار۔
لکھاری زور دیندے نیں کہ ایہہ ناکامی بے ترتیب شور نہیں سگوں اک بنتر والی اے: من مرضی نال نمبراں وچوں چُندا ہویا ٹیون کیتا ماڈل پہلی چون، اخیرلی تے گول چوناں توں پرے ہٹدا اے۔ عملی صلاح ایہدے توں ای نکلدی اے — زبان دے ماڈل نوں بے ترتیب نمبر جنریٹر وانگ نہ ورتو؛ نمبر اوہدے توں باہر کڈھو، فیر نتیجہ ماڈل نوں پھڑا دیو۔