चॅटबॉटला एखादी यादृच्छिक संख्या निवडायला सांगा

लोक चॅटबॉट्सना बरोबरी सोडवायला, मनमानी निवडी करायला किंवा नाणेफेकीची जागा घ्यायला सांगतात. Samar Ansari याकडे अंशांकनाचा (calibration) प्रश्न म्हणून पाहतात: ज्या मॉडेलकडे कोणताही पर्याय पसंत करण्याचे कारण नाही, त्याने आपली संभाव्यता सर्व पर्यायांमध्ये पसरवायला हवी. कोणतेच उत्तर अनुकूल नसताना मॉडेल काय करते, हा शोधनिबंधाच्या शब्दांत “एक मोजता येणारा गुणधर्म आहे, दिवाणखान्यातली हातचलाखी नव्हे”.

आधीच्या अभ्यासांनी उत्तरे मोजली: तोच प्रश्न सुमारे शंभर वेळा विचारायचा, मग स्तंभालेख (histogram) काढायचा. त्यात मॉडेलला स्वतःला काय पसंत आहे आणि डिकोडिंग सेटिंग्ज त्यात काय बदल करतात यांची सरमिसळ होते, आणि शंभर नमुन्यांत बारीक तपशील लपून राहतो.

नेमकी शक्यता, फासे न टाकता

एखाद्या ठरावीक प्रॉम्प्टसाठी, भाषा मॉडेल प्रत्येक संभाव्य पुढील मजकुराला एक संभाव्यता देते. म्हणून नमुने घेण्याऐवजी, मॉडेल 1 ते N मधील प्रत्येक पूर्ण संख्या लिहून मग थांबेल याची संभाव्यता लेखक गणतात. ती शेवटची पायरी महत्त्वाची आहे: तिच्याशिवाय “1” लिहिणे आणि “17” लिहिणे ही वेगळी उत्तरे ठरली नसती, कारण एकाची सुरुवातच दुसरे आहे.

प्रॉम्प्ट नेहमी तोच होता: “मला 1 ते [N] मधील, दोन्ही धरून, एक यादृच्छिक पूर्णांक द्या. उत्तरात फक्त संख्या लिहा.” हा अभ्यास मुक्त मॉडेल्सच्या 18 कुटुंबांचा (Qwen, Gemma, Llama, OLMo आणि इतर; यापैकी एकही 8 अब्ज मापदंडांपेक्षा मोठे नाही), 1–5 पासून 1–100 पर्यंतच्या पाच पल्ल्यांचा, 29 डिकोडिंग सेटिंग्जचा आणि दोन वेगवेगळ्या संगणकांचा आढावा घेतो. एका मॉडेलच्या 5,000 प्रत्यक्ष नमुना-उत्तरांशी केलेल्या पडताळणीत तीच आवडती संख्या, 15, मिळाली: गणलेली संभाव्यता 0.579 आणि नमुन्यांतील 0.587.

ट्यूनिंग प्रसार आकुंचित करते

मोजपट्टी म्हणजे न्याय्य सोडतीपासूनचे एकूण विचलन अंतर (total variation distance): “चुकीच्या” संख्यांवर असलेला संभाव्यतेचा वाटा. शून्य म्हणजे पूर्णपणे समान; 1 ते 30 दरम्यान कमाल मूल्य 0.967 आहे.

15 मॉडेल्ससाठी, अभ्यास कच्च्या “बेस” आवृत्तीची तुलना सूचना पाळण्यासाठी सूक्ष्म-ट्यून केलेल्या आवृत्तीशी करतो. सर्व 15 जोड्यांमध्ये, ट्यूनिंगमुळे उत्तरे कमी समान झाली. Gemma-3-4b 0.135 वरून 0.966 वर जाते, कमाल मूल्यापासून केसभर अंतरावर: संशोधकांनी त्याच्या उत्तराची सुरुवात “Answer: ” अशी आधीच लिहून ठेवली, तर ते 1.000 संभाव्यतेने 17 देते (मोकळेपणाने उत्तर देताना 0.997). याउलट काही बेस मॉडेल्स जवळजवळ न्याय्य आहेत: OLMo-2-7B 0.063 वर आहे.

तीन सवयी

• टोके टाळली जातात. बेस मॉडेल्स आधीच 1 किंवा सर्वात वरची संख्या, मधल्या कोणत्याही संख्येच्या तुलनेत, फक्त 0.30 ते 0.60 पट वेळा देतात. ट्यून केलेली मॉडेल्स जवळजवळ कधीच देत नाहीत.
• गोल संख्या टाळल्या जातात — पण केवळ ट्यूनिंगनंतर. टोके बाजूला ठेवली, तर बेस मॉडेल्स 10 च्या पटींना त्यांचा न्याय्य वाटा देतात. ट्यून केलेली मॉडेल्स त्यांना त्यापैकी फक्त 0.00 ते 0.12 देतात; 1 ते 30 दरम्यान, एकोणीसपट घट. संख्या जितकी अधिक गोल, तितके तिला टाळणे तीव्र.
• विषम संख्यांकडे झुकाव, जो ट्यून केलेल्या मॉडेल्समध्ये फक्त 1 ते 100 दरम्यान स्पष्ट दिसतो, जिथे 33 पैकी 27 ट्यून केलेल्या रचना त्यांना पसंती देतात.

याउलट, पल्ल्याचा मध्य जवळजवळ अजिबात टाळला जात नाही.

सार्वत्रिक आवडती संख्या नाही

ट्यूनिंग प्रत्येक मॉडेलमध्ये एकच जादुई संख्या रोवत नाही. ट्यून केलेल्या मॉडेल्सच्या सर्वात सामान्य आवडत्या संख्या आहेत 3 (1 ते 5), 7 (1 ते 10), 14 (1 ते 20), 17 (1 ते 30) आणि 42 (1 ते 100) — म्हणूनच शोधनिबंधाचे शीर्षक — पण 10 च्या वर, कोणतीही आवडती संख्या 42% पेक्षा अधिक रचनांमध्ये समान नाही. ट्यूनिंगनंतर 17 ची संभाव्यता 10 जोड्यांमध्ये वाढते आणि 5 मध्ये घटते. ज्याची बेस आवृत्ती 17 पसंत करते, ते Qwen3-1.7B शेवटी 15 वर 0.993 संभाव्यता ठेवते.

हे डिकोडरचेही काम नाही. असंभाव्य उत्तरे कापून टाकणे, ही एक सामान्य सेटिंग, न्याय्य सोडतीपासूनच्या अंतरात मध्यगा मानाने फक्त 0.035 ची भर घालते: पूर्वग्रह मॉडेलमध्येच वसलेला आहे.

सवयी उसन्या, संख्या नव्हे

मानवी निवडीवरील एका अभिजात अभ्यासात, Kubovy आणि Psotka यांनी 558 वाटसरूंना 0 ते 9 मधील एक अंक विचारला; आधीच्या तीन अभ्यासांसह एकत्र केल्यावर, 1,770 लोकांपैकी 28.4% लोकांनी 7 निवडला. अनुमान म्हणून मांडलेल्या त्यांच्या स्पष्टीकरणानुसार, लोक टोके, मध्य, सम संख्या आणि 3 च्या पटी टाळतात. ट्यून केलेली मॉडेल्स यातील पहिली सवय पूर्णपणे, आणि सर्वात मोठ्या पल्ल्यात विषम संख्यांकडचा झुकाव, सामायिक करतात, पण मध्य टाळणे नाही — आणि त्यांची सर्वात प्रबळ सवय, गोल संख्या टाळणे, मानवी वर्णनात नाही. विशिष्ट संख्या मानवांशी फक्त एकदाच जुळतात: 7, 1 ते 10 दरम्यान.

लेखक भर देऊन सांगतात की हे अपयश विस्कळीत गोंगाट नसून संरचित आहे: संख्यांमधून मनमानी निवड करणारे ट्यून केलेले मॉडेल पहिल्या पर्यायापासून, शेवटच्या पर्यायापासून आणि गोल संख्यांपासून दूर राहते. व्यावहारिक सल्ला त्यातूनच येतो — भाषा मॉडेलचा यादृच्छिक संख्या जनरेटर म्हणून वापर करू नका; संख्या त्याच्या बाहेर काढा, मग निकाल मॉडेलकडे सोपवा.