किसी चैटबॉट से कोई यादृच्छिक संख्या चुनने को कहिए

लोग चैटबॉट से बराबरी तोड़ने, मनमाने चुनाव करने या सिक्का उछालने की जगह लेने को कहते हैं। समर अंसारी (Samar Ansari) के लिए यह अंशांकन (calibration) का प्रश्न है: जिस मॉडल के पास किसी विकल्प को तरजीह देने का कोई कारण नहीं, उसे अपनी प्रायिकता सभी विकल्पों में फैला देनी चाहिए। जब कोई भी चीज़ किसी उत्तर के पक्ष में न हो, तब मॉडल क्या करता है, यह शोधपत्र के शब्दों में “एक मापने योग्य गुण है, कोई बैठकी करतब (parlour trick) नहीं”।

पहले के अध्ययन उत्तरों को गिनते थे: एक ही प्रश्न लगभग सौ बार पूछो, फिर एक आयतचित्र (histogram) बनाओ। इससे दो चीज़ें आपस में घुल-मिल जाती हैं: मॉडल ख़ुद क्या पसंद करता है, और डिकोडिंग सेटिंग्स (decoding settings) उसके साथ क्या करती हैं; और सौ नमूने बारीक ब्योरे छिपा देते हैं।

सटीक संभावनाएँ, बिना पासा फेंके

किसी निश्चित प्रॉम्प्ट के लिए, एक भाषा मॉडल हर संभव आगे के पाठ (continuation) के लिए एक प्रायिकता तय करता है। इसलिए नमूने लेने के बजाय, लेखक उस प्रायिकता की गणना करते हैं कि मॉडल 1 से N तक की हर पूर्ण संख्या लिखे — और फिर रुक जाए। यह अंतिम चरण मायने रखता है: इसके बिना “1” लिखना और “17” लिखना अलग-अलग उत्तर नहीं होते, क्योंकि एक, दूसरे की शुरुआत है।

प्रॉम्प्ट हमेशा एक ही था: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” (“मुझे 1 और [N] के बीच, दोनों सहित, कोई यादृच्छिक पूर्णांक दो। केवल संख्या लिखकर उत्तर दो।”) अध्ययन में खुले मॉडलों के 18 परिवार (Qwen, Gemma, Llama, OLMo और अन्य, कोई भी 8 अरब पैरामीटर से बड़ा नहीं), 1–5 से 1–100 तक पाँच परास, 29 डिकोडिंग सेटिंग्स और दो अलग-अलग कंप्यूटर शामिल हैं। एक मॉडल के 5,000 वास्तविक नमूना-उत्तरों से की गई जाँच ने वही पसंदीदा संख्या, 15, दी: गणना से प्रायिकता 0.579 और नमूनों से 0.587।

ट्यूनिंग फैलाव को सिकोड़ देती है

पैमाना है निष्पक्ष यादृच्छिक चयन से कुल परिवर्तन दूरी (total variation distance): यानी प्रायिकता का वह हिस्सा जो “ग़लत” संख्याओं पर बैठा है। शून्य का अर्थ है पूरी तरह समान; 1 और 30 के बीच अधिकतम मान 0.967 है।

15 मॉडलों के लिए, अध्ययन कच्चे “बेस” (base) संस्करण की तुलना उस संस्करण से करता है जिसे निर्देशों का पालन करने के लिए सूक्ष्म-समायोजित (fine-tuned) किया गया है। सभी 15 जोड़ियों में, ट्यूनिंग ने उत्तरों को कम समान बना दिया। Gemma-3-4b 0.135 से 0.966 पर पहुँच जाता है, अधिकतम से बाल भर दूर: जब शोधकर्ता उसके उत्तर की शुरुआत “Answer: “ के रूप में पहले से लिख देते हैं, तो वह 1.000 प्रायिकता के साथ 17 देता है (स्वतंत्र रूप से उत्तर देने पर 0.997)। इसके विपरीत, कुछ बेस मॉडल लगभग निष्पक्ष हैं: OLMo-2-7B 0.063 पर है।

तीन आदतें

• सिरों से परहेज़। बेस मॉडल भी 1 या सबसे ऊपरी संख्या को बीच की किसी भी संख्या की तुलना में केवल 0.30 से 0.60 गुना बार देते हैं। ट्यून किए गए मॉडल लगभग कभी नहीं देते।
• गोल संख्याओं से परहेज़ — लेकिन केवल ट्यूनिंग के बाद। सिरों को छोड़ दें, तो बेस मॉडल 10 के गुणजों को उनका उचित हिस्सा देते हैं। ट्यून किए गए मॉडल उन्हें उस हिस्से का केवल 0.00 से 0.12 देते हैं; 1 और 30 के बीच, उन्नीस गुना की गिरावट। संख्या जितनी गोल, परहेज़ उतना ही प्रबल।
• विषम संख्याओं की ओर झुकाव, जो ट्यून किए गए मॉडलों में केवल 1 और 100 के बीच स्पष्ट है, जहाँ 33 में से 27 ट्यून किए गए सेट-अप उन्हें तरजीह देते हैं।

इसके विपरीत, परास के मध्य भाग से मुश्किल से ही परहेज़ किया जाता है।

कोई सार्वभौमिक पसंदीदा नहीं

ट्यूनिंग हर मॉडल में कोई एक जादुई संख्या नहीं रोप देती। ट्यून किए गए मॉडलों के सबसे आम पसंदीदा हैं 3 (1 से 5), 7 (1 से 10), 14 (1 से 20), 17 (1 से 30) और 42 (1 से 100) — इसीलिए शोधपत्र का यह शीर्षक — लेकिन 10 से ऊपर, कोई भी पसंदीदा 42% से अधिक सेट-अप में साझा नहीं है। ट्यूनिंग के बाद 17 की प्रायिकता 10 जोड़ियों में बढ़ती है और 5 में घटती है। Qwen3-1.7B, जिसका बेस संस्करण 17 को तरजीह देता है, अंत में 15 पर 0.993 रख देता है।

न ही यह डिकोडर का किया-धरा है। असंभाव्य उत्तरों को काट देना, जो एक आम सेटिंग है, निष्पक्ष यादृच्छिक चयन से दूरी में केवल 0.035 की माध्यिका (median) वृद्धि करता है: पूर्वाग्रह मॉडल के भीतर ही बसा है।

आदतें उधार ली हुई, संख्याएँ नहीं

मानवीय चुनाव पर एक क्लासिक अध्ययन में, क्यूबोवी और प्सोत्का (Kubovy and Psotka) ने 558 राहगीरों से 0 से 9 तक का कोई अंक माँगा; तीन पुराने अध्ययनों के साथ मिलाकर, 1,770 लोगों में से 28.4% ने 7 चुना। उनकी व्याख्या, जिसे एक अनुमान (conjecture) के रूप में प्रस्तुत किया गया, यह है कि लोग सिरों, मध्य, सम संख्याओं और 3 के गुणजों से बचते हैं। ट्यून किए गए मॉडल पहली आदत पूरी तरह साझा करते हैं और सबसे बड़े परास पर विषम संख्याओं की ओर झुकाव भी, लेकिन मध्य से परहेज़ नहीं — और उनकी सबसे प्रबल आदत, गोल संख्याओं से बचना, मनुष्यों के इस विवरण में है ही नहीं। विशिष्ट संख्याएँ केवल एक बार मनुष्यों से मेल खाती हैं: 1 और 10 के बीच, 7।

लेखक ज़ोर देकर कहते हैं कि यह विफलता बेतरतीब शोर (noise) नहीं, बल्कि संरचित है: संख्याओं में से मनमाने ढंग से चुनने वाला ट्यून किया गया मॉडल पहले विकल्प, आख़िरी विकल्प और गोल संख्याओं से कतराता है। व्यावहारिक सलाह इसी से निकलती है — किसी भाषा मॉडल का उपयोग यादृच्छिक संख्या जनित्र के रूप में न करें; संख्या उसके बाहर निकालें, फिर परिणाम मॉडल को सौंप दें।