از یک چت‌بات بخواهید عددی تصادفی انتخاب کند
مردم از چت‌بات‌ها می‌خواهند تساوی را بشکنند، انتخاب‌های دلبخواهی انجام دهند یا جای پرتاب سکه را بگیرند. سمر انصاری (Samar Ansari) این را مسئلهٔ واسنجی (calibration) می‌داند: مدلی که هیچ دلیلی برای ترجیح گزینه‌ای ندارد باید احتمالش را میان همهٔ گزینه‌ها پخش کند. به تعبیر مقاله، رفتار یک مدل وقتی هیچ چیز به سود هیچ پاسخی نیست «ویژگی‌ای اندازه‌پذیر است، نه یک تردستی سرگرم‌کننده».
پژوهش‌های پیشین پاسخ‌ها را می‌شمردند: همان پرسش را حدود صد بار بپرس، سپس یک هیستوگرام بکش. این روش آنچه را خود مدل ترجیح می‌دهد با آنچه تنظیمات رمزگشایی (decoding) بر سرش می‌آورند درهم می‌آمیزد، و صد نمونه جزئیات ظریف را پنهان می‌کند.
احتمال‌های دقیق، بی‌آنکه تاسی ریخته شود
برای یک پرامپت ثابت، مدل زبانی برای هر ادامهٔ ممکن یک احتمال تعریف می‌کند. پس نویسنده به جای نمونه‌گیری، احتمال اینکه مدل هر عدد صحیح از 1 تا N را بنویسد — و سپس متوقف شود — محاسبه می‌کند. این گام آخر مهم است: بدون آن، نوشتن «1» و نوشتن «17» دو پاسخ جداگانه نبودند، چون یکی آغاز دیگری است.
پرامپت همیشه یکسان بود: «Give me a random integer between 1 and [N], inclusive. Reply with only the number.» (یک عدد صحیح تصادفی میان 1 و [N]، با احتساب خود این دو، به من بده. فقط با عدد پاسخ بده.) این پژوهش 18 خانوادهٔ مدل باز (Qwen، Gemma، Llama، OLMo و دیگران، هیچ‌کدام بالاتر از 8 میلیارد پارامتر)، پنج بازه از 1–5 تا 1–100، 29 تنظیم رمزگشایی و دو رایانهٔ متفاوت را در بر می‌گیرد. مقایسه با 5,000 پاسخ واقعی نمونه‌گیری‌شده از یک مدل همان عدد محبوب، 15، را به دست داد، با احتمال 0.579 در محاسبه و 0.587 در نمونه‌گیری.
تنظیم، پراکندگی را می‌فشارد
معیار سنجش فاصلهٔ تغییرات کل (total variation distance) از یک قرعه‌کشی منصفانه است: سهمی از احتمال که روی اعداد «نادرست» نشسته است. صفر یعنی کاملاً یکنواخت؛ میان 1 و 30، بیشینه 0.967 است.
پژوهش برای 15 مدل، نسخهٔ خام «پایه» را با نسخه‌ای که برای پیروی از دستورالعمل‌ها تنظیم دقیق شده مقایسه می‌کند. در هر 15 جفت، تنظیم پاسخ‌ها را ناهموارتر کرد. Gemma-3-4b از 0.135 به 0.966 می‌رسد، یک مو فاصله با بیشینه: وقتی پژوهشگران آغاز پاسخش را از پیش «Answer: » می‌نویسند، با احتمال 1.000 عدد 17 را می‌دهد (و 0.997 وقتی آزادانه پاسخ می‌دهد). در مقابل، برخی مدل‌های پایه تقریباً منصف‌اند: OLMo-2-7B در 0.063 قرار دارد.
سه عادت
- دوری از دو سر بازه. مدل‌های پایه از همان ابتدا 1 یا بزرگ‌ترین عدد را تنها 0.30 تا 0.60 برابرِ هر عددِ میان این دو سر می‌دهند. مدل‌های تنظیم‌شده تقریباً هرگز.
- دوری از اعداد رُند — اما تنها پس از تنظیم. اگر دو سر بازه را کنار بگذاریم، مدل‌های پایه سهم منصفانهٔ مضرب‌های 10 را به آن‌ها می‌دهند. مدل‌های تنظیم‌شده 0.00 تا 0.12 این سهم را می‌دهند؛ میان 1 و 30، افتی نوزده‌برابری. هرچه عدد رُندتر، دوری شدیدتر.
- گرایشی به اعداد فرد، که در میان مدل‌های تنظیم‌شده تنها میان 1 و 100 آشکار است، جایی که 27 از 33 پیکربندی تنظیم‌شده آن‌ها را ترجیح می‌دهند.
در مقابل، از میانهٔ بازه به‌زحمت دوری می‌شود.
بی‌هیچ عدد محبوب همگانی
تنظیم یک عدد جادویی واحد را در همهٔ مدل‌ها نمی‌کارد. رایج‌ترین اعداد محبوب مدل‌های تنظیم‌شده 3 (1 تا 5)، 7 (1 تا 10)، 14 (1 تا 20)، 17 (1 تا 30) و 42 (1 تا 100) هستند — عنوان مقاله از همین‌جاست — اما بالاتر از 10، هیچ عدد محبوبی میان بیش از 42% پیکربندی‌ها مشترک نیست. احتمال 17 پس از تنظیم در 10 جفت بالا می‌رود و در 5 جفت پایین می‌آید. Qwen3-1.7B، که نسخهٔ پایه‌اش 17 را ترجیح می‌دهد، سرانجام 0.993 را روی 15 می‌گذارد.
کار رمزگشا هم نیست. حذف پاسخ‌های نامحتمل، که تنظیمی رایج است، به‌طور میانه تنها 0.035 به فاصله از قرعه‌کشی منصفانه می‌افزاید: سوگیری در خود مدل جای دارد.
عادت‌ها وام گرفته شده‌اند، اعداد نه
در پژوهشی کلاسیک دربارهٔ انتخاب انسانی، کوبووی (Kubovy) و پسوتکا (Psotka) از 558 رهگذر رقمی از 0 تا 9 خواستند؛ با افزودن سه پژوهش پیشین، 28.4% از 1,770 نفر 7 را برگزیدند. توضیح آن‌ها، که به‌عنوان یک حدس مطرح شد، این است که مردم از دو سر بازه، میانه، اعداد زوج و مضرب‌های 3 دوری می‌کنند. مدل‌های تنظیم‌شده در عادت نخست کاملاً شریک‌اند و در گرایش به اعداد فرد در بزرگ‌ترین بازه نیز، اما نه در دوری از میانه — و قوی‌ترین عادتشان، دوری از اعداد رُند، در توضیح انسانی وجود ندارد. خود اعداد تنها یک بار با انتخاب انسان‌ها جور درمی‌آیند: 7، میان 1 و 10.
نویسنده تأکید می‌کند که این شکست ساختارمند است، نه نوفه‌ای تصادفی: مدل تنظیم‌شده‌ای که دلبخواهی میان اعداد انتخاب می‌کند از نخستین گزینه، آخرین گزینه و گزینه‌های رُند دوری می‌کند. توصیهٔ عملی از همین‌جا می‌آید — از مدل زبانی به‌عنوان مولد اعداد تصادفی استفاده نکنید؛ عدد را بیرون از آن قرعه بکشید، سپس نتیجه را به مدل بدهید.