اطلب من روبوت محادثة أن يختار عددًا عشوائيًا

يطلب الناس من روبوتات المحادثة أن تحسم التعادل، أو أن تتخذ اختيارات اعتباطية، أو أن تحلّ محل رمي قطعة نقدية. ويتناول سمر أنصاري (Samar Ansari) هذا الأمر بوصفه مسألة معايرة (calibration): فالنموذج الذي لا سبب لديه لتفضيل أي خيار ينبغي أن يوزّع احتماله على الخيارات كلها. أما ما يفعله النموذج حين لا يرجّح شيءٌ أي إجابة، فهو بعبارة الورقة «خاصية قابلة للقياس، لا خدعة للتسلية».

كانت الدراسات السابقة تَعُدّ الإجابات: يُطرح السؤال نفسه نحو مئة مرة، ثم يُرسم مدرّج تكراري. لكن ذلك يخلط بين ما يفضّله النموذج نفسه وما تفعله به إعدادات فك الترميز (decoding)، كما أن مئة سحبة تخفي التفاصيل الدقيقة.

احتمالات دقيقة، بلا رمي نرد

بالنسبة إلى موجّه (prompt) ثابت، يحدّد النموذج اللغوي احتمالًا واحدًا لكل تتمّة ممكنة. لذا، بدلًا من سحب العينات، يحسب المؤلف احتمال أن يكتب النموذج كل عدد صحيح من 1 إلى N، ثم يتوقف. وهذه الخطوة الأخيرة مهمة: فمن دونها لن تكون كتابة «1» وكتابة «17» إجابتين منفصلتين، لأن الأولى بداية الثانية.

كان الموجّه هو نفسه دائمًا: «أعطني عددًا صحيحًا عشوائيًا بين 1 و[N]، شاملًا الطرفين. أجب بالعدد فقط.» وتشمل الدراسة 18 عائلة من النماذج المفتوحة (Qwen وGemma وLlama وOLMo وغيرها، ولا يتجاوز أي منها 8 مليارات معلمة)، وخمسة نطاقات من 1–5 إلى 1–100، و29 إعدادًا لفك الترميز، وحاسوبين مختلفين. وأعطى تحقّقٌ مقابل 5,000 إجابة حقيقية مسحوبة من أحد النماذج العددَ المفضّل نفسه، 15، باحتمال 0.579 بالحساب و0.587 بالسحب.

الضبط يضيّق الانتشار

المقياس المعتمد هو مسافة التغيّر الكلّي (total variation distance) عن سحب منصف: أي حصة الاحتمال الواقعة على الأعداد «الخاطئة». الصفر يعني توازنًا تامًا؛ وبين 1 و30، تبلغ القيمة القصوى 0.967.

بالنسبة إلى 15 نموذجًا، تقارن الدراسة النسخة الخام «الأساسية» (base) بالنسخة التي ضُبطت ضبطًا دقيقًا لاتباع التعليمات. في الأزواج الـ15 كلها، جعل الضبطُ الإجابات أقل توازنًا. إذ ينتقل Gemma-3-4b من 0.135 إلى 0.966، على بُعد شعرة من القيمة القصوى: فحين يكتب الباحثون مسبقًا بداية إجابته بـ«Answer: »، يعطي 17 باحتمال 1.000 (و0.997 حين يجيب بحرية). في المقابل، بعض النماذج الأساسية منصفة تقريبًا: إذ يقف OLMo-2-7B عند 0.063.

ثلاث عادات

تحاشي الطرفين. تعطي النماذج الأساسية أصلًا العدد 1 أو العدد الأعلى بتواتر لا يتجاوز 0.30 إلى 0.60 من تواتر أي عدد واقع بينهما. أما النماذج المضبوطة فتكاد لا تعطيهما أبدًا.
تحاشي الأعداد المستديرة، ولكن بعد الضبط فقط. بصرف النظر عن الطرفين، تمنح النماذج الأساسية مضاعفات العدد 10 حصتها المنصفة. أما النماذج المضبوطة فتمنحها 0.00 إلى 0.12 منها؛ وبين 1 و30، يعني ذلك انخفاضًا بمقدار تسعة عشر ضعفًا. وكلما كان العدد أكثر استدارة، اشتدّ التحاشي.
ميل إلى الأعداد الفردية، يظهر بوضوح لدى النماذج المضبوطة بين 1 و100 فقط، حيث يفضّلها 27 من أصل 33 إعدادًا مضبوطًا.

أما وسط النطاق، في المقابل، فبالكاد يُتحاشى.

لا عدد مفضّل لدى الجميع

لا يزرع الضبط عددًا سحريًا واحدًا في كل نموذج. فالأعداد المفضّلة الأكثر شيوعًا لدى النماذج المضبوطة هي 3 (من 1 إلى 5)، و7 (من 1 إلى 10)، و14 (من 1 إلى 20)، و17 (من 1 إلى 30)، و42 (من 1 إلى 100)، ومن هنا عنوان الورقة؛ لكن فوق 10، لا يتشارك أيَّ عدد مفضّل أكثرُ من 42% من الإعدادات. ويرتفع احتمال العدد 17 بعد الضبط في 10 أزواج وينخفض في 5. أما Qwen3-1.7B، الذي تفضّل نسخته الأساسية العدد 17، فينتهي به الأمر إلى وضع 0.993 على العدد 15.

ولا يعود ذلك إلى فك الترميز أيضًا. فاقتطاع الإجابات غير المرجّحة، وهو إعداد شائع، لا يضيف إلى المسافة عن السحب المنصف إلا قيمة وسيطة قدرها 0.035: فالانحياز كامن في النموذج نفسه.

عادات مستعارة، لا أعداد

في دراسة كلاسيكية عن الاختيار البشري، طلب كوبوفي (Kubovy) وبسوتكا (Psotka) من 558 من المارّة رقمًا من 0 إلى 9؛ وبضمّ ثلاث دراسات سابقة، اختار 28.4% من 1,770 شخصًا الرقمَ 7. وتفسيرهما، المطروح على سبيل التخمين، هو أن الناس يتحاشون الطرفين والوسط والأعداد الزوجية ومضاعفات العدد 3. وتشارك النماذج المضبوطة البشرَ العادةَ الأولى بالكامل، والميلَ إلى الأعداد الفردية في أوسع نطاق، لكن ليس تحاشي الوسط؛ أما عادتها الأقوى، أي تحاشي الأعداد المستديرة، فليست واردة في التفسير البشري. ولا تتطابق الأعداد المحددة مع اختيارات البشر إلا مرة واحدة: 7، بين 1 و10.

ويشدّد المؤلف على أن الإخفاق منتظم البنية لا مجرد ضجيج: فالنموذج المضبوط الذي يختار اعتباطيًا بين أعداد يبتعد عن الخيار الأول والأخير وعن الأعداد المستديرة. ومن هنا تأتي النصيحة العملية: لا تستخدم نموذجًا لغويًا مولّدًا للأعداد العشوائية؛ اسحب العدد خارجه، ثم سلّم النتيجة إلى النموذج.