ПОПРОСИТЕ ЧАТ-БОТА НАЗВАТЬ СЛУЧАЙНОЕ ЧИСЛО

Люди просят чат-ботов разрешить ничью, сделать произвольный выбор или заменить подбрасывание монетки. Самар Ансари (Samar Ansari) рассматривает это как вопрос калибровки: модель, у которой нет причин предпочесть какой-либо вариант, должна распределять вероятность между всеми ними. То, что делает модель, когда ни один ответ не имеет преимущества, — это, по словам статьи, «измеримое свойство, а не салонный фокус».

Более ранние исследования подсчитывали ответы: задать один и тот же вопрос около ста раз, а затем построить гистограмму. При этом то, что предпочитает сама модель, смешивается с тем, что с ней делают настройки декодирования, а сотня попыток скрывает тонкие детали.

Точные вероятности без бросков кубика

Для фиксированного запроса языковая модель задаёт одну вероятность для каждого возможного продолжения. Поэтому вместо выборки автор вычисляет вероятность того, что модель напишет каждое целое число от 1 до N — и затем остановится. Этот последний шаг важен: без него ответы «1» и «17» не были бы отдельными, поскольку одно является началом другого.

Запрос всегда был одним и тем же: «Give me a random integer between 1 and [N], inclusive. Reply with only the number.» Исследование охватывает 18 семейств открытых моделей (Qwen, Gemma, Llama, OLMo и другие, ни одна не больше 8 миллиардов параметров), пять диапазонов — от 1–5 до 1–100, 29 настроек декодирования и два разных компьютера. Проверка на 5000 реальных ответов, полученных выборкой у одной модели, дала то же любимое число, 15, с вероятностью 0,579 по расчёту и 0,587 по выборке.

Дообучение сужает разброс

Мерилом служит расстояние полной вариации (total variation distance) до честной жеребьёвки: доля вероятности, приходящаяся на «не те» числа. Ноль означает идеальную равномерность; в диапазоне от 1 до 30 максимум равен 0,967.

Для 15 моделей исследование сравнивает «сырую» базовую версию с версией, дообученной следовать инструкциям. Во всех 15 парах дообучение сделало ответы менее равномерными. У Gemma-3-4b этот показатель растёт с 0,135 до 0,966, в волоске от максимума: если исследователи заранее вписывают начало её ответа — «Answer: », она выдаёт 17 с вероятностью 1,000 (0,997, когда отвечает свободно). Некоторые базовые модели, напротив, почти честны: у OLMo-2-7B — 0,063.

Три привычки

Избегание краёв. Базовые модели уже называют 1 или верхнее число лишь с частотой, составляющей 0,30–0,60 от частоты любого промежуточного числа. Дообученные модели не называют их почти никогда.
Избегание круглых чисел — но только после дообучения. Если оставить края в стороне, базовые модели отдают числам, кратным 10, положенную им долю. Дообученные — лишь от 0,00 до 0,12 этой доли; в диапазоне от 1 до 30 это падение в девятнадцать раз. Чем круглее число, тем сильнее его избегают.
Тяга к нечётным числам, отчётливая у дообученных моделей только в диапазоне от 1 до 100, где 27 из 33 дообученных конфигураций предпочитают их.

Середины диапазона, напротив, модели почти не избегают.

Универсального фаворита нет

Дообучение не закладывает во все модели одно магическое число. Самые частые любимые числа дообученных моделей — 3 (от 1 до 5), 7 (от 1 до 10), 14 (от 1 до 20), 17 (от 1 до 30) и 42 (от 1 до 100) — отсюда и название статьи, — но выше 10 ни одного фаворита не разделяют более 42% конфигураций. Вероятность 17 после дообучения растёт в 10 парах и падает в 5. Qwen3-1.7B, чья базовая версия предпочитает 17, в итоге отдаёт 0,993 числу 15.

И дело не в декодере. Отсечение маловероятных ответов, распространённая настройка, добавляет к расстоянию до честной жеребьёвки в медиане всего 0,035: смещение заложено в самой модели.

Привычки заимствованы, числа — нет

В классическом исследовании человеческого выбора Кубови (Kubovy) и Псотка (Psotka) попросили 558 прохожих назвать цифру от 0 до 9; вместе с тремя более ранними исследованиями 7 выбрали 28,4% из 1770 человек. Их объяснение, предложенное в качестве гипотезы, таково: люди избегают краёв, середины, чётных чисел и чисел, кратных 3. Дообученные модели полностью разделяют первую привычку и тягу к нечётным в самом широком диапазоне, но не избегание середины — а их самой сильной привычки, избегания круглых чисел, в описании человеческого выбора нет. Конкретные числа совпадают с человеческими лишь однажды: 7 в диапазоне от 1 до 10.

Сбой, подчёркивает автор, систематический, а не шумовой: дообученная модель, выбирая среди чисел произвольно, уходит от первого варианта, последнего и круглых. Отсюда практический совет: не используйте языковую модель как генератор случайных чисел; вытяните число вне её, а затем передайте результат модели.