让聊天机器人随便挑一个数

人们会请聊天机器人打破平局、做出随意的选择，或者代替抛硬币。萨马尔·安萨里（Samar Ansari）把这当作一个校准问题：一个没有理由偏爱任何选项的模型，应当把概率分摊到所有选项上。用论文的话说，当没有任何因素偏向某个答案时模型会怎么做，是“一种可测量的性质，而不是席间的小把戏”。

早先的研究是数答案：把同一个问题问上一百次左右，然后画出直方图。这样做会把模型本身的偏好与解码设置对它施加的影响混为一谈，而且一百次抽取会掩盖细微之处。

精确的概率，不掷骰子

对于一个固定的提示词，语言模型为每一种可能的续写都定义了一个概率。因此，作者没有抽样，而是计算模型写出从1到N的每个整数、然后停下的概率。最后这一步很重要：没有它，写出“1”和写出“17”就不是两个独立的答案，因为前者是后者的开头。

提示词始终相同：*“给我一个1到[N]之间（含两端）的随机整数。只回复这个数字。”*研究涵盖18个开源模型家族（Qwen、Gemma、Llama、OLMo等，参数量均不超过80亿），从1–5到1–100的五个数值范围，29种解码设置，以及两台不同的计算机。用某个模型的5000个真实抽样答案进行核对，得到了同一个最受偏爱的数——15，计算概率为0.579，抽样概率为0.587。

微调让分布变窄

衡量标准是与公平抽取之间的总变差距离（total variation distance）：落在“错误”数字上的概率份额。零表示完全均匀；在1到30之间，最大值为0.967。

研究对15个模型比较了原始的“基础”版本和经过指令微调的版本。在全部15对中，微调都让答案变得更不均匀。Gemma-3-4b从0.135升至0.966，与最大值仅差毫厘：当研究者预先把它回复的开头写成“Answer: ”时，它以1.000的概率给出17（让它自由回答时为0.997）。相比之下，一些基础模型几乎是公平的：OLMo-2-7B仅为0.063。

三种习惯

• **回避两端。**基础模型给出1或最大数的频率，本来就只有给出两端之间任意一个数的0.30到0.60倍。经过微调的模型则几乎从不给出。
• 回避整十的数——但只在微调之后。撇开两端不谈，基础模型给10的倍数的概率与其应得份额相当。经过微调的模型只给它们应得份额的0.00到0.12；在1到30之间，降为原来的十九分之一。数越“整”，回避越强。
• 偏向奇数，这一点只有在1到100之间才在各个微调模型中表现明显：在那里，33种微调设置中有27种偏爱奇数。

相比之下，范围的中间几乎完全没有被回避。

没有通用的最爱

微调并没有在每个模型里植入同一个神奇数字。微调模型最常见的最爱是3（1到5）、7（1到10）、14（1到20）、17（1到30）和42（1到100）——论文标题由此而来——但在10以上，没有哪个最爱为超过42%的设置所共有。微调之后，17的概率在10对中上升，在5对中下降。Qwen3-1.7B的基础版本偏爱17，最终却把0.993的概率放在了15上。

这也不是解码器造成的。截掉可能性低的答案是一种常见设置，它只让与公平抽取之间的距离增加了0.035（中位数）：偏差存在于模型本身。

借来了习惯，没借来数字

在一项关于人类选择的经典研究中，库博维（Kubovy）和普索特卡（Psotka）请558名路人从0到9中挑一个数字；与此前三项研究的数据合并后，1770人中有28.4%选了7。他们的解释（作为一种猜想提出）是，人们会回避两端、中间、偶数和3的倍数。经过微调的模型完全具有第一种习惯，在最大的数值范围内也有偏向奇数的倾向，但并不回避中间——而它们最强的习惯，即回避整十的数，并不在人类的解释之中。具体数字只有一次与人类吻合：1到10之间的7。

作者强调，这种失败是有结构的，而不是杂乱的噪声：一个在数字之间随意挑选的微调模型，会避开第一个选项、最后一个选项和整十的数。实用建议随之而来——不要把语言模型当作随机数生成器；在模型之外抽取数字，再把结果交给模型。