请玩家写评测，分数反而沉默了

网上的评分左右着我们买什么、装哪些应用、玩哪些游戏。但评分只来自少数愿意动笔的顾客：大多数人从不写任何评价。标准的解决办法是去问。2019年10月30日，Valve为旗下的Steam游戏商店发布了新的游戏库，软件会询问玩家是否愿意评测一款最近玩过的游戏。整个商店的评测数从每天约17,000条增至约70,000条。

询问让评分变好了还是变坏了？各种理论说法不一。评测者更多，应该意味着噪声更少。但主动写评测的人，往往是因为有什么事让他们感到意外——而被请来写的评测，可能就少了这种新消息。而当分数挤向顶端时，它们可能就只是传达的信息更少了。

评分知道什么，又显示什么

史蒂文斯理工学院的Zihan Chen和Di Zhu，以及马萨诸塞大学波士顿分校的Lei Nico Zheng，借用了一个长期用于研究人类判断和诊断测试的工具：信号检测论。它区分两样东西。敏感度是一个系统区分真实变化与普通噪声的能力——即评分知道什么。判断标准是它在做出反应之前需要多少证据——即它显示什么。一个分数变动更小，可能是因为它知道得更少，也可能是因为它的量表已经被挤向上限，而显示方式仍在等待同样大小的跳变。

上限之所以重要，是因为评分是好评在全部评测中所占的比例：好评与差评之间同样幅度的此消彼长，让95%的分数移动的幅度远小于60%的分数。

三小时的触发点

Steam是理想的检验对象。每条公开评测都会显示作者写评测时已经玩了多久，而Valve的提示正是由游玩时间触发的。Valve并未公布触发条件，于是作者们从数据中找到了它：180分钟。新功能上线后，有11,163条评测恰好写于游玩180分钟时，而写于179分钟的只有2,316条；上线前，这两个分钟分别有3,390条和3,255条。

他们利用一位独立收集者汇集并发布在网上的315款热门游戏的2160万条评测，比较了上线前后略高于和略低于三小时的评测。刚过三小时，评测数量变为刚不到三小时的4.25倍，好评比例的跳升幅度增大了6.6个百分点。新增的评测约96%是好评，而阈值之下为86%；而且很短：其中71%不足50个字符。

排序依旧，警报减弱

在不同游戏之间做选择这件事上，起初变化不大。在每款游戏评测数量保持相同的条件下，分数与评论家的一致程度没有变化：在一千多款游戏中，与Metacritic的秩相关系数上线前为0.42，上线后为0.41。

察觉一款游戏发生了变化，则是另一回事。作者们把游玩前两小时内写下的评测作为参照信号，测量其逐月变动有多少体现在其他各组评测中。在阈值之上，这一比例从0.73降至0.18；在阈值之下，仅从0.81降至0.64。这一断裂出现在三小时处和上线日期，其他地方都没有。

Steam显示的标签也沉默了。一个采用商店固定分界的评分等级，在阈值之上的糟糕月份里，上线前下降的比例为42%，上线后仅为12%；在阈值之下，则从47%变为41%。在对公开的30天分数所做的重建中，标签在糟糕月份中下降的比例上线前为38%，上线后为9%——误报也同样减少了。

警报更少，知识未减

在这里，两个概念分道扬镳。每条新增评测对糟糕月份的反应幅度，只有自愿评测的大约一半。但新增评测数量众多，以实际观察到的数量而言，阈值之上的评测流与阈值之下的相比，没有损失可检测到的信息：差值为−0.03，区间为−0.13到0.06。评分知道的几乎一样多；它只是显示得更少，因为量表被压缩了，而标签却没有移动。

一些坏消息仍能传达出来。开发者在自己的公告中承认的故障——服务中断、版本回滚、进度丢失——引来的主要是差评，而差评膨胀的程度比好评小。在这些故障发生时，整体分数在上线后下降了2.9分，而上线前为1.0分。

作者们还在Steam后来的提示节点——10小时和30小时——检验了他们的模型，这些节点新增的评测要少得多：模型预测那里几乎不会出现断裂，实际上也没有出现。

换一种方式读分数

这项研究只涉及一个平台和热门游戏，数据截至2021年1月；提示和新增评测都是推断出来的，而非有明确标记。它的建议关乎如何解读，而不是少问：征集评测的平台应当预料到固定标签会沉默下来，应当根据一种显示方式捕捉到真实问题的频率与误报的频率来评判它，并重新校准。旧的经验法则不再适用——曾经预示着麻烦的5分下跌，如今在任何月份都已很少见。