计算机与人工智能预印本数据分析阅读 1 分钟

你比算法更清楚自己会喜欢什么

推荐系统在很大程度上决定了人们看什么、读什么、买什么;根据作者引用的一篇2015年的论文,在Netflix,推荐系统“影响了约80%播放时长的选择”。要发挥作用,平台必须猜出每个人会喜欢什么。它可以从行为中学到这一点——你和其他数以百万计的人给出的评分、点击、看完的作品——也可以直接问。

提问是有代价的。在电影评分网站MovieLens上,300万个问题中,98.8%的问题没有得到回答。而理论给出的建议相互矛盾。一种传统被作者称为群体观,认为基于众人构建的统计胜过个人判断,而且人们不善于预测自己会有多喜欢某样东西。另一种是分散知识观,认为我们每个人都掌握着任何数据库都没有记录的信息:你很喜欢这位导演早期的作品却从未给它们打过分,预告片没能打动你,一位品味可靠的朋友一直对它赞不绝口。

主页上的一个问题

史蒂文斯理工学院(Stevens Institute of Technology)的Zihan Chen和Di Zhu,以及马萨诸塞大学波士顿分校(University of Massachusetts Boston)的Lei Nico Zheng,使用了一个让这种检验成为可能的数据集。MovieLens是由明尼苏达大学GroupLens实验室运营的非商业性推荐网站,它从2023年3月到2024年5月在主页上放置了一个问题。这个问题显示一部电影的片名,询问会员是否看过。如果没看过:你觉得自己会给它打几颗星,从半颗星到五颗星?

在26,020个这样的猜测中,有551个——来自277名会员——在至少一天之后跟上了一个真实评分。正是在这些配对上,团队将猜测与四台机器进行了比较:MovieLens自己的推荐系统给出的预测;两种经典推荐算法,它们在3300万条较早的评分上训练,并用会员在猜测那一刻之前给出的全部评分进行了更新;以及一个“堆叠”模型(stack),它把每一种机器预测与平台所掌握的关于这部电影和这位会员的信息结合起来。

人赢了

会员的猜测与后来评分的相关系数为0.69。经过训练的算法达到0.54至0.59;MovieLens自己的预测为0.34。平均而言,猜测与后来评分相差0.61颗星,而任何一台机器至少相差0.72。猜测还几乎没有偏差,而MovieLens则把后来的评分高估了半颗星。

这种优势不仅仅在于知道哪些电影好,或者一个人打分有多大方。去掉电影的平均吸引力和会员一贯的大方程度之后,猜测对剩余部分——这个人与这部电影之间的个人契合度——的预测依然远胜机器(0.63对最多0.47)。

把猜测加入机器已知的全部信息后,预测误差降低了26%。反过来则不成立:把所有机器信息加入猜测,没有带来任何可检测到的提升。

机器追上来的地方

在排序上,情况更加均衡。对于会员后来给出不同评分的两部电影,猜测把它们排对顺序的比例为72%。MovieLens做到了56%——抛硬币也能得到50%——但经过训练的算法达到64%至67%,作者认为这与人在统计上无法区分。

而在熟悉的领域,机器做得一样好甚至更好。对于会员实际上在多年前就已评过分的电影——较老、被大量评分、由网站最活跃用户评分的电影——算法与人持平或胜过人。人的优势在数据稀少的地方最大:对于很少被评分的电影(0.65,而一种算法为0.41,MovieLens为0.13),以及会员很少评分的类型。

哪些做法没有帮助

有两条捷径行不通。会员对其他电影的早先猜测,即使按这些电影的相似程度加权,也无法取代对眼前这部电影的新猜测。而询问人们有多确定,几乎没有增加任何信息:确定程度主要标示出极端的意见,而最确定的会员结果反而有些过于乐观。

作者还检验了人们并不是简单地照抄网站显示的预测:他们的猜测与该预测吻合的频率,大致与随机巧合相当。

给平台的四条规则

根据这些结果,团队提出了四条设计原则:询问对某个具体项目的预期评分;询问当下正要做决定的那些项目;在推荐系统实际重新排序的头部候选项上评判它们,而在这一点上,MovieLens只把56%的配对排对了顺序;在把任何算法与人比较之前,先给它平台所知道的一切。

论文对局限性说得很清楚。这551个配对只占全部猜测的2.1%,来自单一网站上的爱好者,而且人们评价的是自己选择观看的东西。作者建议,一项随机化实验可以判断,提问是否真的能改善人们所采纳的推荐。在此之前,结论正如他们的标题所说:对于眼前这部电影,你知道一些任何评分历史都没有记录下来的东西。