自分が何を気に入るか、アルゴリズムよりあなたが知っている
推薦システムは、人々が何を見て、読み、買うかの多くを決めている。著者らが引用する2015年の論文によれば、Netflixでは推薦システムが「ストリーミング視聴時間の約80%で選択に影響を与えている」。うまく機能するには、プラットフォームは一人ひとりが何を気に入るかを推測しなければならない。それは行動から学ぶこともできる。評価、クリック、あなたや何百万人もの人々が最後まで見た作品などだ。あるいは、ただ尋ねることもできる。
尋ねるにはコストがかかる。映画評価サイトのMovieLensでは、300万件の質問のうち98.8%が答えられないままだった。しかも、理論の助言は食い違っている。著者らが群衆の見方(crowd view)と呼ぶ一つの伝統は、多くの人から作られた統計は個人の判断に勝り、人は自分の楽しみを予測するのが下手だと言う。もう一つの、分散した知識(dispersed knowledge)の見方は、私たち一人ひとりがどのデータベースにも記録されていない情報を持っていると言う。あなたはその監督の以前の作品が大好きだったが評価はつけていない、予告編にはぴんとこなかった、好みを信頼している友人がその映画の話ばかりしている、といったことだ。
ホームページ上の質問
Zihan ChenとDi Zhu(スティーブンス工科大学)、Lei Nico Zheng(マサチューセッツ大学ボストン校)は、この検証を可能にするデータセットを使った。ミネソタ大学のGroupLens研究室が運営する非営利の推薦システムMovieLensは、2023年3月から2024年5月まで、ホームページに質問を掲載した。そこには映画のタイトルが示され、会員がそれを見たことがあるかが尋ねられた。見ていなければ、星半分から5つまでで、星をいくつつけると思うか。
そうした予想26,020件のうち、277人の会員による551件が、少なくとも1日後に実際の評価につながった。まさにこれらの組について、チームは予想を4つの機械と比較した。MovieLens自身の推薦システムの予測、3300万件の過去の評価で訓練され、予想の時点までに会員が評価したすべてで更新された2つの古典的な推薦アルゴリズム、そして機械の予測すべてを、プラットフォームが映画と会員について知っていることと組み合わせた「スタック」である。
人間の勝ち
会員の予想とその後の評価の相関は0.69だった。訓練されたアルゴリズムは0.54から0.59、MovieLens自身の予測は0.34だった。平均すると、予想はその後の評価から星0.61個分外れたが、どの機械も少なくとも0.72外れた。また、予想はほとんど偏りがなかったが、MovieLensはその後の評価を星半分だけ過大に見積もっていた。
この優位は、どの映画が良いかや、自分がどれだけ甘く評価するかを知っていることだけによるものではない。映画の平均的な魅力と会員のいつもの甘さを取り除いても、予想は残りの部分、つまりこの人とこの映画の個人的な相性を、機械よりはるかによく予測する(0.63に対し、機械は最大でも0.47)。
機械が知っているすべての情報に加えると、予想は予測誤差を26%減らした。逆は成り立たなかった。予想に機械の情報をすべて加えても、検出できるほどの改善はなかった。
機械が追いつくところ
順位づけについては、状況はもっと拮抗している。会員があとで異なる評価をつけた2本の映画が与えられたとき、予想は72%の割合で正しい順に並べた。MovieLensは56%だった(硬貨投げでも50%になる)が、訓練されたアルゴリズムは64〜67%に達し、著者らはこれを人間と統計的に区別できないとしている。
そして、なじみのある領域では、機械も同等かそれ以上だ。会員が実際に何年も前に評価していた映画、つまりサイトの最もヘビーなユーザーが評価した、古くて評価数の多い映画では、アルゴリズムは人間に並ぶか上回った。人間の強みが最も大きいのは、データが乏しいところだ。評価の少ない映画(0.65に対し、あるアルゴリズムは0.41、MovieLensは0.13)や、会員がめったに評価しないジャンルである。
役に立たないもの
2つの近道は失敗する。会員のほかの映画についての過去の予想は、たとえそれらの映画がどれだけ似ているかで重みづけしても、目の前の映画についての新しい予想の代わりにはならない。また、どれほど確信があるかを尋ねても、ほとんど何も加わらない。確信は主に極端な意見の目印となり、最も確信のある会員はやや楽観的すぎることがわかった。
著者らはまた、人々がサイトに表示された予測をただ真似ていたわけではないことも確かめた。予想がそれと一致する頻度は、偶然の場合とほぼ同じだった。
プラットフォームのための4つの規則
これらの結果から、チームは4つの設計原則を導く。特定のアイテムについて予想される評価を尋ねること。今まさに決めようとしているアイテムについて尋ねること。推薦システムを、実際に並べ直す上位の候補で評価すること(そこでMovieLensが正しく順位づけできた組は56%だけだった)。そして、人間と比較する前に、どんなアルゴリズムにもプラットフォームが知っているすべてを与えること。
限界は論文の中で明確に述べられている。551組はすべての予想の2.1%で、1つのサイトの熱心なファンによるものであり、人々は自分が見ることを選んだものを評価している。著者らは、無作為化実験によって、尋ねることが人々が実際に従う推薦を本当に改善するかどうかがわかるだろうと示唆している。それまでは、結論は論文のタイトルが言うとおりだ。あなたは、目の前の映画について、どの評価履歴にも記録されていないことを知っている。
