プレイヤーにレビューを頼むと、スコアは静かになる

オンラインの評価は、私たちが何を買い、どのアプリを入れ、どのゲームを遊ぶかを左右する。しかしそれは、わざわざ書き込む少数の客によって作られている。ほとんどの人は、何ひとつレビューしない。標準的な対策は、頼むことだ。2019年10月30日、Valveはゲームストア「Steam」の新しいライブラリを公開した。そこでは、最近遊んだゲームのレビューを書きたいかどうかを、ソフトウェアがプレイヤーに尋ねた。ストア全体で、レビューは1日約17,000件から約70,000件に増えた。

頼むことで、評価はよくなったのか、悪くなったのか。理論の見方は分かれる。レビューを書く人が増えれば、ノイズは減るはずだ。しかし、頼まれずに書く人は、何かに驚いたから書くことが多い。頼まれて書いたレビューは、そうした知らせをあまり運ばないかもしれない。そして、スコアが上のほうに集まると、スコアが伝えることは単純に少なくなるのかもしれない。

評価が知っていること、見せていること

スティーブンス工科大学のZihan ChenとDi Zhu、そしてマサチューセッツ大学ボストン校のLei Nico Zhengは、人間の判断や診断検査の研究で長く使われてきた道具を借りた。信号検出理論（signal detection theory）だ。この理論は2つのことを分けて考える。感度は、本物の変化をふつうのノイズからどれだけうまく見分けられるか、つまり評価が何を知っているかだ。判断基準（criterion）は、反応するまでにどれだけの証拠を必要とするか、つまり評価が何を見せるかだ。スコアの動きが小さくなるのは、知っていることが減ったからかもしれないし、表示が同じ大きさの変化を待ち続けているあいだに、尺度が天井のほうへ押し縮められたからかもしれない。

天井が重要なのは、評価がすべてのレビューに占める好意的なレビューの割合だからだ。称賛と苦情のバランスが同じだけ変わっても、95%のスコアは60%のスコアよりはるかに小さくしか動かない。

3時間のきっかけ

Steamは理想的な検証の場だ。公開されたレビューにはどれも、書いた人がその時点で何時間遊んでいたかが表示され、Valveの問いかけはプレイ時間をきっかけに表示される。Valveはそのきっかけを公表していないので、著者たちはデータからそれを見つけ出した。180分だ。導入後、ちょうど180分のプレイ時点で書かれたレビューは11,163件で、179分では2,316件だった。導入前は、この2つの時点でそれぞれ3,390件と3,255件だった。

独立した収集者が集めてオンラインで公開した、人気ゲーム315本の2,160万件のレビューを使い、著者たちは3時間をわずかに上回るレビューとわずかに下回るレビューを、導入前と導入後で比較した。3時間をわずかに超えたところでは、レビューはわずかに下回るところの4.25倍に増え、好意的なレビューの割合の段差は6.6ポイント大きくなった。追加されたレビューは約96%が好意的で、しきい値のすぐ下では86%だった。しかも短く、71%は50文字未満だ。

順位は保たれ、警報は弱まる

まず、ゲームどうしを比べて選ぶという点では、ほとんど何も変わらなかった。ゲームあたりのレビュー数をそろえると、スコアと批評家の評価との一致度は変わらなかった。1,000本を超えるゲームで、Metacriticとの順位相関は導入前が0.42、導入後が0.41だった。

ゲームが変化したことに気づけるかどうかは、別の話だ。著者たちは、プレイ開始から最初の2時間に書かれたレビューを基準となる信号として使い、その月ごとの動きのうちどれだけが、ほかのレビューのグループに表れるかを測った。しきい値のすぐ上では、その割合は0.73から0.18に下がった。すぐ下では、0.81から0.64に下がっただけだった。この断絶は3時間の地点と導入日に現れ、それ以外のどこにも現れない。

Steamが表示するラベルも静かになった。ストアの固定された境界をもつ評価ランクは、導入前にはしきい値のすぐ上で悪い月の42%で下がったが、導入後は12%だけだった。すぐ下では、47%から41%になった。公開されている30日間のスコアを再構成したものでは、ラベルが下がったのは悪い月のうち導入前が38%、導入後が9%で、誤警報も同じように減っていた。

警報は減っても、知識は減っていない

ここで、2つの概念が分かれる。追加されたレビューは1件ずつで見ると、悪い月への反応が自発的なレビューの約半分しかない。しかし数が非常に多いので、実際に観測された量では、しきい値より上のレビューの流れは、下の流れと比べて検出できるほどの情報を失っていなかった。差は−0.03で、区間は−0.13から0.06だ。評価はほぼ同じだけのことを知っている。それを見せることが少なくなったのは、尺度が圧縮されたのに、ラベルが動いていないからだ。

それでも、いくつかの悪い知らせは届く。開発者が自らの告知で認めた不具合、つまりサービス障害、ロールバック、進行状況の消失などは、おもに苦情をもたらし、苦情は称賛ほど水増しされなかった。そうした不具合のときに、全体のスコアは導入後には2.9ポイント下がった。導入前は1.0ポイントだった。

著者たちは、追加されるレビューがはるかに少ない、Steamのその後の問いかけ（10時間と30時間）でもモデルを確かめた。そこではモデルはほとんど断絶を予測せず、実際にも断絶は現れなかった。

スコアの読み方を変える

この研究が扱っているのは、1つのプラットフォーム、人気のあるゲーム、そして2021年1月で終わるデータであり、問いかけや追加されたレビューは、明示されたものではなく推定されたものだ。研究の助言は、頼む回数を減らすことではなく、読み方についてのものだ。レビューを求めるプラットフォームは、固定されたラベルが沈黙するようになると見込み、表示が本当の問題をどれだけ頻繁にとらえるかを、どれだけ頻繁に空騒ぎするかと照らし合わせて評価し、調整し直すべきだ。古い経験則はもう通用しない。かつて問題の兆しだった5ポイントの下落は、いまではどの月にもめったに起こらなくなった。