FRAGT MAN SPIELER NACH REZENSIONEN, VERSTUMMT DIE WERTUNG

Online-Bewertungen lenken, was wir kaufen, welche Apps wir installieren und welche Spiele wir spielen. Doch sie stammen von den wenigen Menschen, die sich die Mühe machen zu schreiben: Die meisten bewerten nie etwas. Die übliche Abhilfe ist, nachzufragen. Am 30. Oktober 2019 veröffentlichte Valve eine neue Bibliothek für seinen Spieleshop Steam, in der die Software Spieler fragte, ob sie ein kürzlich gespieltes Spiel rezensieren wollten. Im gesamten Store stiegen die Rezensionen von etwa 17.000 pro Tag auf etwa 70.000.

Machte das Nachfragen die Bewertungen besser oder schlechter? Die Theorien sind uneins. Mehr Rezensionen sollten weniger Rauschen bedeuten. Doch wer ungefragt schreibt, tut das oft, weil ihn etwas überrascht hat – und eine erbetene Rezension trägt womöglich weniger von dieser Neuigkeit. Und wenn sich die Wertungen am oberen Ende drängen, sagen sie womöglich schlicht weniger aus.

Was eine Bewertung weiß und was sie zeigt

Zihan Chen und Di Zhu vom Stevens Institute of Technology sowie Lei Nico Zheng von der University of Massachusetts Boston griffen auf ein Werkzeug zurück, das seit Langem zur Untersuchung menschlicher Urteile und diagnostischer Tests dient: die Signalentdeckungstheorie. Sie trennt zwei Dinge. Die Sensitivität gibt an, wie gut ein System eine echte Veränderung von gewöhnlichem Rauschen unterscheiden kann – was eine Bewertung weiß. Das Kriterium gibt an, wie viele Belege es braucht, bevor es reagiert – was sie zeigt. Eine Wertung kann sich weniger bewegen, weil sie weniger weiß, oder weil ihre Skala sich zur Obergrenze hin zusammengedrängt hat, während die Anzeige immer noch auf denselben Sprung wartet.

Die Obergrenze spielt eine Rolle, weil eine Bewertung der Anteil positiver Rezensionen an allen Rezensionen ist: Dieselbe Verschiebung des Gleichgewichts zwischen Lob und Beschwerden bewegt eine Wertung von 95 % weit weniger als eine von 60 %.

Ein Auslöser nach drei Stunden

Steam ist ein idealer Testfall. Jede öffentliche Rezension zeigt, wie lange beim Schreiben bereits gespielt worden war, und Valves Aufforderung wird durch die Spielzeit ausgelöst. Valve veröffentlicht den Auslöser nicht, also fand das Team ihn in den Daten: 180 Minuten. Nach dem Start wurden 11.163 Rezensionen bei genau 180 Minuten Spielzeit geschrieben, gegenüber 2.316 bei 179; davor kamen die beiden Minuten auf 3.390 und 3.255.

Anhand von 21,6 Millionen Rezensionen zu 315 beliebten Spielen, zusammengetragen von einem unabhängigen Sammler und online veröffentlicht, verglich das Team Rezensionen knapp über und knapp unter drei Stunden, vor und nach dem Start. Direkt nach drei Stunden waren Rezensionen 4,25-mal so zahlreich wie direkt darunter, und der Sprung im Anteil positiver Rezensionen wuchs um 6,6 Punkte. Die zusätzlichen Rezensionen sind zu etwa 96 % positiv, gegenüber 86 % knapp unter der Schwelle, und kurz: 71 % von ihnen haben weniger als 50 Zeichen.

Die Rangfolge hält, die Alarme verblassen

Für die Wahl zwischen Spielen änderte sich zunächst wenig. Bei gleich gehaltener Zahl von Rezensionen pro Spiel blieb die Übereinstimmung der Wertungen mit der Fachkritik stabil: eine Rangkorrelation mit Metacritic von 0,42 davor und 0,41 danach, über mehr als tausend Spiele hinweg.

Zu bemerken, dass sich ein Spiel verändert hat, ist eine andere Sache. Das Team nutzt die Rezensionen aus den ersten zwei Stunden Spielzeit als Referenzsignal und misst, wie viel von dessen monatlicher Bewegung in anderen Gruppen von Rezensionen auftaucht. Knapp über der Schwelle sank dieser Anteil von 0,73 auf 0,18; knapp darunter nur von 0,81 auf 0,64. Der Bruch zeigt sich bei drei Stunden und am Startdatum, und sonst nirgends.

Auch die Labels, die Steam anzeigt, wurden still. Eine Bewertungsstufe mit den festen Grenzen des Stores fiel knapp über der Schwelle vor dem Start in 42 % der schlechten Monate, danach nur noch in 12 %; knapp darunter ging der Wert von 47 % auf 41 % zurück. Bei einer Rekonstruktion der öffentlichen 30-Tage-Wertung fiel das Label in 38 % der schlechten Monate davor und in 9 % danach – wobei auch die Fehlalarme zurückgingen.

Weniger Alarme, nicht weniger Wissen

Hier trennen sich die beiden Begriffe. Jede zusätzliche Rezension reagiert auf einen schlechten Monat etwa halb so stark wie eine freiwillige. Doch es gibt so viele davon, dass der Strom über der Schwelle bei den tatsächlich beobachteten Mengen gegenüber dem Strom darunter keine nachweisbare Information verlor: eine Differenz von −0,03, mit einem Intervall von −0,13 bis 0,06. Die Bewertung weiß fast genauso viel; sie zeigt es weniger, weil sich die Skala zusammengedrängt hat und die Labels sich nicht verschoben haben.

Einige schlechte Nachrichten kommen dennoch durch. Fehler, die Entwicklerstudios in ihren eigenen Ankündigungen eingeräumt haben – Ausfälle, Rollbacks, verlorener Spielfortschritt –, bringen vor allem Beschwerden, und Beschwerden wurden weniger aufgebläht als Lob. Bei diesen Fehlern fiel die Gesamtwertung nach dem Start um 2,9 Punkte, gegenüber 1,0 davor.

Das Team prüfte sein Modell auch an Steams späteren Aufforderungen bei 10 und 30 Stunden, die weit weniger Rezensionen hinzufügen: Dort sagte es fast keinen Bruch voraus, und es trat auch keiner auf.

Die Wertung anders lesen

Die Studie betrifft eine einzige Plattform, beliebte Spiele und Daten, die im Januar 2021 enden, und die Aufforderung sowie die zusätzlichen Rezensionen werden erschlossen, nicht gekennzeichnet. Ihr Rat betrifft das Lesen, nicht weniger Nachfragen: Plattformen, die um Rezensionen bitten, sollten damit rechnen, dass feste Labels verstummen, eine Anzeige danach beurteilen, wie oft sie echte Probleme erfasst, gemessen daran, wie oft sie falschen Alarm schlägt, und neu kalibrieren. Alte Faustregeln lassen sich nicht übertragen – ein Rückgang um fünf Punkte, der früher Ärger signalisierte, ist inzwischen in jedem Monat selten geworden.