DU WEISST BESSER ALS DER ALGORITHMUS, WAS DIR GEFALLEN WIRD
Empfehlungssysteme bestimmen einen Großteil dessen, was Menschen sehen, lesen und kaufen; laut einem Artikel von 2015, den das Team zitiert, „beeinflusst“ das Empfehlungssystem bei Netflix „die Auswahl bei etwa 80 % der gestreamten Stunden“. Damit das funktioniert, muss eine Plattform erraten, was jeder Person gefallen wird. Sie kann das aus dem Verhalten lernen – den Bewertungen, den Klicks, den zu Ende geschauten Titeln, von dir und von Millionen anderen – oder sie kann einfach fragen.
Fragen ist kostspielig. Auf MovieLens, einer Website zur Filmbewertung, blieben 98,8 % von 3,0 Millionen Fragen unbeantwortet. Und die Theorie gibt widersprüchliche Ratschläge. Eine Tradition, die das Team die Sicht der Masse (crowd view) nennt, besagt, dass Statistiken aus vielen Menschen das individuelle Urteil schlagen und dass Menschen schlecht darin sind, ihr eigenes Vergnügen vorherzusagen. Eine andere, die Sicht des verteilten Wissens, besagt, dass jeder Mensch Informationen besitzt, die keine Datenbank erfasst: Du hast die früheren Filme des Regisseurs geliebt, sie aber nie bewertet, der Trailer hat dich kalt gelassen, jemand aus deinem Freundeskreis, dessen Geschmack du vertraust, hört nicht auf, davon zu reden.
Eine Frage auf der Startseite
Zihan Chen und Di Zhu (Stevens Institute of Technology) sowie Lei Nico Zheng (University of Massachusetts Boston) nutzten einen Datensatz, der den Test möglich macht. MovieLens, ein nichtkommerzielles Empfehlungssystem, das vom GroupLens-Labor an der University of Minnesota betrieben wird, stellte von März 2023 bis Mai 2024 eine Frage auf seine Startseite. Sie zeigte einen Filmtitel und fragte, ob das Mitglied den Film gesehen habe. Falls nicht: Wie viele Sterne würdest du ihm wohl geben, von einem halben Stern bis fünf?
Von 26.020 solchen Schätzungen folgte auf 551 – von 277 Mitgliedern – mindestens einen Tag später eine echte Bewertung. Genau an diesen Paaren verglich das Team die Schätzung mit vier Maschinen: der Vorhersage des MovieLens-eigenen Empfehlungssystems, zwei klassischen Empfehlungsalgorithmen, trainiert mit 33 Millionen früheren Bewertungen und aktualisiert mit allem, was das Mitglied bis zum Moment der Schätzung bewertet hatte, und einem „Stack“, der jede Maschinenprognose mit dem kombinierte, was die Plattform über den Film und das Mitglied wusste.
Die Menschen gewinnen
Die Korrelation zwischen der Schätzung des Mitglieds und der späteren Bewertung betrug 0,69. Die trainierten Algorithmen erreichten 0,54 bis 0,59; die eigene Vorhersage von MovieLens 0,34. Im Durchschnitt lag die Schätzung um 0,61 Sterne neben der späteren Bewertung, gegenüber mindestens 0,72 bei jeder Maschine. Sie war außerdem nahezu unverzerrt, während MovieLens die spätere Bewertung um einen halben Stern überschätzte.
Der Vorteil besteht nicht nur darin, zu wissen, welche Filme gut sind oder wie großzügig man bewertet. Zieht man die durchschnittliche Beliebtheit des Films und die übliche Großzügigkeit des Mitglieds ab, sagt die Schätzung den Rest – die persönliche Passung zwischen dieser Person und diesem Film – immer noch weit besser voraus als die Maschinen (0,63 gegenüber höchstens 0,47).
Zu allem hinzugefügt, was die Maschinen wussten, senkte die Schätzung den Vorhersagefehler um 26 %. Umgekehrt galt das nicht: Alle Maschineninformationen zur Schätzung hinzuzufügen, brachte keinen nachweisbaren Gewinn.
Wo die Maschinen aufholen
Ausgewogener ist das Bild bei der Reihenfolge. Bei zwei Filmen, die ein Mitglied später unterschiedlich bewertete, brachte die Schätzung sie in 72 % der Fälle in die richtige Reihenfolge. MovieLens schaffte 56 % – ein Münzwurf kommt auf 50 % –, doch die trainierten Algorithmen erreichten 64 bis 67 %, was laut dem Team statistisch nicht von der Person zu unterscheiden ist.
Und auf vertrautem Terrain sind die Maschinen genauso gut oder besser. Bei Filmen, die Mitglieder tatsächlich schon Jahre zuvor bewertet hatten – ältere, viel bewertete Filme, bewertet von den aktivsten Mitgliedern der Seite –, waren die Algorithmen der Person ebenbürtig oder überlegen. Der Vorsprung der Person ist dort am größten, wo die Daten dünn sind: bei wenig bewerteten Filmen (0,65 gegenüber 0,41 für einen Algorithmus und 0,13 für MovieLens) und bei Genres, die das Mitglied selten bewertet.
Was nicht hilft
Zwei Abkürzungen scheitern. Die früheren Schätzungen eines Mitglieds zu anderen Filmen, selbst gewichtet danach, wie ähnlich diese Filme sind, ersetzen keine frische Schätzung zum vorliegenden Film. Und zu fragen, wie sicher sich die Leute sind, bringt fast nichts: Sicherheit kennzeichnet vor allem extreme Meinungen, und die sichersten Mitglieder erwiesen sich als etwas zu optimistisch.
Das Team prüfte auch, dass die Leute nicht einfach die auf der Seite angezeigte Vorhersage übernahmen: Ihre Schätzungen stimmten etwa so oft mit ihr überein, wie es der Zufall erwarten ließe.
Vier Regeln für Plattformen
Aus diesen Ergebnissen leitet das Team vier Gestaltungsprinzipien ab: nach der erwarteten Bewertung eines bestimmten Titels fragen; nach den Titeln fragen, über die gerade entschieden wird; Empfehlungssysteme an den Top-Kandidaten messen, die sie tatsächlich neu ordnen – dort ordnete MovieLens nur 56 % der Paare richtig –; und jedem Algorithmus alles geben, was die Plattform weiß, bevor man ihn mit Menschen vergleicht.
Die Grenzen sind in der Arbeit klar benannt. Die 551 Paare sind 2,1 % aller Schätzungen, stammen von Begeisterten auf einer einzigen Website, und Menschen bewerten, was sie sich selbst zum Anschauen ausgesucht haben. Ein randomisiertes Experiment, so der Vorschlag des Teams, würde zeigen, ob Fragen die Empfehlungen, denen Menschen folgen, tatsächlich verbessert. Bis dahin gilt der Schluss so, wie es der Titel der Arbeit sagt: Über den Film vor dir weißt du etwas, das keine Bewertungshistorie festgehalten hat.
