JE GENAUER DIE RESTAURANT-APP, DESTO MEHR TRENNT SIE ARM UND REICH

Karten-Apps ordnen die Restaurants in der Nähe, Essens-Apps schlagen vor, wo man als Nächstes essen soll, und Sprachmodelle beantworten inzwischen Fragen dazu, wohin man gehen soll. Anders als ein gedruckter Führer lernen die Systeme hinter diesen Vorschlägen aus den Besuchen, die sie lenken. Sie werden darauf neu trainiert, wohin die Menschen gegangen sind – einschließlich der Orte, die sie selbst empfohlen haben. Das ist eine Rückkopplungsschleife zwischen Menschen und Algorithmen.

Plattformen beurteilen diese Systeme meist nach ihrer Offline-Genauigkeit: wie gut sie Besuche vorhersagen, die Menschen vor jeder Empfehlung gemacht haben. Dieser Test lässt die Vorschläge nie verändern, wohin Menschen gehen, und kann daher nicht sehen, was die Schleife im Lauf der Zeit bewirkt. Ein Team der Northeastern University, der Fondazione Bruno Kessler in Trient, des ISTI-CNR in Pisa und der New York University machte sich daran, das zu messen.

Warum eine Stadt keine Playlist ist

Rückkopplungsschleifen wurden bisher vor allem für Lieder, Filme und Produkte untersucht, die beliebig viele Menschen konsumieren können, ohne einander zu beeinflussen. Restaurants unterscheiden sich in dreierlei Hinsicht. Menschen wählen unter Orten, die von ihrem Aufenthaltsort aus erreichbar sind. Ein Restaurant kann nur eine begrenzte Zahl von Gästen bedienen. Und eine Empfehlung an eine Person verändert auch, wem die anderen Gäste begegnen.

Das Team baute daher eine Simulation auf realen Bewegungen auf. Anonymisierte GPS-Daten von Nutzerinnen und Nutzern, die eingewilligt hatten, aufgezeichnet zwischen Oktober 2016 und März 2017, lieferten die Tagesabläufe von 4.000 Einwohnerinnen und Einwohnern in Boston, San Francisco und Detroit sowie 8.000 in Chicago, zu gleichen Teilen aus den vier Einkommensquartilen ihrer Wohnviertel gezogen. Bei jedem Weg zum Essen schlug ein Empfehlungssystem 20 Lokale in realistischer Entfernung vor, die noch Platz hatten; die wöchentliche Kapazität jedes Lokals wurde auf das 1,5-Fache seiner realen Besuche festgelegt. Das System wurde jede Woche auf den vorangegangenen vier Monaten neu trainiert, über etwa drei Jahre. Die realen Besuche aller anderen Personen in den Daten – bis zu 290.977 Menschen pro Stadt – wurden beibehalten, sodass die simulierten Einwohnerinnen und Einwohner die Lokale mit ihnen teilten.

Vier Algorithmen wurden verglichen: einer, der die Orte empfiehlt, die eine Person am häufigsten besucht (UR-POI), zwei, die aus ähnlichen Lokalen oder ähnlichen Menschen lernen, und einer, der den Bewegungen der gesamten Bevölkerung folgt.

Messen, wer wem begegnet

Das Team maß die erlebte Einkommenssegregation: für jede Person, wie ungleich die in Lokalen verbrachte Zeit auf Menschen der vier Einkommensgruppen verteilt ist. Ein Wert von 0 bedeutet eine gleichmäßige Mischung; ein Wert von 1 bedeutet, nur einer Gruppe zu begegnen. Gemischte Orte sind wichtig, weil Verbindungen über Einkommensgrenzen hinweg sozialen Aufstieg vorhersagen. Restaurants sind ein gutes Versuchsfeld: Sie sind etwa halb so stark segregiert wie die Viertel, in denen die Menschen wohnen.

Genauigkeit gegen Durchmischung

Das Ergebnis ist ein Zielkonflikt. Nach Offline-Genauigkeit geordnet und nach der von ihnen erzeugten Segregation geordnet, ergeben die vier Algorithmen dieselbe Reihenfolge. Wer nach Genauigkeit auswählt, nimmt in jeder Stadt den am stärksten segregierenden Algorithmus. Der genaueste, UR-POI, ließ die Menschen um 15–21 % stärker segregiert zurück als bei ihren realen Besuchen. Er gewinnt bei der Genauigkeit gerade deshalb, weil Menschen an vertraute Orte zurückkehren – und indem er sie dorthin zurückschickt, hält er sie unter ihresgleichen.

Schuld ist die Rangfolge, nicht die Karte. Eine zufällige Auswahl unter denselben erreichbaren Lokalen ergab in Boston die niedrigste Segregation von allen. Und die Last trifft diejenigen am härtesten, die ohnehin am stärksten isoliert sind: Die Einwohnerinnen und Einwohner mit dem niedrigsten Einkommen waren überall die am stärksten segregierte Gruppe, und in Boston stieg ihr Wert von 0,360 in der Wirklichkeit auf 0,413 unter UR-POI.

Restaurants, die verschwinden

Die Schleife leert auch Lokale. Unter jedem Algorithmus und in jeder Stadt verlor mindestens ein Fünftel der Restaurants alle seine simulierten Gäste – zwischen 21 % und 71 % von ihnen, gegenüber 5 % bis 30 % ohne wöchentliches Neutrainieren. Das Neutrainieren selbst verursachte 55 bis 75 % des Verlusts: Ein Lokal, das keine Besuche erhält, fällt aus den Daten heraus und wird nicht mehr empfohlen. Die Verluste konzentrierten sich in weniger aktiven Vierteln mit niedrigerem Einkommen.

Durchmischung und Überleben können auseinanderlaufen. Die beiden Algorithmen, die am wenigsten segregieren, lernen am meisten aus den Besuchen anderer Menschen und versammeln alle in denselben Lokalen – eine Überschneidung, die das 4,4- bis 6,2-Fache der realen Besuche beträgt – und lassen so mehr Lokale leer zurück, UserKNN in jeder Stadt am meisten.

Ein Schubs in der Rangfolge

Das Team testete eine einfache Abhilfe namens tail-boost, die sich jedem Algorithmus aufsetzen lässt: Der Wert jedes Lokals wird mit einem Bonus verrechnet, der für weniger besuchte Orte größer ist. In Boston verringerte sie, bei einem Verzicht auf höchstens 15 % der Offline-Genauigkeit, das Verschwinden von Lokalen unter jedem Algorithmus um 54 bis 75 % und senkte die Segregation bei drei der vier; unter UR-POI fiel die überschüssige Segregation von 21 % auf 13 %. Das gelang weitgehend, ohne Menschen an Orte zu schicken, an denen ihre eigene Einkommensgruppe eine kleine Minderheit ist. Die Offline-Genauigkeit allein hätte sie verworfen.

Die Simulation hält die Menschen einfach – in den Hauptläufen folgen alle den Empfehlungen – und misst das Einkommen nach Wohnviertel, nicht nach Person. Die Autoren veröffentlichen ihren Code und argumentieren, dass Plattformen und Prüfstellen die Schleife simulieren sollten, bevor sie einen Algorithmus einsetzen, im Sinne des europäischen Digital Services Act. Die Forschung zu Empfehlungssystemen hat jeden Vorschlag lange als Angelegenheit zwischen einer Nutzerin oder einem Nutzer und einem Objekt behandelt; in einer Stadt, so formuliert es die Arbeit, verändert jede befolgte Empfehlung „auch, wem andere Menschen begegnen und welche Lokale weiterhin besucht werden“.