レストランアプリが正確になるほど、富める人と貧しい人は分かれていく

地図アプリは近くのレストランを順位づけし、グルメアプリは次にどこで食べるかを提案し、いまでは言語モデルがどこへ行くべきかという質問に答える。印刷されたガイドブックとは違い、こうした提案の裏にあるシステムは、自分が導いた来店から学習する。人々が実際に行った場所、つまり自分自身が推薦した場所も含めたデータで、再学習されるのだ。これは、人とアルゴリズムのあいだのフィードバックループである。

プラットフォームはふつう、こうしたシステムをオフライン精度で評価する。推薦が行われる前に人々がした来店を、どれだけうまく予測できるかだ。このテストでは、提案が人々の行き先を変えることはけっしてないので、ループが時間とともに何をもたらすかは見えない。ノースイースタン大学、トレントのブルーノ・ケスラー財団、ピサのISTI-CNR、ニューヨーク大学のチームが、それを測定しようとした。

都市はプレイリストではない

フィードバックループは、これまで主に曲や映画や商品について研究されてきた。それらは、何人が消費しても互いに影響しない。レストランは3つの点で違う。人は、自分のいる場所から行ける範囲の店のなかから選ぶ。1軒のレストランが迎えられる客の数には限りがある。そして、ある人への推薦は、ほかの客が誰と出会うかも変える。

そこでチームは、実際の移動にもとづくシミュレーションを構築した。2016年10月から2017年3月にかけて記録された、同意したユーザーの匿名化GPSデータから、ボストン、サンフランシスコ、デトロイトでは4,000人、シカゴでは8,000人の住民の日々の予定を得た。住民は、自宅のある地域の所得の四分位による4つのグループから同数ずつ選ばれた。食事に出かけるたびに、推薦システムが、現実的な距離の範囲内でまだ空きのある20の店を提案した。各店の週あたりの収容能力は、実際の来店数の1.5倍に設定された。システムは毎週、直前4か月分のデータで再学習され、それが約3年続いた。データに含まれるほかのすべての人々（1都市あたり最大290,977人）の実際の来店はそのまま残されたので、シミュレーション上の住民はその人々と店を共有した。

比べられたのは4つのアルゴリズムだ。その人が最もよく訪れる場所を推薦するもの（UR-POI）、似た店や似た人から学習する2つ、そして人口全体の動きに従うものである。

誰が誰と出会うかを測る

チームは体験上の所得分離（experienced income segregation）を測定した。それぞれの人について、店で過ごす時間が4つの所得グループの人々のあいだでどれだけ偏っているかを表す指標だ。スコア0は均等に混ざっていることを、スコア1は1つのグループとしか出会わないことを意味する。所得をまたぐつながりは上昇移動を予測するので、混ざり合う場所は重要だ。レストランはよい試験台になる。人々が住む地域に比べて、分離の程度がおよそ半分だからだ。

精度と混ざり合いの引き換え

結果はトレードオフだった。オフライン精度で順位をつけても、生み出す分離の大きさで順位をつけても、4つのアルゴリズムは同じ順番に並ぶ。精度で選ぶと、どの都市でも最も分離を強めるアルゴリズムが選ばれることになる。最も正確なUR-POIは、人々を実際の来店より15〜21%強く分離させた。精度で勝つのは、まさに人々がなじみの場所に戻るからであり、そこへ人々を送り返すことで、彼らを同じ所得層のなかにとどめてしまう。

責任は地図ではなく順位づけにある。行ける範囲の同じ店のなかからランダムに選ぶと、ボストンではすべてのなかで最も低い分離になった。そして負担は、すでに最も孤立している人々に最も重くのしかかる。最も所得の低い住民は、どこでも最も分離されたグループであり、ボストンではそのスコアが現実の0.360からUR-POIのもとで0.413に上がった。

消えていくレストラン

ループは店を空っぽにもする。どのアルゴリズムでも、どの都市でも、レストランの少なくとも5分の1がシミュレーション上の客をすべて失った。その割合は21%から71%で、毎週の再学習がない場合は5%から30%だった。再学習そのものが、損失の55〜75%の原因だった。来店のない店はデータから抜け落ち、もう推薦されなくなるのだ。損失は、活気が少なく所得の低い地域に集中した。

混ざり合いと店の存続は、相反することがある。分離が最も小さい2つのアルゴリズムは、ほかの人々の来店から最も多くを学習し、全員を同じ店に集める。重なり合いは実際の来店の4.4〜6.2倍になり、そのため空っぽになる店は増える。どの都市でも、最も多いのはUserKNNのもとでだ。

順位づけへのひと押し

チームは、どのアルゴリズムにも上乗せできるテールブースト（tail-boost）という簡単な対策を試した。各店のスコアに、来店の少ない店ほど大きくなるボーナスを混ぜ合わせるものだ。ボストンでは、オフライン精度を最大15%犠牲にする一方で、どのアルゴリズムのもとでも店の消失を54〜75%減らし、4つのうち3つで分離を下げた。UR-POIのもとでは、分離の超過分が21%から13%に下がった。しかもその多くは、人々を自分の所得グループが少数派となる場所へ送ることなく実現された。オフライン精度だけで判断していたら、この対策は退けられていただろう。

このシミュレーションは人々を単純化している。主な実行では全員が推薦に従い、所得は個人ではなく地域ごとに測られている。著者たちはコードを公開し、プラットフォームや監査機関はアルゴリズムを導入する前にループをシミュレーションすべきだと主張している。欧州のデジタルサービス法の精神に沿ったものだ。推薦の研究は長いあいだ、それぞれの提案を1人のユーザーと1つの項目のあいだの問題として扱ってきた。論文が述べるように、都市では、従われた推薦のひとつひとつが「ほかの人々が誰と出会い、どの店が訪れられ続けるかも変える」のである。