ЧЕМ ТОЧНЕЕ ПРИЛОЖЕНИЕ ДЛЯ ВЫБОРА РЕСТОРАНА, ТЕМ СИЛЬНЕЕ ОНО РАЗДЕЛЯЕТ БОГАТЫХ И БЕДНЫХ

Карты ранжируют ближайшие рестораны, приложения о еде подсказывают, где поесть в следующий раз, а языковые модели теперь отвечают на вопросы о том, куда пойти. В отличие от печатного путеводителя, системы, стоящие за этими подсказками, учатся на визитах, которые сами направляют. Их переобучают на данных о том, куда ходили люди, — включая места, которые они сами же рекомендовали. Это петля обратной связи между людьми и алгоритмами.

Платформы обычно оценивают такие системы по их офлайн-точности: насколько хорошо они предсказывают визиты, которые люди совершили до появления каких-либо рекомендаций. Такая проверка никогда не позволяет подсказкам изменить то, куда ходят люди, поэтому она не может увидеть, что петля делает со временем. Команда из Северо-Восточного университета (Northeastern University), Фонда Бруно Кесслера в Тренто, ISTI-CNR в Пизе и Нью-Йоркского университета взялась это измерить.

Почему город — это не плейлист

Петли обратной связи изучали в основном для песен, фильмов и товаров, которые может потреблять сколько угодно людей, не влияя друг на друга. Рестораны отличаются в трёх отношениях. Люди выбирают среди мест, до которых можно добраться оттуда, где они находятся. Ресторан может обслужить лишь ограниченное число посетителей. И рекомендация одному человеку меняет также и то, с кем встречаются другие посетители.

Поэтому команда построила симуляцию на реальных перемещениях. Анонимизированные GPS-данные пользователей, давших на это согласие, записанные с октября 2016 по март 2017 года, дали ежедневные расписания 4000 жителей Бостона, Сан-Франциско и Детройта и 8000 жителей Чикаго, отобранных поровну из четырёх квартилей дохода их районов проживания. При каждой поездке поесть рекомендательная система предлагала 20 заведений на реалистичном расстоянии, в которых ещё оставались места; еженедельная вместимость каждого заведения была задана в 1,5 раза больше его реальных визитов. Систему переобучали каждую неделю на данных за предыдущие четыре месяца на протяжении примерно трёх лет. Реальные визиты всех остальных людей в данных — до 290 977 человек на город — сохранялись, так что симулированные жители делили заведения с ними.

Сравнивались четыре алгоритма: один рекомендует места, которые человек посещает чаще всего (UR-POI), два учатся на похожих заведениях или похожих людях, и ещё один следует за перемещениями всего населения.

Как измерить, кто с кем встречается

Команда измеряла переживаемую сегрегацию по доходу (experienced income segregation): для каждого человека — насколько неравномерно время, проведённое в заведениях, распределено между людьми из четырёх групп дохода. Оценка 0 означает равномерное смешение; оценка 1 — встречи только с одной группой. Смешанные места важны, потому что связи между людьми с разным доходом предсказывают восходящую социальную мобильность. Рестораны — хороший полигон: они примерно вдвое менее сегрегированы, чем районы, где живут люди.

Точность против смешения

Результат — это компромисс. Если ранжировать четыре алгоритма по офлайн-точности и по сегрегации, которую они порождают, они выстраиваются в одном и том же порядке. Выбор по точности в каждом городе приводит к самому сегрегирующему алгоритму. Самый точный из них, UR-POI, сделал людей на 15–21% более сегрегированными, чем при их реальных визитах. Он выигрывает в точности именно потому, что люди возвращаются в знакомые места, — и, отправляя их туда снова, удерживает их среди своих.

Виновато ранжирование, а не карта. Случайный выбор среди тех же доступных заведений дал в Бостоне самую низкую сегрегацию из всех. И сильнее всего бремя ложится на тех, кто и так наиболее изолирован: жители с самым низким доходом везде были самой сегрегированной группой, а в Бостоне их оценка выросла с 0,360 в действительности до 0,413 при UR-POI.

Рестораны, которые исчезают

Петля также опустошает заведения. При любом алгоритме и в любом городе не меньше пятой части ресторанов лишились всех своих симулированных посетителей — от 21% до 71% из них, против 5–30% без еженедельного переобучения. Само переобучение вызвало от 55 до 75% этих потерь: заведение, которое не получает визитов, выпадает из данных и больше не рекомендуется. Потери сосредоточились в менее активных районах с более низким доходом.

Смешение и выживание могут тянуть в разные стороны. Два алгоритма, которые сегрегируют меньше всего, больше всего учатся на визитах других людей, собирая всех в одних и тех же заведениях — пересечение в 4,4–6,2 раза больше, чем при реальных визитах, — и поэтому оставляют пустыми больше заведений, причём UserKNN — больше всех, в каждом городе.

Лёгкий толчок в ранжировании

Команда проверила простое исправление под названием tail-boost («усиление хвоста»), которое добавляется поверх любого алгоритма: оценка каждого заведения смешивается с бонусом, который тем больше, чем реже посещается место. В Бостоне, жертвуя не более чем 15% офлайн-точности, оно сократило исчезновение заведений на 54–75% при каждом алгоритме и снизило сегрегацию при трёх из четырёх; при UR-POI избыточная сегрегация упала с 21% до 13%. При этом оно по большей части не отправляло людей в места, где их собственная группа дохода составляет малое меньшинство. Одна лишь офлайн-точность отвергла бы это исправление.

Симуляция упрощает людей — в основных прогонах все следуют рекомендациям — и измеряет доход по району, а не по человеку. Авторы публикуют свой код и утверждают, что платформы и аудиторы должны моделировать петлю, прежде чем внедрять алгоритм, в духе европейского Закона о цифровых услугах (Digital Services Act). Исследования рекомендательных систем давно рассматривают каждую подсказку как дело между одним пользователем и одним объектом; в городе же, как сказано в статье, каждая выполненная рекомендация «меняет также и то, с кем встречаются другие люди и какие заведения продолжают посещать».