ВЫ ЗНАЕТЕ, ЧТО ВАМ ПОНРАВИТСЯ, ЛУЧШЕ АЛГОРИТМА
Рекомендательные системы во многом определяют, что люди смотрят, читают и покупают; в Netflix, согласно статье 2015 года, на которую ссылаются авторы, рекомендательная система «влияет на выбор примерно для 80% часов просмотра». Чтобы работать, платформа должна угадать, что понравится каждому человеку. Она может узнать это по поведению — по оценкам, кликам, досмотренным до конца названиям, вашим и миллионов других людей, — а может просто спросить.
Спрашивать накладно. На MovieLens, сайте оценок фильмов, без ответа остались 98,8% из 3,0 миллиона вопросов. К тому же теория даёт противоречивые советы. Одна традиция, которую авторы называют взглядом толпы (crowd view), утверждает, что статистика, построенная по множеству людей, превосходит индивидуальное суждение и что люди плохо предсказывают, насколько им что-то понравится. Другая, взгляд рассеянного знания (dispersed knowledge), гласит, что у каждого из нас есть информация, которую не фиксирует ни одна база данных: вам нравились прежние работы режиссёра, но вы их никогда не оценивали, трейлер оставил вас равнодушным, друг, вкусу которого вы доверяете, не перестаёт о фильме говорить.
Вопрос на главной странице
Цзыхань Чэнь (Zihan Chen) и Ди Чжу (Di Zhu) из Технологического института Стивенса и Лэй Нико Чжэн (Lei Nico Zheng) из Массачусетского университета в Бостоне использовали набор данных, который делает такую проверку возможной. MovieLens, некоммерческая рекомендательная система, которой управляет лаборатория GroupLens в Миннесотском университете, с марта 2023 по май 2024 года размещала на своей главной странице вопрос. Он показывал название фильма и спрашивал, видел ли его участник. Если нет: сколько звёзд, по-вашему, вы бы ему поставили — от половины звезды до пяти?
Из 26 020 таких догадок за 551 — от 277 участников — не раньше чем через день последовала реальная оценка. Именно на этих парах команда сравнила догадку с четырьмя машинами: прогнозом собственной рекомендательной системы MovieLens, двумя классическими рекомендательными алгоритмами, обученными на 33 миллионах более ранних оценок и дополненными всем, что участник оценил вплоть до момента догадки, и «стеком» (stack), объединяющим все машинные прогнозы с тем, что платформа знала о фильме и об участнике.
Люди побеждают
Корреляция догадки участника с последующей оценкой составила 0,69. Обученные алгоритмы достигли от 0,54 до 0,59; собственный прогноз MovieLens — 0,34. В среднем догадка отклонялась от последующей оценки на 0,61 звезды против как минимум 0,72 у любой машины. Кроме того, она была почти несмещённой, тогда как MovieLens завышал последующую оценку на ползвезды.
Преимущество не сводится к знанию того, какие фильмы хороши или насколько щедро человек ставит оценки. Уберите среднюю привлекательность фильма и обычную щедрость участника — и догадка всё равно предсказывает остаток, то есть личное совпадение между этим человеком и этим фильмом, гораздо лучше машин (0,63 против максимум 0,47).
Добавленная ко всему, что знали машины, догадка сократила ошибку прогноза на 26%. Обратное неверно: добавление всей машинной информации к догадке не дало заметного выигрыша.
Где машины догоняют
С упорядочиванием картина более сбалансированная. Из двух фильмов, которые участник позже оценил по-разному, догадка ставила их в правильном порядке в 72% случаев. У MovieLens вышло 56% — подбрасывание монеты даёт 50%, — а обученные алгоритмы достигали от 64 до 67%, что, по оценке авторов, статистически неотличимо от человека.
А на знакомой территории машины справляются так же или лучше. Для фильмов, которые участники на самом деле оценили годами раньше, — более старых, многократно оценённых фильмов, оценённых самыми активными пользователями сайта, — алгоритмы сравнялись с человеком или превзошли его. Преимущество человека максимально там, где данных мало: для редко оцениваемых фильмов (0,65 против 0,41 у одного алгоритма и 0,13 у MovieLens) и для жанров, которые участник оценивает редко.
Что не помогает
Два обходных пути не срабатывают. Прежние догадки участника о других фильмах, даже взвешенные по сходству этих фильмов, не заменяют свежую догадку о рассматриваемом фильме. А вопрос о том, насколько люди уверены, почти ничего не добавляет: уверенность в основном указывает на крайние мнения, а самые уверенные участники оказались несколько чрезмерными оптимистами.
Авторы также проверили, что люди не просто копировали показанный на сайте прогноз: их догадки совпадали с ним примерно так же часто, как при случайном угадывании.
Четыре правила для платформ
Из этих результатов команда выводит четыре принципа проектирования: спрашивать ожидаемую оценку конкретного объекта; спрашивать об объектах, по которым решение принимается сейчас; оценивать рекомендательные системы по верхним кандидатам, которые они действительно переранжируют, — здесь MovieLens правильно упорядочил лишь 56% пар; и давать любому алгоритму всё, что знает платформа, прежде чем сравнивать его с людьми.
Ограничения в статье названы ясно. 551 пара — это 2,1% всех догадок, сделанных энтузиастами на одном сайте, и люди оценивают то, что сами решили посмотреть. Рандомизированный эксперимент, предполагают авторы, показал бы, действительно ли вопросы улучшают рекомендации, которым люди следуют. До тех пор вывод остаётся таким, как сформулировано в их заголовке: вы знаете о фильме перед вами то, чего не записала никакая история оценок.
