ПОПРОСИТЕ ИГРОКОВ ОБ ОТЗЫВАХ — И ОЦЕНКА ПРИТИХНЕТ

Онлайн-рейтинги направляют то, что мы покупаем, какие приложения устанавливаем и в какие игры играем. Но они складываются из немногих покупателей, которые дают себе труд что-то написать: большинство людей никогда не оставляют отзывов. Стандартное решение — попросить. 30 октября 2019 года Valve выпустила новую библиотеку для своего игрового магазина Steam, в которой программа спрашивала игроков, не хотят ли они написать отзыв на игру, в которую недавно играли. По всему магазину число отзывов выросло примерно с 17 000 до 70 000 в день.

Сделала ли просьба рейтинги лучше или хуже? Теории расходятся. Больше авторов отзывов — значит, меньше шума. Но люди, которые пишут без просьбы, часто делают это потому, что их что-то удивило, — а отзыв по просьбе может нести меньше такой новости. А когда оценки скапливаются у верхней границы, они, возможно, просто сообщают меньше.

Что рейтинг знает и что он показывает

Цзыхань Чэнь (Zihan Chen) и Ди Чжу (Di Zhu) из Технологического института Стивенса и Лэй Нико Чжэн (Lei Nico Zheng) из Массачусетского университета в Бостоне позаимствовали инструмент, давно применяемый для изучения человеческих суждений и диагностических тестов: теорию обнаружения сигналов. Она разделяет две вещи. Чувствительность — это то, насколько хорошо система отличает реальное изменение от обычного шума: то, что рейтинг знает. Критерий — это то, сколько свидетельств ей нужно, прежде чем отреагировать: то, что рейтинг показывает. Оценка может меняться меньше потому, что знает меньше, или потому, что её шкала сжалась к потолку, а отображение по-прежнему ждёт того же скачка.

Потолок важен, потому что рейтинг — это доля положительных отзывов среди всех отзывов: один и тот же сдвиг баланса между похвалами и жалобами меняет оценку в 95% гораздо меньше, чем оценку в 60%.

Порог в три часа

Steam — идеальный полигон. Каждый публичный отзыв показывает, сколько его автор успел поиграть к моменту написания, а запрос Valve срабатывает по времени игры. Valve не раскрывает порог срабатывания, поэтому авторы нашли его в данных: 180 минут. После запуска на отметке ровно 180 минут игры было написано 11 163 отзыва против 2316 на отметке 179; до запуска на эти две минуты приходилось 3390 и 3255.

На 21,6 миллиона отзывов на 315 популярных игр, собранных независимым сборщиком данных и выложенных в интернет, они сравнили отзывы чуть выше и чуть ниже трёх часов до и после запуска. Сразу после трёх часов отзывов стало в 4,25 раза больше, чем чуть ниже, а скачок доли положительных отзывов вырос на 6,6 пункта. Добавившиеся отзывы примерно на 96% положительные против 86% чуть ниже порога, и они короткие: 71% из них короче 50 символов.

Ранжирование держится, тревоги затихают

Для выбора между играми поначалу мало что изменилось. При равном числе отзывов на игру согласие оценок с критиками осталось прежним: ранговая корреляция с Metacritic составила 0,42 до и 0,41 после, на выборке из более чем тысячи игр.

Заметить, что игра изменилась, — другое дело. Авторы используют отзывы, написанные в первые два часа игры, как эталонный сигнал и измеряют, какая доля его помесячных колебаний проявляется в других группах отзывов. Чуть выше порога эта доля упала с 0,73 до 0,18; чуть ниже — лишь с 0,81 до 0,64. Разрыв появляется на отметке трёх часов и в дату запуска, и больше нигде.

Притихли и метки, которые показывает Steam. Уровень рейтинга с фиксированными границами магазина понижался в 42% плохих месяцев чуть выше порога до запуска и лишь в 12% после; чуть ниже порога — с 47% до 41%. На реконструкции публичной оценки за 30 дней метка понижалась в 38% плохих месяцев до и в 9% после — причём ложных тревог тоже стало меньше.

Меньше тревог, но не меньше знания

Здесь два понятия расходятся. Каждый добавившийся отзыв реагирует на плохой месяц примерно вдвое слабее, чем добровольный. Но их так много, что при реально наблюдаемых объёмах поток выше порога не потерял никакой заметной информации по сравнению с потоком ниже порога: разница составила −0,03 с интервалом от −0,13 до 0,06. Рейтинг знает почти столько же; он показывает это слабее, потому что шкала сжалась, а метки не сдвинулись.

Часть плохих новостей всё же доходит. Сбои, которые разработчики признали в собственных объявлениях, — отключения, откаты, потерянный прогресс — приносят в основном жалобы, а жалоб прибавилось меньше, чем похвал. При таких сбоях общая оценка после запуска снижалась на 2,9 пункта против 1,0 до него.

Авторы также проверили свою модель на более поздних запросах Steam — на 10 и 30 часах, которые добавляют гораздо меньше отзывов: там она почти не предсказывала разрыва, и его не оказалось.

Читать оценку по-другому

Исследование охватывает одну платформу, популярные игры и данные, обрывающиеся в январе 2021 года, а запрос и добавившиеся отзывы выявлены косвенно, а не помечены. Его совет касается чтения, а не того, чтобы просить реже: платформам, которые запрашивают отзывы, следует ожидать, что фиксированные метки замолчат, оценивать отображение по тому, как часто оно улавливает реальные проблемы и как часто поднимает ложную тревогу, и перенастраивать его. Старые эмпирические правила не переносятся: падение на пять пунктов, которое когда-то сигнализировало о беде, теперь стало редкостью в любой месяц.