Информатика и ИИПрепринтАнализ данных5 мин чтения

ТОЛПА ВЕРИТ В ВАС — НЕМНОГО СЛИШКОМ

На Manifold, сайте рынков предсказаний, пользователи постоянно задают вопросы о самих себе: «Схожу ли я в спортзал три раза на этой неделе?», «Закончу ли я черновик диссертации к пятнице?», «Продержусь ли я без соцсетей в марте?» Другие пользователи затем торгуют на ответ за mana — игровые деньги платформы. У каждого вопроса в итоге появляется цена — она читается как вероятность того, что ответ будет «ДА», — которую потом можно сверить с тем, что произошло на самом деле.

Посторонние — хрестоматийное лекарство от оптимизма

У психологии здесь чёткое ожидание. Люди, прогнозирующие собственное поведение, настроены оптимистично: они недооценивают, сколько времени займут их задачи, и переоценивают свою способность довести дело до конца — это искажение известно как ошибка планирования (planning fallacy). Наблюдатели, оценивающие те же планы, опираются на базовые частоты — то, как часто такие планы обычно удаются, — и менее оптимистичны. Рынок предсказаний должен усиливать это преимущество, поскольку он объединяет многих наблюдателей и вознаграждает тех, кто исправляет неверную цену. Но рынок о неделе одного человека — «тонкий»: мало трейдеров, на кону мало денег.

6 150 ставок на «Сделаю ли я…?»

Цзыхань Чэнь (Zihan Chen) и Ди Чжу (Di Zhu) из Технологического института Стивенса в Хобокене (штат Нью-Джерси) и Лэй Нико Чжэн (Lei Nico Zheng) из Массачусетского университета в Бостоне получили список всех 194 347 рынков, созданных на Manifold с 2021 по 2026 год. Они оставили 6 150 завершённых рынков о себе (self-markets) — вопросов о будущем от первого лица, — открытых 1 660 людьми. Точкой сравнения служили 6 272 внешних рынка на посторонние события, такие как выборы, спорт или выход новых технологий, созданные авторами, которые никогда не спрашивали о себе.

По записям заявок платформы команда восстановила траекторию цены каждого рынка и каждую исполненную покупку. Так стало видно, кто двигал каждую цену: человек, о чьём будущем шла речь, наблюдатель-человек или автоматическая торговая программа. Два научных ассистента сверили реконструкцию с действующим сайтом и собственным кодом пересчитали 23 из приведённых цифр.

Примерно на четыре пункта больше надежды

Рынок откалиброван, когда его исходы сбываются примерно так часто, как говорят его цены. Внешние рынки почти были такими: они промахнулись на 0,9 процентного пункта — процентный пункт — это просто разность двух процентов. Рынки о себе — нет. Их итоговые цены в среднем составляли 49,4%, но разрешались они ответом «ДА» лишь в 45,0% случаев: завышение на 4,4 пункта. Разрыв больше всего там, где исход был наиболее неопределённым. Среди рынков, закрывшихся на уровне от 20% до 80%, он достигал 9,4 пункта, а рынок о себе с ценой в половину сбывался лишь в 39% случаев — против 47% для внешнего рынка с той же ценой.

Рынки о себе меньше и короче внешних, но это не объясняет разрыв. При сравнении на одном и том же уровне цены, с учётом размера и продолжительности, разница всё равно составляет 2,2 пункта. А у 1 222 человек, создававших рынки обоих видов, вопросы о себе всё равно в итоге оценивались на 1,9 пункта оптимистичнее, чем их вопросы о мире.

Рождается в первый день торгов

Сам человек не закладывает этот оптимизм в начальную цену. На старте 95% рынков о себе стояли на значении платформы по умолчанию — 50%, и при той же начальной цене они на деле сбывались на 3,0 пункта чаще, чем внешние рынки. Завышение появлялось с торгами: через день после создания рынки о себе уже были на 2,4 пункта оптимистичнее внешних рынков при той же цене, а пика в 5,3 пункта разрыв достигал за неделю до закрытия.

Оно возникало даже там, где человек ни разу не торговал. В первый день наблюдатели-люди продавали внешние рынки вниз на 4,5 пункта — от 50% к более низкой частоте, с которой такие события случаются. Рынки о личных целях тоже сбывались реже чем в половине случаев — в 44%, — но наблюдатели опускали их лишь на 0,8 пункта, а там, где человек ни разу не торговал, не опускали вовсе. Наблюдатели применяли взгляд со стороны (outside view) — суждение о случае по тому, чем обычно заканчиваются похожие случаи, — к событиям, но не к людям.

Выделяется одно исключение, найденное в разведочном анализе. На 294 рынках, где «ДА» означало исход, которого человек не хотел бы, — срыв, прерванную серию, болезнь, — наблюдатели в первый день сбивали цены на 6,4 пункта. Эти рынки не были переоценены: их итоговые цены отличались не более чем на полпункта от того, как часто несчастье действительно случалось.

Ответ знает сам человек

За всю жизнь рынка торги сдвигали цены рынков о себе в среднем на 27,8 пункта к итоговому исходу — против 37,3 у внешних рынков. Собственные заявки человека дали 38% этого движения — против 9% у создателей внешних рынков, — и почти половина их доли пришлась на последний день перед закрытием. Их покупки также чаще, чем покупки незнакомцев, выбирали выигрышную сторону — в основном ближе к концу.

Знакомство не помогало. Наблюдатели, которые раньше взаимодействовали с человеком на платформе, выбирали выигрышную сторону не чаще незнакомцев. Не помогала и история самого человека: цены следовали его результатам на прежних рынках о себе, но сверх цены эти результаты не добавляли заметной прогностической ценности.

Чего не добавит никакая формула

Раз искажение систематическое, нельзя ли просто поправить цены? Поправка, выученная на рынках, завершённых до 2025 года, снизила ошибку последующих цен рынков о себе — измеренную оценкой Брайера (Brier score), средним квадратом расстояния между ценой и исходом, — всего на 1,5%, что слишком мало, чтобы отличить от нуля. Причина: помимо крена в сторону «ДА», цены рынков о себе хуже, чем у внешних, отделяют будущие успехи от неудач, и никакое преобразование цены не может этого восполнить.

Почему наблюдатели так оценивают людей, данные решить не позволяют. Возможно, они разделяют надежды человека или просто воспринимают заявленную цель как свидетельство того, что произойдёт. Рынки используют игровые деньги, в рамках одного онлайн-сообщества, а анализы не были предварительно зарегистрированы. В качестве гипотез, которые ещё предстоит проверить, авторы предлагают, чтобы платформы, показывающие мнение толпы о чьей-то цели, отображали, как часто похожие цели похожих пользователей достигались, и предлагали человеку сообщать о прогрессе или называть собственную вероятность. По их прочтению, информацией, которой не хватает толпе, владеет тот единственный человек, чьё будущее оценивается.