وقتی از بازیکنان نقد می‌خواهید، امتیاز کم‌صدا می‌شود

امتیازهای آنلاین تعیین می‌کنند چه می‌خریم، کدام اپلیکیشن‌ها را نصب می‌کنیم و کدام بازی‌ها را بازی می‌کنیم. اما این امتیازها از معدود مشتریانی ساخته می‌شوند که زحمت نوشتن را به خود می‌دهند: بیشتر مردم هرگز چیزی را نقد نمی‌کنند. راه‌حل رایج، درخواست‌کردن است. در 30 اکتبر 2019، شرکت ولو (Valve) کتابخانهٔ (library) تازه‌ای برای فروشگاه بازی استیم (Steam) خود منتشر کرد که در آن نرم‌افزار از بازیکنان می‌پرسید آیا می‌خواهند بازی‌ای را که اخیراً بازی کرده‌اند نقد کنند. در سراسر فروشگاه، نقدها از حدود 17,000 در روز به حدود 70,000 رسیدند.

آیا درخواست‌کردن امتیازها را بهتر کرد یا بدتر؟ نظریه‌ها هم‌نظر نیستند. نقدنویسان بیشتر باید به معنای نوفهٔ کمتر باشد. اما کسانی که خودجوش می‌نویسند اغلب از آن رو می‌نویسند که چیزی غافلگیرشان کرده است — و نقدی که با درخواست نوشته شده ممکن است کمتر حامل چنین خبری باشد. و وقتی امتیازها به سوی بالای مقیاس انباشته می‌شوند، ممکن است صرفاً حرف کمتری بزنند.

آنچه امتیاز می‌داند، و آنچه نشان می‌دهد

زیهان چن (Zihan Chen) و دی ژو (Di Zhu)، از مؤسسهٔ فناوری استیونز (Stevens Institute of Technology)، و لی نیکو ژنگ (Lei Nico Zheng)، از دانشگاه ماساچوست بوستون، ابزاری را به وام گرفتند که مدت‌هاست برای مطالعهٔ داوری انسانی و آزمون‌های تشخیصی به کار می‌رود: نظریهٔ آشکارسازی سیگنال (signal detection theory). این نظریه دو چیز را از هم جدا می‌کند. حساسیت (sensitivity) میزان توانایی یک سامانه در تشخیص تغییری واقعی از نوفهٔ معمولی است — آنچه امتیاز می‌داند. معیار (criterion) میزان شواهدی است که سامانه پیش از واکنش نیاز دارد — آنچه امتیاز نشان می‌دهد. امتیاز می‌تواند کمتر جابه‌جا شود چون کمتر می‌داند، یا چون مقیاسش به سوی سقف فشرده شده، در حالی که نمایشگر هنوز منتظر همان جهش است.

سقف اهمیت دارد، چون امتیاز سهم نقدهای مثبت از کل نقدهاست: همان جابه‌جایی در توازن میان تحسین و شکایت، امتیازی 95% را بسیار کمتر از امتیازی 60% تکان می‌دهد.

ماشه‌ای سه‌ساعته

استیم آزمونی آرمانی است. هر نقد عمومی نشان می‌دهد نویسنده‌اش هنگام نوشتن چه مدت بازی کرده بود، و درخواستِ ولو با زمان بازی فعال می‌شود. ولو این ماشه را منتشر نمی‌کند، پس نویسندگان آن را در داده‌ها یافتند: 180 دقیقه. پس از راه‌اندازی، 11,163 نقد دقیقاً در 180 دقیقه بازی نوشته شد، در برابر 2,316 نقد در 179 دقیقه؛ پیش از آن، این دو دقیقه 3,390 و 3,255 نقد داشتند.

با استفاده از 21.6 میلیون نقد از 315 بازی پرطرفدار، که یک گردآورندهٔ مستقل جمع کرده و به‌صورت برخط منتشر کرده بود، آن‌ها نقدهای درست بالا و درست پایین سه ساعت را، پیش و پس از راه‌اندازی، مقایسه کردند. درست پس از سه ساعت، نقدها 4.25 برابر پرشمارتر از درست پیش از آن شدند، و جهشِ سهم نقدهای مثبت 6.6 واحد درصد بزرگ‌تر شد. نقدهای افزوده حدود 96% مثبت هستند، در برابر 86% درست زیر آستانه، و کوتاه‌اند: 71% آن‌ها کمتر از 50 نویسه دارند.

رتبه‌بندی پابرجا می‌ماند، هشدارها رنگ می‌بازند

برای انتخاب میان بازی‌ها، در وهلهٔ نخست چیز زیادی تغییر نکرد. با یکسان نگه‌داشتن شمار نقدها برای هر بازی، هم‌خوانی امتیازها با منتقدان ثابت ماند: همبستگی رتبه‌ای با Metacritic برابر 0.42 پیش و 0.41 پس از آن، در بیش از هزار بازی.

اما پی‌بردن به اینکه بازی‌ای تغییر کرده، داستان دیگری است. نویسندگان نقدهای نوشته‌شده در دو ساعت نخست بازی را سیگنال مرجع می‌گیرند، و می‌سنجند چه مقدار از جابه‌جایی ماهانهٔ آن در گروه‌های دیگر نقدها پدیدار می‌شود. درست بالای آستانه، این سهم از 0.73 به 0.18 رسید؛ درست زیر آن، تنها از 0.81 به 0.64. این گسست در سه ساعت و در تاریخ راه‌اندازی پدیدار می‌شود، و هیچ جای دیگر نه.

برچسب‌هایی که استیم نشان می‌دهد نیز ساکت شدند. یک ردهٔ امتیاز با مرزهای ثابت فروشگاه، درست بالای آستانه، پیش از راه‌اندازی در 42% از ماه‌های بد پایین رفت، و پس از آن تنها در 12%؛ درست زیر آستانه، از 47% به 41% رسید. روی بازسازی‌ای از امتیاز عمومی 30 روزه، برچسب در 38% از ماه‌های بد پیش و 9% پس از آن پایین آمد — و هشدارهای نادرست نیز کاهش یافتند.

هشدارهای کمتر، نه دانش کمتر

اینجا این دو مفهوم از هم جدا می‌شوند. هر نقد افزوده حدود نصفِ یک نقد داوطلبانه به ماهی بد واکنش نشان می‌دهد. اما شمارشان آن‌قدر زیاد است که، در حجم‌هایی که واقعاً مشاهده شده‌اند، جریان نقدهای بالای آستانه در مقایسه با جریان زیر آستانه هیچ اطلاعات قابل‌آشکارسازی‌ای از دست نداد: تفاوتی برابر −0.03، با بازه‌ای از −0.13 تا 0.06. امتیاز تقریباً به همان اندازه می‌داند؛ فقط کمتر نشانش می‌دهد، چون مقیاس فشرده شده و برچسب‌ها جابه‌جا نشده‌اند.

برخی خبرهای بد همچنان راه خود را باز می‌کنند. شکست‌هایی که توسعه‌دهندگان در اطلاعیه‌های خودشان پذیرفته بودند — قطعی‌ها، بازگردانی نسخه‌ها (rollbacks)، از دست رفتن پیشرفت بازی — بیشتر شکایت به همراه می‌آورند، و شکایت‌ها کمتر از تحسین‌ها متورم شده بودند. در این شکست‌ها، امتیاز کلی پس از راه‌اندازی 2.9 واحد پایین آمد، در برابر 1.0 پیش از آن.

نویسندگان مدلشان را در درخواست‌های بعدی استیم، در 10 و 30 ساعت، نیز آزمودند که نقدهای بسیار کمتری می‌افزایند: آنجا مدل تقریباً هیچ گسستی پیش‌بینی نکرد، و هیچ گسستی هم پدیدار نشد.

امتیاز را جور دیگری بخوانید

این پژوهش یک پلتفرم، بازی‌های پرطرفدار و داده‌هایی را دربر می‌گیرد که در ژانویهٔ 2021 متوقف می‌شوند، و درخواست و نقدهای افزوده استنباط شده‌اند، نه علامت‌گذاری. توصیهٔ آن دربارهٔ خواندن است، نه دربارهٔ کمتر پرسیدن: پلتفرم‌هایی که نقد طلب می‌کنند باید انتظار داشته باشند برچسب‌های ثابت خاموش شوند، نمایشگر را با این بسنجند که چند بار مشکلات واقعی را می‌گیرد در برابر چند بار آژیر بی‌جا به صدا درمی‌آورد، و از نو واسنجی کنند. قاعده‌های سرانگشتی قدیمی دیگر کار نمی‌کنند — افتی پنج‌واحدی که زمانی نشانهٔ دردسر بود، اکنون در هر ماهی نادر شده است.