اطلب من اللاعبين مراجعات، فيخفت صوت التقييم

توجّه التقييمات عبر الإنترنت ما نشتريه، والتطبيقات التي نثبّتها، والألعاب التي نلعبها. لكنها تُبنى من القلة من الزبائن الذين يتكلّفون عناء الكتابة: فمعظم الناس لا يكتبون أي مراجعة على الإطلاق. والعلاج المعتاد هو أن تطلب. ففي 30 أكتوبر 2019، أطلقت Valve مكتبة جديدة لمتجر ألعابها Steam، صار البرنامج فيها يسأل اللاعبين إن كانوا يرغبون في مراجعة لعبة لعبوها مؤخرًا. وعلى مستوى المتجر كله، ارتفعت المراجعات من نحو 17,000 مراجعة يوميًا إلى نحو 70,000.

فهل جعل الطلبُ التقييماتِ أفضل أم أسوأ؟ النظريات لا تتفق. فالمزيد من المراجِعين يُفترض أن يعني ضجيجًا أقل. لكن من يكتبون دون أن يُطلب منهم يفعلون ذلك غالبًا لأن شيئًا ما فاجأهم — وقد تحمل المراجعة المطلوبة قدرًا أقل من هذا الخبر. وحين تتكدّس الدرجات قرب القمة، فقد تقول ببساطة أقل.

ما يعرفه التقييم وما يُظهره

يستعير البحث الذي أجراه زيهان تشين (Zihan Chen) ودي جو (Di Zhu)، من معهد ستيفنز للتكنولوجيا (Stevens Institute of Technology)، ولي نيكو جنغ (Lei Nico Zheng)، من جامعة ماساتشوستس بوسطن (University of Massachusetts Boston)، أداةً استُخدمت طويلًا لدراسة الحكم البشري والاختبارات التشخيصية: نظرية كشف الإشارة (signal detection theory). وهي تفصل بين أمرين. الحساسية (sensitivity) هي مدى قدرة نظام ما على تمييز تغيّر حقيقي من الضجيج العادي — أي ما يعرفه التقييم. أما المعيار (criterion) فهو مقدار الأدلة الذي يحتاجه قبل أن يتفاعل — أي ما يُظهره. فقد تتحرك الدرجة أقل لأنها تعرف أقل، أو لأن مقياسها انضغط نحو السقف بينما لا يزال العرض ينتظر القفزة نفسها.

ويهمّ السقف لأن التقييم هو حصة المراجعات الإيجابية من مجموع المراجعات: فالتحوّل نفسه في التوازن بين الثناء والشكاوى يحرّك درجةً تبلغ 95% أقل بكثير مما يحرّك درجةً تبلغ 60%.

محفّز عند ثلاث ساعات

تمثّل Steam اختبارًا مثاليًا. فكل مراجعة علنية تُظهر المدة التي كان كاتبها قد لعبها حين كتبها، ومطالبة Valve تنطلق بحسب زمن اللعب. ولا تنشر Valve هذا المحفّز، فاستخرجه المؤلفون من البيانات: 180 دقيقة. فبعد الإطلاق، كُتبت 11,163 مراجعة عند 180 دقيقة بالضبط من اللعب مقابل 2,316 عند 179؛ وقبله، كان للدقيقتين 3,390 و3,255.

وباستخدام 21.6 مليون مراجعة تخص 315 لعبة رائجة، جمعها جامعٌ مستقل ونشرها على الإنترنت، قارن المؤلفون المراجعات الواقعة فوق الساعات الثلاث بقليل وتحتها بقليل، قبل الإطلاق وبعده. فبُعيد الساعات الثلاث، صارت المراجعات أكثر عددًا بمقدار 4.25 مرة مقارنةً بما دونها مباشرة، وازدادت القفزة في نسبة المراجعات الإيجابية بمقدار 6.6 نقطة. والمراجعات المضافة إيجابية بنسبة نحو 96%، مقابل 86% تحت العتبة مباشرة، وقصيرة: 71% منها أقل من 50 حرفًا.

الترتيب يصمد، والإنذارات تخبو

أما للاختيار بين الألعاب، فلم يتغيّر الكثير في البداية. فعند تثبيت عدد المراجعات لكل لعبة، بقي توافق الدرجات مع النقّاد على حاله: معامل ارتباط رتبي مع Metacritic بلغ 0.42 قبل الإطلاق و0.41 بعده، على أكثر من ألف لعبة.

أما ملاحظة أن لعبة ما قد تغيّرت فقصة أخرى. إذ يستخدم المؤلفون المراجعات المكتوبة في أول ساعتين من اللعب إشارةً مرجعية، ويقيسون كم يظهر من تحرّكها الشهري في مجموعات أخرى من المراجعات. وفوق العتبة مباشرة، انخفضت هذه الحصة من 0.73 إلى 0.18؛ وتحتها مباشرة، لم تنخفض إلا من 0.81 إلى 0.64. ويظهر الانقطاع عند الساعات الثلاث وعند تاريخ الإطلاق، ولا يظهر في أي مكان آخر.

وخفتت أيضًا التصنيفات التي تعرضها Steam. ففئة تقييم بحدود المتجر الثابتة هبطت في 42% من الأشهر السيئة فوق العتبة مباشرة قبل الإطلاق، ولم تهبط إلا في 12% منها بعده؛ وتحت العتبة مباشرة، انتقلت من 47% إلى 41%. وفي إعادة بناء للدرجة العلنية على 30 يومًا، هبط التصنيف في 38% من الأشهر السيئة قبل الإطلاق و9% بعده — مع تراجع الإنذارات الكاذبة أيضًا.

إنذارات أقل، لا معرفة أقل

هنا يفترق المفهومان. فكل مراجعة مضافة تستجيب لشهر سيئ بنحو نصف ما تستجيب به مراجعة طوعية. لكنها كثيرة إلى حدّ أن التدفّق فوق العتبة، عند الأحجام المرصودة فعلًا، لم يفقد أي معلومات قابلة للكشف مقارنةً بالتدفّق تحتها: فرق قدره −0.03، بمجال يمتد من −0.13 إلى 0.06. فالتقييم يعرف تقريبًا القدر نفسه؛ لكنه يُظهره أقل، لأن المقياس انضغط والتصنيفات لم تتحرك.

ولا تزال بعض الأخبار السيئة تنفذ. فالإخفاقات التي أقرّ بها المطوّرون في إعلاناتهم — الأعطال، والعودة إلى نسخ سابقة، وضياع التقدّم في اللعب — تجلب في معظمها شكاوى، والشكاوى تضخّمت أقل من الثناء. وعند تلك الإخفاقات، انخفضت الدرجة الإجمالية بمقدار 2.9 نقطة بعد الإطلاق، مقابل 1.0 قبله.

وتحقق المؤلفون أيضًا من نموذجهم عند مطالبات Steam اللاحقة، عند 10 ساعات و30 ساعة، التي تضيف مراجعات أقل بكثير: فهناك تنبّأ النموذج بانقطاع يكاد لا يُذكر، ولم يظهر أي انقطاع.

اقرأ الدرجة بطريقة مختلفة

تغطي الدراسة منصة واحدة، وألعابًا رائجة، وبيانات تتوقف في يناير 2021، كما أن المطالبة والمراجعات المضافة مُستنتجة لا موسومة. ونصيحتها تتعلق بالقراءة، لا بالتقليل من الطلب: فعلى المنصات التي تطلب المراجعات أن تتوقع صمت التصنيفات الثابتة، وأن تحكم على أي عرض بعدد المرات التي يرصد فيها مشكلات حقيقية مقابل عدد المرات التي يُطلق فيها إنذارات كاذبة، وأن تعيد المعايرة. فالقواعد التقريبية القديمة لا تنتقل: إذ صار انخفاض بخمس نقاط كان ينذر بالمتاعب في الماضي نادرًا في أي شهر.