खिलाड़ियों से समीक्षा माँगिए, और स्कोर चुप हो जाता है

ऑनलाइन रेटिंग तय करती हैं कि हम क्या ख़रीदते हैं, कौन-से ऐप इंस्टॉल करते हैं और कौन-से खेल खेलते हैं। लेकिन वे उन गिने-चुने ग्राहकों से बनती हैं जो लिखने की ज़हमत उठाते हैं: ज़्यादातर लोग कभी किसी चीज़ की समीक्षा नहीं करते। आम उपाय है पूछना। 30 अक्टूबर 2019 को, Valve ने अपने Steam गेम स्टोर के लिए एक नई लाइब्रेरी जारी की, जिसमें सॉफ़्टवेयर खिलाड़ियों से पूछता था कि क्या वे हाल में खेले गए किसी खेल की समीक्षा करना चाहेंगे। पूरे स्टोर में, समीक्षाएँ प्रतिदिन लगभग 17,000 से बढ़कर लगभग 70,000 हो गईं।

क्या पूछने से रेटिंग बेहतर हुईं या बदतर? सिद्धांत एकमत नहीं हैं। ज़्यादा समीक्षकों का मतलब कम शोर (noise) होना चाहिए। लेकिन जो लोग बिना कहे लिखते हैं, वे अक्सर इसलिए लिखते हैं कि किसी बात ने उन्हें चौंकाया — और माँगी गई समीक्षा में उस ख़बर का अंश कम हो सकता है। और जब स्कोर ऊपर की ओर सिमट जाते हैं, तो हो सकता है कि वे बस कम कहें।

रेटिंग क्या जानती है, और क्या दिखाती है

स्टीवंस इंस्टिट्यूट ऑफ़ टेक्नोलॉजी (Stevens Institute of Technology) के ज़िहान चेन (Zihan Chen) और दी झू (Di Zhu), तथा यूनिवर्सिटी ऑफ़ मैसाचुसेट्स बोस्टन (University of Massachusetts Boston) के लेई निको झेंग (Lei Nico Zheng) ने एक ऐसा औज़ार उधार लिया जो लंबे समय से मानवीय निर्णय और नैदानिक परीक्षणों के अध्ययन में इस्तेमाल होता रहा है: संकेत संसूचन सिद्धांत (signal detection theory)। यह दो चीज़ों को अलग करता है। संवेदनशीलता (sensitivity) यह है कि कोई प्रणाली किसी वास्तविक बदलाव को सामान्य शोर से कितनी अच्छी तरह अलग कर पाती है — रेटिंग क्या जानती है। कसौटी (criterion) यह है कि प्रतिक्रिया देने से पहले उसे कितने प्रमाण की ज़रूरत होती है — वह क्या दिखाती है। कोई स्कोर इसलिए कम हिल सकता है कि वह कम जानता है, या इसलिए कि उसका पैमाना छत (ceiling) की ओर सिकुड़ गया है, जबकि डिस्प्ले अब भी उतनी ही बड़ी छलाँग का इंतज़ार करता है।

छत इसलिए मायने रखती है कि रेटिंग सभी समीक्षाओं में सकारात्मक समीक्षाओं का हिस्सा होती है: प्रशंसा और शिकायतों के बीच संतुलन में वही बदलाव 95% के स्कोर को 60% के स्कोर की तुलना में कहीं कम हिलाता है।

तीन घंटे का ट्रिगर

Steam एक आदर्श परीक्षण है। हर सार्वजनिक समीक्षा दिखाती है कि उसे लिखते समय उसके लेखक ने कितनी देर खेला था, और Valve का प्रॉम्प्ट खेलने के समय से ट्रिगर होता है। Valve ट्रिगर को प्रकाशित नहीं करता, इसलिए लेखकों ने उसे आँकड़ों में खोजा: 180 मिनट। लॉन्च के बाद, ठीक 180 मिनट खेलने पर 11,163 समीक्षाएँ लिखी गईं, जबकि 179 पर 2,316; पहले, इन दो मिनटों में 3,390 और 3,255 थीं।

एक स्वतंत्र संग्राहक द्वारा एकत्र की गई और ऑनलाइन प्रकाशित की गई, 315 लोकप्रिय खेलों की 21.6 मिलियन समीक्षाओं का उपयोग करके, लेखकों ने लॉन्च से पहले और बाद में, तीन घंटे से ठीक ऊपर और ठीक नीचे की समीक्षाओं की तुलना की। तीन घंटे के ठीक बाद, समीक्षाएँ ठीक नीचे की तुलना में 4.25 गुना हो गईं, और सकारात्मक समीक्षाओं के हिस्से में आने वाला उछाल 6.6 अंक बढ़ गया। जुड़ी हुई समीक्षाएँ लगभग 96% सकारात्मक हैं, जबकि दहलीज़ से ठीक नीचे 86%, और छोटी हैं: उनमें से 71% 50 अक्षरों से कम की हैं।

क्रम टिका रहता है, चेतावनियाँ फीकी पड़ती हैं

खेलों के बीच चुनाव के लिए, पहली नज़र में बहुत कम बदला। प्रति खेल समीक्षाओं की संख्या बराबर रखने पर, समीक्षकों के साथ स्कोर की सहमति जस की तस रही: एक हज़ार से अधिक खेलों पर, Metacritic के साथ क्रम-सहसंबंध (rank correlation) पहले 0.42 और बाद में 0.41।

यह भाँपना कि किसी खेल में बदलाव आया है, दूसरी बात है। लेखकों ने खेल के पहले दो घंटों में लिखी गई समीक्षाओं को एक संदर्भ संकेत माना, और मापा कि उसकी मासिक हलचल का कितना हिस्सा समीक्षाओं के अन्य समूहों में दिखता है। दहलीज़ से ठीक ऊपर, यह हिस्सा 0.73 से गिरकर 0.18 रह गया; ठीक नीचे, केवल 0.81 से 0.64। यह टूटन तीन घंटे पर और लॉन्च की तारीख़ पर दिखती है, और कहीं नहीं।

Steam जो लेबल दिखाता है, वे भी चुप हो गए। स्टोर की निश्चित सीमाओं वाला एक रेटिंग स्तर (tier), लॉन्च से पहले दहलीज़ से ठीक ऊपर, बुरे महीनों में से 42% में नीचे गिरा, और बाद में केवल 12% में; ठीक नीचे, यह 47% से 41% हुआ। सार्वजनिक 30-दिवसीय स्कोर के एक पुनर्निर्माण पर, लेबल पहले 38% बुरे महीनों में गिरा और बाद में 9% में — और झूठी चेतावनियाँ भी कम हुईं।

कम चेतावनियाँ, कम ज्ञान नहीं

यहाँ दोनों धारणाएँ अलग राह पकड़ती हैं। हर जुड़ी हुई समीक्षा किसी बुरे महीने पर स्वैच्छिक समीक्षा की तुलना में लगभग आधी प्रतिक्रिया देती है। लेकिन वे इतनी ज़्यादा हैं कि, वास्तव में देखी गई मात्राओं पर, दहलीज़ से ऊपर की धारा ने नीचे की धारा की तुलना में कोई पता लगाने योग्य जानकारी नहीं खोई: अंतर −0.03, जिसका अंतराल −0.13 से 0.06 तक है। रेटिंग लगभग उतना ही जानती है; वह उसे कम दिखाती है, क्योंकि पैमाना सिकुड़ गया है और लेबल अपनी जगह से नहीं हिले।

कुछ बुरी ख़बरें अब भी पहुँच जाती हैं। डेवलपरों द्वारा अपनी घोषणाओं में स्वीकार की गई विफलताएँ — आउटेज, रोलबैक, खोई हुई प्रगति — ज़्यादातर शिकायतें लाती हैं, और शिकायतें प्रशंसा की तुलना में कम बढ़ी थीं। ऐसी विफलताओं पर, लॉन्च के बाद कुल स्कोर 2.9 अंक गिरा, जबकि पहले 1.0।

लेखकों ने अपने मॉडल की जाँच Steam के बाद वाले प्रॉम्प्टों पर भी की, जो 10 और 30 घंटों पर आते हैं और कहीं कम समीक्षाएँ जोड़ते हैं: वहाँ मॉडल ने लगभग कोई टूटन नहीं बताई, और कोई दिखी भी नहीं।

स्कोर को अलग ढंग से पढ़िए

अध्ययन एक प्लेटफ़ॉर्म, लोकप्रिय खेलों और जनवरी 2021 में रुक जाने वाले आँकड़ों तक सीमित है, और प्रॉम्प्ट तथा जुड़ी हुई समीक्षाएँ कहीं चिह्नित नहीं हैं, बल्कि अनुमान से निकाली गई हैं। इसकी सलाह पढ़ने के बारे में है, कम पूछने के बारे में नहीं: समीक्षाएँ माँगने वाले प्लेटफ़ॉर्मों को अपेक्षा रखनी चाहिए कि निश्चित लेबल चुप हो जाएँगे, किसी डिस्प्ले को इस आधार पर परखना चाहिए कि वह वास्तविक समस्याएँ कितनी बार पकड़ता है और कितनी बार झूठा शोर मचाता है, और फिर से अंशांकन (recalibration) करना चाहिए। पुराने अनुभव-सिद्ध नियम (rules of thumb) अब लागू नहीं होते — पाँच अंकों की जो गिरावट कभी परेशानी का संकेत होती थी, वह अब किसी भी महीने में दुर्लभ हो गई है।