खेळाडूंकडे परीक्षण मागा, आणि स्कोअर गप्प होतो

ऑनलाइन रेटिंग्ज आपण काय खरेदी करतो, कोणती ॲप्स इंस्टॉल करतो आणि कोणते गेम्स खेळतो याला दिशा देतात. पण ती लिहिण्याची तसदी घेणाऱ्या मोजक्या ग्राहकांपासून बनलेली असतात: बहुतेक लोक कधीच कशाचेही परीक्षण लिहीत नाहीत. नेहमीचा उपाय म्हणजे विचारणे. 30 ऑक्टोबर 2019 रोजी, Valve ने आपल्या Steam गेम स्टोअरसाठी एक नवीन लायब्ररी प्रकाशित केली, ज्यात सॉफ्टवेअर खेळाडूंना विचारत असे की नुकत्याच खेळलेल्या गेमचे परीक्षण लिहायचे आहे का. संपूर्ण स्टोअरमध्ये, परीक्षणे दिवसाला सुमारे 17,000 वरून सुमारे 70,000 वर गेली.

विचारल्याने रेटिंग्ज सुधारली की बिघडली? सिद्धांतांमध्ये मतभेद आहेत. अधिक परीक्षक म्हणजे कमी गोंगाट (noise), अशी अपेक्षा असते. पण न विचारता लिहिणारे लोक अनेकदा एखाद्या गोष्टीने त्यांना आश्चर्यचकित केल्यामुळे लिहितात — आणि मागणीवरून लिहिलेल्या परीक्षणात अशी बातमी कमी असू शकते. आणि जेव्हा स्कोअर वरच्या टोकाकडे गर्दी करतात, तेव्हा ते कदाचित नुसतेच कमी सांगतात.

रेटिंगला काय माहीत असते, आणि ते काय दाखवते

Stevens Institute of Technology येथील Zihan Chen आणि Di Zhu, आणि University of Massachusetts Boston येथील Lei Nico Zheng यांनी, मानवी निर्णयक्षमता आणि निदान-चाचण्यांच्या अभ्यासासाठी दीर्घकाळ वापरले जाणारे एक साधन उसने घेतले: संकेत-शोध सिद्धांत (signal detection theory). तो दोन गोष्टी वेगळ्या करतो. संवेदनशीलता (sensitivity) म्हणजे एखादी प्रणाली खरा बदल आणि सामान्य गोंगाट यांतील फरक किती चांगल्या प्रकारे ओळखू शकते — रेटिंगला काय माहीत असते. निकष (criterion) म्हणजे प्रतिसाद देण्यापूर्वी तिला किती पुरावा लागतो — रेटिंग काय दाखवते. स्कोअर कमी हलू शकतो कारण त्याला कमी माहीत असते, किंवा कारण त्याचे मापन कमाल मर्यादेकडे दाबले गेले आहे आणि प्रदर्शन तरीही तितक्याच उडीची वाट पाहत आहे.

कमाल मर्यादेला महत्त्व आहे कारण रेटिंग म्हणजे सर्व परीक्षणांमधील सकारात्मक परीक्षणांचा वाटा: प्रशंसा आणि तक्रारी यांच्या समतोलातील एकसारखा बदल 95% स्कोअरला 60% स्कोअरपेक्षा खूपच कमी हलवतो.

तीन तासांचा ट्रिगर

Steam ही आदर्श चाचणी आहे. प्रत्येक सार्वजनिक परीक्षणावर, ते लिहिले गेले तेव्हा किती वेळ खेळून झाले होते हे दिसते, आणि Valve चा प्रश्न खेळण्याच्या वेळेवरून सुरू होतो. Valve हा ट्रिगर प्रकाशित करत नाही, म्हणून संशोधकांनी तो माहितीतून शोधून काढला: 180 मिनिटे. लाँचनंतर, खेळण्याच्या अगदी 180 मिनिटांवर 11,163 परीक्षणे लिहिली गेली, तर 179 वर 2,316; आधी, या दोन मिनिटांना 3,390 आणि 3,255 होती.

एका स्वतंत्र संग्राहकाने गोळा करून ऑनलाइन प्रसिद्ध केलेल्या, 315 लोकप्रिय गेम्सच्या 21.6 दशलक्ष परीक्षणांचा वापर करून, त्यांनी लाँचच्या आधी आणि नंतर, तीन तासांच्या अगदी वरची आणि अगदी खालची परीक्षणे यांची तुलना केली. तीन तासांच्या अगदी पुढे, परीक्षणांची संख्या अगदी खालच्या तुलनेत 4.25 पट झाली, आणि सकारात्मक परीक्षणांच्या वाट्यातील उडी 6.6 अंकांनी वाढली. वाढीव परीक्षणे सुमारे 96% सकारात्मक आहेत, उंबरठ्याच्या अगदी खाली 86% च्या तुलनेत, आणि ती लहान आहेत: त्यांपैकी 71% परीक्षणे 50 अक्षरांपेक्षा कमी आहेत.

क्रमवारी टिकते, इशारे विरतात

गेम्समधून निवड करण्याबाबत, सुरुवातीला फारसे काही बदलले नाही. प्रत्येक गेमच्या परीक्षणांची संख्या समान ठेवल्यावर, स्कोअरचे समीक्षकांशी असलेले एकमत जसेच्या तसे राहिले: एक हजाराहून अधिक गेम्समध्ये, Metacritic शी क्रम-सहसंबंध (rank correlation) आधी 0.42 आणि नंतर 0.41.

एखादा गेम बदलला आहे हे लक्षात येणे ही वेगळी गोष्ट आहे. संशोधक खेळाच्या पहिल्या दोन तासांत लिहिलेल्या परीक्षणांचा संदर्भ-संकेत म्हणून वापर करतात, आणि त्याच्या मासिक हालचालींपैकी किती भाग परीक्षणांच्या इतर गटांमध्ये दिसतो हे मोजतात. उंबरठ्याच्या अगदी वर, हा वाटा 0.73 वरून 0.18 वर घसरला; अगदी खाली, फक्त 0.81 वरून 0.64 वर. हा खंड तीन तासांवर आणि लाँचच्या तारखेलाच दिसतो, इतर कुठेही नाही.

Steam दाखवत असलेली लेबलेही गप्प झाली. स्टोअरच्या ठरावीक सीमा असलेली एक रेटिंग-श्रेणी, लाँचपूर्वी उंबरठ्याच्या अगदी वर, वाईट महिन्यांपैकी 42% महिन्यांत खाली घसरली, आणि नंतर फक्त 12% महिन्यांत; अगदी खाली, ती 47% वरून 41% वर गेली. सार्वजनिक 30-दिवसांच्या स्कोअरच्या पुनर्रचनेवर, लेबल आधी 38% वाईट महिन्यांत घसरले आणि नंतर 9% मध्ये — आणि खोट्या इशाऱ्यांची (false alarms) संख्याही कमी झाली.

कमी इशारे, कमी ज्ञान नव्हे

इथे या दोन संकल्पनांचे मार्ग वेगळे होतात. प्रत्येक वाढीव परीक्षण वाईट महिन्याला स्वेच्छेने लिहिलेल्या परीक्षणाच्या तुलनेत सुमारे निम्मा प्रतिसाद देते. पण ती इतकी जास्त आहेत की, प्रत्यक्ष आढळलेल्या प्रमाणांवर, उंबरठ्याच्या वरच्या प्रवाहाने खालच्या प्रवाहाच्या तुलनेत कोणतीही ओळखता येण्याजोगी माहिती गमावली नाही: फरक −0.03, आणि अंतराल −0.13 ते 0.06. रेटिंगला जवळजवळ तितकेच माहीत असते; ते ते कमी दाखवते, कारण मापन आकुंचन पावले आहे आणि लेबले हललेली नाहीत.

काही वाईट बातम्या अजूनही पोहोचतात. डेव्हलपर्सनी स्वतःच्या घोषणांमध्ये मान्य केलेले बिघाड — सेवा खंडित होणे (outages), रोलबॅक, गमावलेली प्रगती — बहुतेक तक्रारीच आणतात, आणि तक्रारींमध्ये प्रशंसेपेक्षा कमी फुगवटा झाला. अशा बिघाडांच्या वेळी, लाँचनंतर एकूण स्कोअर 2.9 अंकांनी घसरला, आधीच्या 1.0 च्या तुलनेत.

संशोधकांनी आपले प्रतिमान Steam च्या नंतरच्या, 10 आणि 30 तासांवरील प्रश्नांवरही तपासले, जे खूपच कमी परीक्षणे जोडतात: तिथे प्रतिमानाने जवळजवळ कोणताही खंड नसेल असे भाकीत केले, आणि एकही दिसला नाही.

स्कोअर वेगळ्या पद्धतीने वाचा

हा अभ्यास एक प्लॅटफॉर्म, लोकप्रिय गेम्स आणि जानेवारी 2021 मध्ये संपणारी माहिती यांपुरता मर्यादित आहे, आणि प्रश्न व वाढीव परीक्षणे ही चिन्हांकित नसून अनुमानित आहेत. त्याचा सल्ला वाचण्याबद्दल आहे, कमी विचारण्याबद्दल नाही: परीक्षणे मागवणाऱ्या प्लॅटफॉर्म्सनी ठरावीक लेबले गप्प होतील अशी अपेक्षा ठेवावी, एखादे प्रदर्शन खऱ्या समस्या किती वेळा पकडते आणि किती वेळा खोटा इशारा देते याची तुलना करून त्याचे मूल्यमापन करावे, आणि पुन्हा मापांकन करावे. जुने ठोकताळे लागू होत नाहीत — एकेकाळी अडचणीचा संकेत देणारी पाच अंकांची घसरण आता कोणत्याही महिन्यात दुर्मीळ झाली आहे.