விளையாட்டாளர்களிடம் மதிப்புரை கேட்டால், மதிப்பெண் மௌனமாகிறது

இணைய மதிப்பீடுகள் நாம் எதை வாங்குகிறோம், எந்தச் செயலிகளை நிறுவுகிறோம், எந்த விளையாட்டுகளை விளையாடுகிறோம் என்பதை வழிநடத்துகின்றன. ஆனால் அவை, எழுத மெனக்கெடும் சில வாடிக்கையாளர்களிடமிருந்தே உருவாகின்றன: பெரும்பாலானோர் எதற்கும் மதிப்புரை எழுதுவதே இல்லை. வழக்கமான தீர்வு, கேட்பது. 2019 அக்டோபர் 30 அன்று, Valve தன் Steam விளையாட்டுக் கடைக்காக ஒரு புதிய நூலகத்தை (library) வெளியிட்டது; அதில், விளையாட்டாளர்கள் அண்மையில் விளையாடிய ஒரு விளையாட்டுக்கு மதிப்புரை எழுத விரும்புகிறார்களா என்று மென்பொருள் கேட்டது. கடை முழுவதும், மதிப்புரைகள் நாளொன்றுக்குச் சுமார் 17,000-இலிருந்து சுமார் 70,000 ஆக உயர்ந்தன.

கேட்பது மதிப்பீடுகளை மேம்படுத்தியதா, மோசமாக்கியதா? கோட்பாடுகள் உடன்படவில்லை. அதிக மதிப்புரையாளர்கள் என்றால் குறைவான இரைச்சல் இருக்க வேண்டும். ஆனால் கேட்கப்படாமலே எழுதுபவர்கள், பெரும்பாலும் ஏதோ ஒன்று அவர்களை வியக்க வைத்ததால்தான் எழுதுகின்றனர் — கேட்டுப் பெறப்படும் மதிப்புரை அத்தகைய செய்தியைக் குறைவாகவே கொண்டிருக்கலாம். மேலும், மதிப்பெண்கள் உச்சியை நோக்கி நெருக்கியடிக்கும்போது, அவை வெறுமனே குறைவாகச் சொல்லக்கூடும்.

ஒரு மதிப்பீடு அறிவதும், காட்டுவதும்

Stevens தொழில்நுட்ப நிறுவனத்தைச் (Stevens Institute of Technology) சேர்ந்த Zihan Chen, Di Zhu ஆகியோரும், மசாசூசெட்ஸ் பாஸ்டன் பல்கலைக்கழகத்தைச் (University of Massachusetts Boston) சேர்ந்த Lei Nico Zheng-உம், மனிதத் தீர்ப்பையும் நோயறிதல் சோதனைகளையும் ஆராய நீண்ட காலமாகப் பயன்படுத்தப்படும் ஒரு கருவியைக் கடன் வாங்கினர்: சமிக்ஞை கண்டறிதல் கோட்பாடு (signal detection theory). அது இரண்டு விஷயங்களைப் பிரிக்கிறது. உணர்திறன் (sensitivity) என்பது, ஓர் அமைப்பு உண்மையான மாற்றத்தைச் சாதாரண இரைச்சலிலிருந்து எவ்வளவு நன்றாகப் பிரித்தறிய முடியும் என்பது — ஒரு மதிப்பீடு அறிவது. தீர்மான வரம்பு (criterion) என்பது, அது எதிர்வினையாற்றுவதற்கு முன் எவ்வளவு சான்று தேவை என்பது — அது காட்டுவது. ஒரு மதிப்பெண் குறைவாக அசையக் காரணம், அது குறைவாக அறிவதாக இருக்கலாம்; அல்லது, காட்சியமைப்பு இன்னும் அதே அளவு தாவலுக்காகக் காத்திருக்கும்போது, அதன் அளவுகோல் உச்சவரம்பை நோக்கி நெருக்கப்பட்டிருப்பதாக இருக்கலாம்.

உச்சவரம்பு முக்கியம், ஏனெனில் ஒரு மதிப்பீடு என்பது எல்லா மதிப்புரைகளிலும் நேர்மறை மதிப்புரைகளின் பங்கு: பாராட்டுக்கும் புகார்களுக்கும் இடையிலான சமநிலையில் ஏற்படும் அதே மாற்றம், 95% மதிப்பெண்ணை 60% மதிப்பெண்ணை விட மிகக் குறைவாகவே அசைக்கிறது.

மூன்று மணி நேரத் தூண்டி

Steam ஒரு சிறந்த சோதனைக்களம். ஒவ்வொரு பொது மதிப்புரையும், அதை எழுதியவர் எழுதும்போது எவ்வளவு நேரம் விளையாடியிருந்தார் என்பதைக் காட்டுகிறது; Valve-இன் கேள்வி விளையாட்டு நேரத்தால் தூண்டப்படுகிறது. Valve அந்தத் தூண்டியை வெளியிடுவதில்லை; எனவே ஆசிரியர்கள் அதைத் தரவுகளில் கண்டுபிடித்தனர்: 180 நிமிடங்கள். அறிமுகத்துக்குப் பிறகு, சரியாக 180 நிமிட விளையாட்டில் 11,163 மதிப்புரைகள் எழுதப்பட்டன, 179 நிமிடத்தில் 2,316; முன்பு, அந்த இரண்டு நிமிடங்களில் 3,390, 3,255 இருந்தன.

ஒரு சுயாதீனச் சேகரிப்பாளர் திரட்டி இணையத்தில் வெளியிட்ட, 315 பிரபல விளையாட்டுகளின் 21.6 மில்லியன் மதிப்புரைகளைப் பயன்படுத்தி, அறிமுகத்துக்கு முன்னும் பின்னும், மூன்று மணி நேரத்துக்குச் சற்று மேலும் சற்றுக் கீழும் எழுதப்பட்ட மதிப்புரைகளை அவர்கள் ஒப்பிட்டனர். மூன்று மணி நேரத்தைத் தாண்டிய உடனே, மதிப்புரைகள் சற்றுக் கீழே இருந்ததை விட 4.25 மடங்கு அதிகமாயின; நேர்மறை மதிப்புரைகளின் பங்கில் ஏற்படும் தாவல் 6.6 புள்ளிகள் அதிகரித்தது. சேர்ந்த மதிப்புரைகள் சுமார் 96% நேர்மறையானவை, வரம்புக்குச் சற்றுக் கீழே 86%; மேலும் அவை சுருக்கமானவை: அவற்றில் 71% 50 எழுத்துகளுக்கும் குறைவானவை.

வரிசை நிலைக்கிறது, எச்சரிக்கைகள் மங்குகின்றன

விளையாட்டுகளுக்கு இடையே தேர்ந்தெடுப்பதற்கு, முதலில் சிறிதே மாறியது. ஒவ்வொரு விளையாட்டுக்குமான மதிப்புரைகளின் எண்ணிக்கையைச் சமமாக வைத்தபோது, விமர்சகர்களுடன் மதிப்பெண்களின் உடன்பாடு மாறாமல் இருந்தது: ஆயிரத்துக்கும் மேற்பட்ட விளையாட்டுகளில், Metacritic-உடனான தர வரிசை ஒட்டுறவு (rank correlation) முன்பு 0.42, பின்பு 0.41.

ஒரு விளையாட்டு மாறிவிட்டது என்பதைக் கவனிப்பது வேறு கதை. விளையாட்டின் முதல் இரண்டு மணி நேரத்தில் எழுதப்பட்ட மதிப்புரைகளை ஆசிரியர்கள் ஒரு குறிப்புச் சமிக்ஞையாகப் பயன்படுத்தி, அதன் மாதாந்திர அசைவில் எவ்வளவு பங்கு மற்ற மதிப்புரைக் குழுக்களில் வெளிப்படுகிறது என்பதை அளக்கின்றனர். வரம்புக்குச் சற்று மேலே, அந்தப் பங்கு 0.73-இலிருந்து 0.18 ஆகக் குறைந்தது; சற்றுக் கீழே, 0.81-இலிருந்து 0.64 ஆக மட்டுமே. இந்த முறிவு மூன்று மணி நேரத்திலும் அறிமுகத் தேதியிலும் தோன்றுகிறது; வேறு எங்கும் இல்லை.

Steam காட்டும் அடையாளச்சீட்டுகளும் (labels) மௌனமாகிவிட்டன. கடையின் நிலையான எல்லைகள் கொண்ட ஒரு மதிப்பீட்டு அடுக்கு, அறிமுகத்துக்கு முன் வரம்புக்குச் சற்று மேலே, மோசமான மாதங்களில் 42%-இல் கீழிறங்கியது, பின்பு 12%-இல் மட்டுமே; சற்றுக் கீழே, அது 47%-இலிருந்து 41% ஆனது. பொது 30 நாள் மதிப்பெண்ணின் ஒரு மறுகட்டமைப்பில், அடையாளச்சீட்டு மோசமான மாதங்களில் முன்பு 38%-இல், பின்பு 9%-இல் கீழிறங்கியது — தவறான எச்சரிக்கைகளும் குறைந்தன.

குறைவான எச்சரிக்கைகள், குறைவான அறிவு அல்ல

இங்கே இரண்டு கருத்துகளும் பிரிகின்றன. சேர்ந்த ஒவ்வொரு மதிப்புரையும், தானாக எழுதப்பட்ட ஒன்றை விட, ஒரு மோசமான மாதத்துக்கு சுமார் பாதி அளவே எதிர்வினையாற்றுகிறது. ஆனால் அவை எவ்வளவு அதிகமாக உள்ளன என்றால், உண்மையில் காணப்பட்ட அளவுகளில், வரம்புக்கு மேலான ஓட்டம், கீழான ஓட்டத்துடன் ஒப்பிடுகையில், கண்டறியக்கூடிய எந்தத் தகவலையும் இழக்கவில்லை: வேறுபாடு −0.03, இடைவெளி −0.13 முதல் 0.06 வரை. மதிப்பீடு ஏறக்குறைய அதே அளவு அறிகிறது; ஆனால் அதைக் குறைவாகக் காட்டுகிறது, ஏனெனில் அளவுகோல் சுருங்கிவிட்டது, அடையாளச்சீட்டுகள் நகரவில்லை.

சில கெட்ட செய்திகள் இன்னும் கடந்து வருகின்றன. உருவாக்குநர்கள் தங்கள் சொந்த அறிவிப்புகளில் ஒப்புக்கொண்ட கோளாறுகள் — சேவை முடக்கங்கள், பழைய பதிப்புக்குத் திரும்புதல்கள் (rollbacks), இழந்த முன்னேற்றம் — பெரும்பாலும் புகார்களையே கொண்டுவருகின்றன; புகார்கள் பாராட்டை விடக் குறைவாகவே பெருகின. அத்தகைய கோளாறுகளின்போது, ஒட்டுமொத்த மதிப்பெண் அறிமுகத்துக்குப் பிறகு 2.9 புள்ளிகள் குறைந்தது; முன்பு 1.0.

Steam-இன் பிந்தைய கேள்விகளிலும் — 10, 30 மணி நேரங்களில்; அவை மிகக் குறைவான மதிப்புரைகளையே சேர்க்கின்றன — ஆசிரியர்கள் தங்கள் மாதிரியைச் சரிபார்த்தனர்: அங்கே அது ஏறக்குறைய எந்த முறிவையும் கணிக்கவில்லை; எதுவும் தோன்றவும் இல்லை.

மதிப்பெண்ணை வேறுவிதமாகப் படியுங்கள்

இந்த ஆய்வு ஒரே ஒரு தளம், பிரபல விளையாட்டுகள், 2021 ஜனவரியில் முடியும் தரவுகள் ஆகியவற்றை மட்டுமே உள்ளடக்குகிறது; கேள்வியும் சேர்ந்த மதிப்புரைகளும் குறிக்கப்பட்டவை அல்ல, ஊகிக்கப்பட்டவை. அதன் அறிவுரை, குறைவாகக் கேட்பது பற்றியதல்ல, படிப்பது பற்றியது: மதிப்புரைகளைக் கோரும் தளங்கள், நிலையான அடையாளச்சீட்டுகள் மௌனமாகும் என்று எதிர்பார்க்க வேண்டும்; ஒரு காட்சியமைப்பை, அது உண்மையான பிரச்சினைகளை எவ்வளவு அடிக்கடி பிடிக்கிறது, எவ்வளவு அடிக்கடி வீண் எச்சரிக்கை எழுப்புகிறது என்பதை ஒப்பிட்டு மதிப்பிட வேண்டும்; மறுஅளவீடு செய்ய வேண்டும். பழைய அனுபவ விதிகள் பொருந்தாது — ஒரு காலத்தில் சிக்கலைக் குறித்த ஐந்து புள்ளிச் சரிவு, இப்போது எந்த மாதத்திலும் அரிதாகிவிட்டது.