ఆటగాళ్లను సమీక్షలు అడిగితే, స్కోరు మూగబోతుంది

ఆన్‌లైన్ రేటింగ్‌లు మనం ఏం కొంటామో, ఏ యాప్‌లను ఇన్‌స్టాల్ చేస్తామో, ఏ ఆటలు ఆడతామో నిర్దేశిస్తాయి. కానీ అవి రాయడానికి శ్రమపడే కొద్దిమంది వినియోగదారుల నుంచే తయారవుతాయి: చాలామంది ఎప్పుడూ దేనికీ సమీక్ష రాయరు. సాధారణ పరిష్కారం అడగడమే. 30 అక్టోబర్ 2019న, Valve తన Steam గేమ్ స్టోర్ కోసం ఒక కొత్త లైబ్రరీని విడుదల చేసింది; అందులో సాఫ్ట్‌వేర్ ఆటగాళ్లను వారు ఇటీవల ఆడిన ఆటకు సమీక్ష రాయాలనుకుంటున్నారా అని అడిగింది. స్టోర్ మొత్తంలో, సమీక్షలు రోజుకు సుమారు 17,000 నుంచి సుమారు 70,000కు పెరిగాయి.

అడగడం రేటింగ్‌లను మెరుగుపరిచిందా, దిగజార్చిందా? సిద్ధాంతాలు ఏకీభవించవు. ఎక్కువ మంది సమీక్షకులు అంటే తక్కువ గందరగోళం (noise) ఉండాలి. కానీ ఎవరూ అడగకుండా రాసేవారు తరచూ ఏదో వారిని ఆశ్చర్యపరిచినందుకే రాస్తారు — అడిగితే రాసిన సమీక్షలో ఆ వార్త తక్కువగా ఉండవచ్చు. పైగా స్కోర్లు పైభాగం వైపు గుమిగూడినప్పుడు, అవి కేవలం తక్కువ చెప్పవచ్చు.

రేటింగ్‌కు ఏం తెలుసు, అది ఏం చూపిస్తుంది

స్టీవెన్స్ ఇన్‌స్టిట్యూట్ ఆఫ్ టెక్నాలజీకి చెందిన జిహాన్ చెన్, డి ఝు, యూనివర్సిటీ ఆఫ్ మసాచుసెట్స్ బోస్టన్‌కు చెందిన లేయ్ నికో ఝెంగ్, మానవ నిర్ణయాలను, రోగనిర్ధారణ పరీక్షలను అధ్యయనం చేయడానికి చాలాకాలంగా వాడుతున్న ఒక సాధనాన్ని అరువు తెచ్చుకున్నారు: సంకేత గుర్తింపు సిద్ధాంతం (signal detection theory). అది రెండు విషయాలను వేరు చేస్తుంది. సున్నితత్వం (sensitivity) అంటే ఒక వ్యవస్థ నిజమైన మార్పును సాధారణ గందరగోళం నుంచి ఎంత బాగా వేరు చేయగలదో — రేటింగ్‌కు ఏం తెలుసో అది. ప్రమాణం (criterion) అంటే అది స్పందించే ముందు ఎంత సాక్ష్యం అవసరమో — అది ఏం చూపిస్తుందో అది. ఒక స్కోరు తక్కువగా కదలడానికి కారణం దానికి తక్కువ తెలియడం కావచ్చు, లేదా ప్రదర్శన ఇంకా అదే ఎత్తు దూకుడు కోసం ఎదురుచూస్తుండగా దాని స్కేలు పైకప్పు (ceiling) వైపు కుదించుకుపోవడం కావచ్చు.

పైకప్పు ముఖ్యం, ఎందుకంటే రేటింగ్ అంటే మొత్తం సమీక్షల్లో సానుకూల సమీక్షల వాటా: ప్రశంసలు, ఫిర్యాదుల మధ్య సమతుల్యతలో అదే మార్పు 95% స్కోరును 60% స్కోరు కంటే చాలా తక్కువగా కదిలిస్తుంది.

మూడు గంటల ట్రిగ్గర్

Steam ఒక ఆదర్శ పరీక్ష. ప్రతి బహిరంగ సమీక్ష, దాన్ని రాసేటప్పటికి రచయిత ఎంతసేపు ఆడారో చూపిస్తుంది, Valve అభ్యర్థన (prompt) ఆట సమయాన్ని బట్టి ప్రేరేపితమవుతుంది. Valve ఆ ట్రిగ్గర్‌ను ప్రచురించదు, కాబట్టి రచయితలు దాన్ని డేటాలో కనుగొన్నారు: 180 నిమిషాలు. ప్రారంభం తర్వాత, సరిగ్గా 180 నిమిషాల ఆట వద్ద 11,163 సమీక్షలు రాయబడ్డాయి, 179 వద్ద 2,316; అంతకుముందు, ఆ రెండు నిమిషాలకు 3,390, 3,255 ఉండేవి.

ఒక స్వతంత్ర సేకర్త సేకరించి ఆన్‌లైన్‌లో పెట్టిన, 315 ప్రముఖ ఆటలపై వచ్చిన 21.6 మిలియన్ సమీక్షలను ఉపయోగించి, వారు ప్రారంభానికి ముందు, తర్వాత మూడు గంటలకు కాస్త పైన, కాస్త కింద వచ్చిన సమీక్షలను పోల్చారు. మూడు గంటలు దాటిన వెంటనే, సమీక్షలు దానికి కాస్త ముందు కంటే 4.25 రెట్లు ఎక్కువయ్యాయి, సానుకూల సమీక్షల వాటాలో దూకుడు 6.6 పాయింట్లు పెరిగింది. అదనంగా వచ్చిన సమీక్షల్లో సుమారు 96% సానుకూలమైనవి, హద్దుకు కాస్త కింద 86%; అవి చిన్నవి కూడా: వాటిలో 71% 50 అక్షరాల లోపే.

ర్యాంకింగ్ నిలుస్తుంది, హెచ్చరికలు మసకబారతాయి

ఆటల మధ్య ఎంచుకోవడానికి, మొదట్లో పెద్దగా ఏమీ మారలేదు. ప్రతి ఆటకు సమీక్షల సంఖ్యను సమానంగా ఉంచితే, విమర్శకులతో స్కోర్ల ఏకీభావం అలాగే ఉంది: Metacritic సంకలనం చేసిన విమర్శకుల స్కోర్లతో ర్యాంక్ సహసంబంధం (rank correlation) — రెండు ర్యాంకింగ్‌లు ఎంత దగ్గరగా ఏకీభవిస్తాయో కొలిచే కొలత, ఇందులో 1 అంటే ఒకే క్రమం — ముందు 0.42, తర్వాత 0.41, వెయ్యికి పైగా ఆటలపై.

ఒక ఆట మారిందని గమనించడం వేరే కథ. రచయితలు ఆట మొదటి రెండు గంటల్లో రాసిన సమీక్షలను ఒక సూచన సంకేతంగా (reference signal) వాడి, దాని నెలవారీ కదలికలో ఎంత భాగం ఇతర సమీక్షల సమూహాల్లో కనిపిస్తుందో కొలుస్తారు. హద్దుకు కాస్త పైన, ఆ భాగం 0.73 నుంచి 0.18కి పడిపోయింది; కాస్త కింద, కేవలం 0.81 నుంచి 0.64కు మాత్రమే. ఈ విరామం మూడు గంటల వద్ద, ప్రారంభ తేదీ వద్ద కనిపిస్తుంది, మరెక్కడా కాదు.

Steam చూపించే లేబుళ్లు కూడా మూగబోయాయి. Steam ప్రతి స్కోరును ఒక పద లేబుల్‌తో సంగ్రహిస్తుంది, దాని స్థాయిలు సానుకూల సమీక్షల స్థిర వాటాల వద్ద మొదలవుతాయి (95%, 80%, 70%, 40%, 20%). మూడు గంటలు దాటిన వెంటనే రాసిన సమీక్షల నుంచి మాత్రమే లెక్కిస్తే, అలాంటి ఒక స్థాయి చెడ్డ నెలల్లో — మొదటి రెండు గంటల సూచన సమీక్షలు చెడు మలుపు తీసుకున్న నెలల్లో — ప్రారంభానికి ముందు 42% నెలల్లో పడిపోయింది, తర్వాత కేవలం 12% నెలల్లోనే; హద్దుకు కాస్త కింద, అది 47% నుంచి 41%కి మారింది. బహిరంగ 30-రోజుల స్కోరు పునర్నిర్మాణంపై, లేబుల్ చెడ్డ నెలల్లో ముందు 38%, తర్వాత 9% నెలల్లో పడిపోయింది — తప్పుడు హెచ్చరికలు కూడా తగ్గాయి.

తక్కువ హెచ్చరికలు, తక్కువ జ్ఞానం కాదు

ఇక్కడ రెండు భావనలూ వేర్వేరు దారులు పడతాయి. ప్రతి అదనపు సమీక్ష ఒక చెడ్డ నెలకు స్వచ్ఛంద సమీక్ష కంటే సుమారు సగం మాత్రమే స్పందిస్తుంది. కానీ అవి ఎన్నో ఉన్నందువల్ల, వాస్తవంగా గమనించిన పరిమాణాల్లో, హద్దుకు పైన ఉన్న ప్రవాహం కింద ఉన్న ప్రవాహంతో పోలిస్తే గుర్తించదగిన సమాచారమేదీ కోల్పోలేదు: మొదటి రెండు గంటల సూచన సమీక్షలతో దాని ఏకీభావం, కింది ప్రవాహంతో పోలిస్తే కేవలం −0.03 మాత్రమే మారింది, ఈ తేడా సున్నా కూడా కావచ్చు (95% విరామం −0.13 నుంచి 0.06 వరకు). రేటింగ్‌కు దాదాపు అంతే తెలుసు; స్కేలు కుదించుకుపోయి, లేబుళ్లు కదలకపోవడం వల్ల అది తక్కువగా చూపిస్తుంది.

కొన్ని చెడు వార్తలు ఇప్పటికీ బయటపడతాయి. డెవలపర్లు తమ సొంత ప్రకటనల్లో ఒప్పుకున్న వైఫల్యాలు — అంతరాయాలు (outages), వెనక్కి మళ్లింపులు (rollbacks), కోల్పోయిన పురోగతి — ఎక్కువగా ఫిర్యాదులనే తెస్తాయి, ఫిర్యాదులు ప్రశంసల కంటే తక్కువగా ఉబ్బాయి. ఆ వైఫల్యాల వద్ద, మొత్తం స్కోరు ప్రారంభం తర్వాత 2.9 పాయింట్లు పడిపోయింది, అంతకుముందు 1.0.

రచయితలు తమ నమూనాను Steam తర్వాతి అభ్యర్థనల వద్ద, 10, 30 గంటల వద్ద కూడా పరీక్షించారు; అవి చాలా తక్కువ సమీక్షలను జోడిస్తాయి: అక్కడ నమూనా దాదాపు ఎలాంటి విరామాన్నీ అంచనా వేయలేదు, ఏదీ కనిపించలేదు కూడా.

స్కోరును వేరేగా చదవండి

ఈ అధ్యయనం ఒకే ప్లాట్‌ఫారమ్‌ను, ప్రముఖ ఆటలను, జనవరి 2021తో ఆగిపోయే డేటాను మాత్రమే కవర్ చేస్తుంది; అభ్యర్థన, అదనపు సమీక్షలు డేటాలో గుర్తించబడినవి కావు, ఊహించబడినవి. దాని సలహా చదవడం గురించి, తక్కువగా అడగడం గురించి కాదు: సమీక్షలను కోరే ప్లాట్‌ఫారమ్‌లు స్థిర లేబుళ్లు మౌనం వహిస్తాయని ఊహించాలి, ఒక ప్రదర్శనను అది నిజమైన సమస్యలను ఎంత తరచుగా పట్టుకుంటుందో, ఎంత తరచుగా అనవసరంగా అలారం మోగిస్తుందో (cries wolf) పోల్చి అంచనా వేయాలి, పునఃక్రమాంకనం చేయాలి. పాత అనుభవ సూత్రాలు వర్తించవు — ఒకప్పుడు ఇబ్బందిని సూచించిన ఐదు పాయింట్ల పతనం ఇప్పుడు ఏ నెలలోనైనా అరుదైపోయింది.