IDAN AN ROƘI 'YAN WASA SU RUBUTA SHARHI, MAKIN YAKAN YI SHIRU

Makin kan intanet (online ratings) suna jagorantar abin da muke saya, manhajojin da muke sanyawa da wasannin da muke yi. Amma ana gina su ne daga ’yan abokan ciniki kaɗan da ke damuwa su rubuta: yawancin mutane ba sa taɓa rubuta sharhi kan komai. Gyaran da aka saba shi ne a tambaye su. A ranar 30 ga Oktoba 2019, Valve ya fitar da sabon ɗakin karatu (library) na kantin wasanninsa Steam, inda manhajar ke tambayar ’yan wasa ko suna son rubuta sharhi kan wasan da suka yi kwanan nan. A dukkan kantin, sharhi ya tashi daga kusan 17,000 a rana zuwa kusan 70,000.

Shin tambayar ta inganta makin ko ta ɓata su? Ka’idoji ba su yarda da juna ba. Ƙarin masu rubuta sharhi ya kamata ya nufi ƙarancin hayaniya (noise). Amma mutanen da ke rubutu ba tare da an roƙe su ba sau da yawa suna yin hakan ne saboda wani abu ya ba su mamaki — kuma sharhin da aka roƙa na iya ɗaukar ƙarancin irin wannan labari. Kuma idan maki suka taru a sama, za su iya kawai faɗin abu kaɗan.

Abin da maki ya sani, da abin da yake nunawa

Zihan Chen da Di Zhu, daga Stevens Institute of Technology, da Lei Nico Zheng, daga University of Massachusetts Boston, sun aro wani kayan aiki da aka daɗe ana amfani da shi wajen nazarin hukuncin ɗan adam da gwaje-gwajen gano cuta (diagnostic tests): ka’idar gano sigina (signal detection theory). Tana raba abubuwa biyu. Ƙwarewar bambancewa (sensitivity) ita ce yadda tsari zai iya bambance ainihin sauyi daga hayaniya ta yau da kullum — abin da maki ya sani. Iyakar martani (criterion) ita ce yawan shaidar da yake buƙata kafin ya mayar da martani — abin da yake nunawa. Maki zai iya motsawa ƙasa saboda ya san ƙasa, ko kuma saboda sikelinsa (scale) ya matse zuwa rufi (ceiling) yayin da nunin har yanzu yana jiran tsalle iri ɗaya.

Rufin yana da muhimmanci saboda maki kason sharhi masu yabo ne cikin dukkan sharhi: sauyi iri ɗaya a daidaito tsakanin yabo da koke yana motsa maki na 95% ƙasa sosai da yadda yake motsa na 60%.

Tambayar da ke tasowa a awanni uku

Steam gwaji ne mafi dacewa. Kowane sharhi na jama’a yana nuna tsawon lokacin wasa da aka yi kafin a rubuta shi, kuma lokacin wasa ne ke tayar da tambayar Valve. Valve ba ya wallafa wannan iyaka, don haka marubutan sun gano ta a cikin bayanan: minti 180. Bayan ƙaddamarwa, an rubuta sharhi 11,163 daidai a minti 180 na wasa idan aka kwatanta da 2,316 a minti 179; kafin haka, mintunan biyu suna da 3,390 da 3,255.

Ta amfani da sharhi miliyan 21.6 kan shahararrun wasanni 315, daga tarin bayanan da wani mai tattarawa mai cin gashin kai ya haɗa kuma ya sanya a intanet, sun kwatanta sharhin da ke ɗan sama da ɗan ƙasa da awanni uku, kafin da bayan ƙaddamarwa. Daidai bayan awanni uku, sharhi sun zama sau 4.25 na yawan na ɗan ƙasa da iyakar, kuma tsallen kason sharhi masu yabo ya ƙaru da maki 6.6. Ƙarin sharhin kusan 96% masu yabo ne, idan aka kwatanta da 86% ɗan ƙasa da iyakar, kuma gajeru ne: 71% daga cikinsu ba su kai haruffa 50 ba.

Jeri ya tsaya, ƙararrawa sun dusashe

Don zaɓi tsakanin wasanni, kaɗan ne ya sauya da farko. Idan aka daidaita yawan sharhi na kowane wasa, dacewar makin da na masu suka bai sauya ba: daidaiton jeri (rank correlation) da Metacritic na 0.42 kafin da 0.41 bayan, a kan wasanni fiye da dubu.

Lura da cewa wasa ya sauya wani labari ne daban. Marubutan sun yi amfani da sharhin da aka rubuta a awanni biyu na farko na wasa a matsayin siginar tunani (reference signal), kuma sun auna yawan motsinsa na kowane wata da ke bayyana a cikin wasu rukunonin sharhi. Daidai sama da iyakar, wannan kason ya faɗi daga 0.73 zuwa 0.18; daidai ƙasa da ita, daga 0.81 zuwa 0.64 kawai. Karyewar tana bayyana a awanni uku da kuma a ranar ƙaddamarwa, ba a wani wuri ba.

Alamomin (labels) da Steam ke nunawa su ma sun yi shiru. Matakin maki da ke da iyakokin kantin maras sauyawa ya sauka a 42% na munanan watanni daidai sama da iyakar kafin ƙaddamarwa, kuma a 12% kawai bayan haka; daidai ƙasa, ya tafi daga 47% zuwa 41%. A kan sake gina makin jama’a na kwanaki 30, alamar ta sauka a 38% na munanan watanni kafin, da 9% bayan — tare da ƙararrawar ƙarya (false alarms) ma suna raguwa.

Ƙararrawa kaɗan, ba ilimi kaɗan ba

Anan ne ra’ayoyin biyu suka rabu. Kowane ƙarin sharhi yana mayar da martani ga mummunan wata kusan rabin abin da sharhi na son rai ke yi. Amma suna da yawa sosai har, a yawan da aka gani a zahiri, kwararar sharhin da ke sama da iyakar ba ta rasa wani bayani da za a iya ganowa ba idan aka kwatanta da kwararar da ke ƙasa: bambanci na −0.03, da tazara daga −0.13 zuwa 0.06. Makin ya san kusan abu ɗaya; yana nuna shi ƙasa ne, saboda sikelin ya matse kuma alamomin ba su motsa ba.

Wasu munanan labarai har yanzu suna wucewa. Matsalolin da masu haɓaka wasanni suka amince da su a cikin sanarwarsu — katsewar sabis (outages), mayar da sabuntawa baya (rollbacks), ɓatan ci gaban wasa — galibi suna kawo koke, kuma koke bai kumbura kamar yabo ba. A waɗannan matsaloli, makin gaba ɗaya ya faɗi da maki 2.9 bayan ƙaddamarwa, idan aka kwatanta da 1.0 kafin.

Marubutan sun kuma tantance samfurinsu a tambayoyin Steam da ke zuwa daga baya, a awanni 10 da 30, waɗanda ke ƙara sharhi kaɗan sosai: a can ya yi hasashen kusan babu karyewa, kuma ba a ga ko ɗaya ba.

Karanta makin ta wata hanya daban

Binciken ya ƙunshi dandali ɗaya, shahararrun wasanni da bayanan da suka tsaya a Janairu 2021, kuma tambayar da ƙarin sharhin an gane su ne ta hanyar ƙiyasi, ba wai an yi musu alama ba. Shawararsa game da karatu ce, ba game da rage tambaya ba: dandamalin da ke neman sharhi ya kamata su yi tsammanin alamomi maras sauyawa za su yi shiru, su yi hukunci kan nuni bisa yawan lokutan da yake kama matsaloli na gaske idan aka kwatanta da yawan lokutan da yake ba da ƙararrawar ƙarya, kuma su sake daidaitawa. Tsoffin ƙa’idojin gwaji (rules of thumb) ba sa yin aiki a nan — faɗuwar maki biyar da a da ke nuna matsala ta zama ba kasafai ba a kowane wata.