کھلاڑیوں سے ریویو مانگیں، تو اسکور خاموش ہو جاتا ہے

آن لائن ریٹنگز طے کرتی ہیں کہ ہم کیا خریدتے ہیں، کون سی ایپس انسٹال کرتے ہیں اور کون سے گیمز کھیلتے ہیں۔ لیکن یہ ان چند گاہکوں سے بنتی ہیں جو لکھنے کی زحمت کرتے ہیں: زیادہ تر لوگ کبھی کسی چیز پر ریویو نہیں لکھتے۔ اس کا معیاری حل ہے پوچھنا۔ 30 اکتوبر 2019 کو Valve نے اپنے گیم اسٹور Steam کے لیے ایک نئی لائبریری جاری کی، جس میں سافٹ ویئر کھلاڑیوں سے پوچھتا تھا کہ کیا وہ کسی ایسے گیم پر ریویو لکھنا چاہیں گے جو انہوں نے حال ہی میں کھیلا ہو۔ پورے اسٹور میں ریویو روزانہ تقریباً 17,000 سے بڑھ کر تقریباً 70,000 ہو گئے۔

کیا پوچھنے سے ریٹنگز بہتر ہوئیں یا بدتر؟ نظریات میں اختلاف ہے۔ زیادہ ریویو لکھنے والوں کا مطلب کم شور ہونا چاہیے۔ لیکن جو لوگ بغیر کہے لکھتے ہیں وہ اکثر اس لیے لکھتے ہیں کہ کسی چیز نے انہیں حیران کیا — اور کہنے پر لکھے گئے ریویو میں اس خبر کا حصہ کم ہو سکتا ہے۔ اور جب اسکور اوپر کی طرف جمع ہو جاتے ہیں تو ہو سکتا ہے وہ بس کم بتائیں۔

ریٹنگ کیا جانتی ہے، اور کیا دکھاتی ہے

اسٹیونز انسٹی ٹیوٹ آف ٹیکنالوجی (Stevens Institute of Technology) کے زیہان چن (Zihan Chen) اور دی ژو (Di Zhu)، اور یونیورسٹی آف میساچوسٹس بوسٹن (University of Massachusetts Boston) کے لی نیکو ژینگ (Lei Nico Zheng) نے ایک ایسا اوزار مستعار لیا جو انسانی فیصلوں اور تشخیصی ٹیسٹوں کے مطالعے میں عرصے سے استعمال ہوتا آیا ہے: سگنل کی شناخت کا نظریہ (signal detection theory)۔ یہ دو چیزوں کو الگ کرتا ہے۔ حساسیت (sensitivity) یہ ہے کہ کوئی نظام کسی حقیقی تبدیلی کو عام شور سے کتنی اچھی طرح الگ پہچان سکتا ہے — یعنی ریٹنگ کیا جانتی ہے۔ معیار (criterion) یہ ہے کہ ردِعمل دینے سے پہلے اسے کتنے ثبوت کی ضرورت ہوتی ہے — یعنی وہ کیا دکھاتی ہے۔ کوئی اسکور اس لیے کم حرکت کر سکتا ہے کہ وہ کم جانتا ہے، یا اس لیے کہ اس کا پیمانہ چھت کی طرف سمٹ گیا ہے جبکہ ڈسپلے اب بھی اتنی ہی بڑی چھلانگ کا انتظار کر رہا ہے۔

چھت اس لیے اہم ہے کہ ریٹنگ تمام ریویوز میں مثبت ریویوز کا حصہ ہوتی ہے: تعریف اور شکایات کے توازن میں ایک ہی تبدیلی 95% کے اسکور کو 60% کے اسکور کی نسبت کہیں کم ہلاتی ہے۔

تین گھنٹے کا محرک

Steam ایک مثالی امتحان ہے۔ ہر عوامی ریویو دکھاتا ہے کہ اسے لکھتے وقت کتنی دیر کھیلا جا چکا تھا، اور Valve کا سوال کھیلنے کے وقت سے متحرک ہوتا ہے۔ Valve یہ حد شائع نہیں کرتا، اس لیے محققین نے اسے اعداد و شمار میں ڈھونڈا: 180 منٹ۔ اجرا کے بعد ٹھیک 180 منٹ کھیلنے پر 11,163 ریویو لکھے گئے، جبکہ 179 منٹ پر 2,316؛ اس سے پہلے ان دو منٹوں پر 3,390 اور 3,255 ریویو تھے۔

ایک آزاد جمع کنندہ کے اکٹھا کر کے آن لائن شائع کیے گئے، 315 مقبول گیمز کے 21.6 ملین ریویوز کی مدد سے، انہوں نے اجرا سے پہلے اور بعد، تین گھنٹے سے ذرا اوپر اور ذرا نیچے کے ریویوز کا موازنہ کیا۔ تین گھنٹے سے ذرا آگے ریویو ذرا پیچھے کی نسبت 4.25 گنا ہو گئے، اور مثبت ریویوز کے تناسب میں اچھال 6.6 پوائنٹس بڑھ گیا۔ اضافی ریویو تقریباً 96% مثبت ہیں، جبکہ حد سے ذرا نیچے یہ شرح 86% ہے، اور یہ مختصر بھی ہیں: ان میں سے 71% کی لمبائی 50 حروف سے کم ہے۔

درجہ بندی قائم، خطرے کی گھنٹیاں مدھم

گیمز کے درمیان انتخاب کے لیے ابتدا میں کچھ زیادہ نہیں بدلا۔ فی گیم ریویوز کی تعداد برابر رکھنے پر، ناقدین کے ساتھ اسکورز کی مطابقت اپنی جگہ قائم رہی: ایک ہزار سے زیادہ گیمز میں Metacritic کے ساتھ درجہ وار ارتباط (rank correlation) پہلے 0.42 تھا اور بعد میں 0.41۔

یہ محسوس کرنا کہ کوئی گیم بدل گیا ہے، ایک الگ کہانی ہے۔ مطالعے میں کھیل کے پہلے دو گھنٹوں میں لکھے گئے ریویوز کو ایک حوالہ جاتی سگنل کے طور پر لیا گیا ہے، اور یہ ناپا گیا ہے کہ اس کی ماہانہ حرکت کا کتنا حصہ ریویوز کے دوسرے گروہوں میں ظاہر ہوتا ہے۔ حد سے ذرا اوپر یہ حصہ 0.73 سے گر کر 0.18 رہ گیا؛ ذرا نیچے صرف 0.81 سے 0.64 تک۔ یہ اچانک تبدیلی تین گھنٹے پر اور اجرا کی تاریخ پر ظاہر ہوتی ہے، اور کہیں نہیں۔

Steam پر دکھائے جانے والے لیبلز بھی خاموش ہو گئے۔ اسٹور کی مقررہ حدود والا ایک ریٹنگ زمرہ اجرا سے پہلے حد سے ذرا اوپر 42% بُرے مہینوں میں نیچے گرا، اور بعد میں صرف 12% میں؛ ذرا نیچے یہ شرح 47% سے 41% ہوئی۔ عوامی 30 روزہ اسکور کی ایک ازسرِنو تشکیل پر، لیبل پہلے 38% بُرے مہینوں میں گرا اور بعد میں 9% میں — اور جھوٹے الارم بھی کم ہو گئے۔

کم الارم، کم علم نہیں

یہاں دونوں تصورات کی راہیں جدا ہو جاتی ہیں۔ ہر اضافی ریویو کسی بُرے مہینے پر رضاکارانہ ریویو کی نسبت تقریباً آدھا ردِعمل دیتا ہے۔ لیکن ان کی تعداد اتنی زیادہ ہے کہ اصل مشاہدہ شدہ مقداروں پر، حد سے اوپر والے سلسلے نے حد سے نیچے والے سلسلے کے مقابلے میں کوئی قابلِ شناخت معلومات نہیں کھوئیں: فرق −0.03 ہے، جس کا وقفہ −0.13 سے 0.06 تک ہے۔ ریٹنگ تقریباً اتنا ہی جانتی ہے؛ وہ اسے کم دکھاتی ہے، کیونکہ پیمانہ سکڑ گیا ہے اور لیبلز اپنی جگہ سے نہیں ہلے۔

کچھ بُری خبریں اب بھی پہنچ جاتی ہیں۔ وہ ناکامیاں جن کا اعتراف ڈویلپرز نے اپنے اعلانات میں خود کیا — سروس کی بندش، رول بیک (rollbacks)، ضائع شدہ پیش رفت — زیادہ تر شکایات لاتی ہیں، اور شکایات میں تعریف کی نسبت کم اضافہ ہوا تھا۔ ان ناکامیوں پر مجموعی اسکور اجرا کے بعد 2.9 پوائنٹس گرا، جبکہ پہلے 1.0۔

مصنفین نے اپنے ماڈل کو Steam کے بعد والے سوالات پر بھی جانچا، جو 10 اور 30 گھنٹے پر آتے ہیں اور کہیں کم ریویو شامل کرتے ہیں: وہاں ماڈل نے تقریباً کسی اچانک تبدیلی کی پیش گوئی نہیں کی، اور کوئی ظاہر بھی نہیں ہوئی۔

اسکور کو مختلف انداز سے پڑھیں

یہ مطالعہ ایک پلیٹ فارم، مقبول گیمز اور ایسے اعداد و شمار پر مشتمل ہے جو جنوری 2021 پر ختم ہو جاتے ہیں، اور سوال اور اضافی ریویوز پر کوئی نشان نہیں لگا ہوتا بلکہ ان کا اندازہ لگایا گیا ہے۔ اس کا مشورہ پڑھنے کے بارے میں ہے، کم پوچھنے کے بارے میں نہیں: ریویو مانگنے والے پلیٹ فارمز کو توقع رکھنی چاہیے کہ مقررہ لیبلز خاموش ہو جائیں گے، کسی ڈسپلے کو اس بنیاد پر پرکھنا چاہیے کہ وہ کتنی بار حقیقی مسائل پکڑتا ہے اور کتنی بار بلا وجہ خطرے کی گھنٹی بجاتا ہے، اور ازسرِنو پیمانہ بندی کرنی چاہیے۔ پرانے آزمودہ اصول یہاں کام نہیں آتے — پانچ پوائنٹ کی گراوٹ جو کبھی مسئلے کا اشارہ ہوتی تھی، اب کسی بھی مہینے میں نایاب ہو گئی ہے۔