کھڈاریاں توں ریویو منگو، تے سکور چپ ہو جاندا اے

آن لائن ریٹنگاں ایہہ طے کردیاں نیں کہ اسیں کیہ خریدیے، کیہڑیاں ایپاں انسٹال کریے تے کیہڑیاں کھیڈاں کھیڈیے۔ پر اوہ اوہناں تھوڑے جیہے گاہکاں توں بندیاں نیں جو لکھن دی کھیچل کردے نیں: بہتے لوک کدی کسے شے دا ریویو نہیں لکھدے۔ عام حل اے پچھنا۔ 30 اکتوبر 2019 نوں، Valve نے اپنے Steam کھیڈاں دے سٹور لئی اک نویں لائبریری جاری کیتی، جیہدے وچ سافٹ ویئر کھڈاریاں توں پچھدا سی کہ کیہ اوہ کسے اجیہی کھیڈ دا ریویو لکھنا چاہندے نیں جو اوہناں حال ای وچ کھیڈی ہووے۔ سارے سٹور وچ، ریویو لگ بھگ 17,000 روزانہ توں ودھ کے لگ بھگ 70,000 ہو گئے۔

کیہ پچھن نال ریٹنگاں بہتر ہوئیاں یا بھیڑیاں؟ نظریے اک دوجے نال متفق نہیں۔ ودھ ریویو لکھن والیاں دا مطلب گھٹ شور (noise) ہونا چاہیدا اے۔ پر جو لوک بنا پچھے لکھدے نیں، اوہ اکثر ایس لئی لکھدے نیں کہ کسے گل نے اوہناں نوں حیران کیتا — تے پچھ کے لکھوایا گیا ریویو شاید اوس خبر دا گھٹ حصہ لے کے آوے۔ تے جدوں سکور سکھر ول اکٹھے ہو جاندے نیں، تے اوہ سِدھا شاید گھٹ دسدے نیں۔

ریٹنگ کیہ جاندی اے، تے کیہ وکھاندی اے

Stevens Institute of Technology دے Zihan Chen تے Di Zhu، تے University of Massachusetts Boston دے Lei Nico Zheng نے اک اجیہا اوزار ادھار لیا جو لمے چر توں انسانی فیصلے تے تشخیصی ٹیسٹاں نوں پڑھن لئی ورتیا جاندا اے: سگنل پچھان دا نظریہ (signal detection theory)۔ ایہہ دو چیزاں نوں وکھ کردا اے۔ حساسیت (sensitivity) ایہہ اے کہ کوئی سسٹم اصلی تبدیلی نوں عام شور توں کِنا چنگا وکھ کر سکدا اے — ریٹنگ کیہ جاندی اے۔ کسوٹی (criterion) ایہہ اے کہ ردعمل دین توں پہلاں اوہنوں کِنا ثبوت چاہیدا اے — اوہ کیہ وکھاندی اے۔ کوئی سکور ایس لئی گھٹ ہل سکدا اے کہ اوہ گھٹ جاندا اے، یا ایس لئی کہ اوہدا پیمانہ سکھر ول سُنگڑ گیا اے جدکہ ڈسپلے اجے وی اوسے چھال دی اڈیک کردا اے۔

سکھر ایس لئی اہم اے کہ ریٹنگ سارے ریویو وچوں مثبت ریویو دا حصہ ہوندی اے: تعریف تے شکایتاں دے توازن وچ اکو جِنی تبدیلی 95% والے سکور نوں 60% والے نالوں کِتے گھٹ ہلاؤندی اے۔

تن گھنٹیاں دا ٹرگر

Steam اک مثالی امتحان اے۔ ہر عوامی ریویو دسدا اے کہ لکھن ویلے اوہدے لکھاری دا کھیڈن دا ویلا کِنا سی، تے Valve دا سوال کھیڈن دے ویلے نال چالو ہوندا اے۔ Valve ٹرگر جاری نہیں کردا، ایس لئی لکھاریاں نے ایہنوں ڈیٹا وچوں لبھیا: 180 منٹ۔ لانچ توں بعد، 11,163 ریویو ٹھیک 180 منٹ کھیڈن اُتے لکھے گئے، جدکہ 179 اُتے 2,316؛ پہلاں، ایہناں دوہاں منٹاں اُتے 3,390 تے 3,255 سن۔

315 مشہور کھیڈاں دے 21.6 ملین ریویو ورت کے، جو اک آزاد اکٹھے کرن والے نے جمع کر کے آن لائن پائے سن، اوہناں نے لانچ توں پہلاں تے بعد، تن گھنٹیاں توں ذرا اُتے تے ذرا تھلے والے ریویو دا مقابلہ کیتا۔ تن گھنٹیاں توں ذرا بعد، ریویو ذرا پہلاں والیاں نالوں 4.25 گنا ہو گئے، تے مثبت ریویو دے حصے دی چھال 6.6 پوائنٹ ودھ گئی۔ وادھو ریویو لگ بھگ 96% مثبت نیں، جدکہ حد توں ذرا تھلے 86%، تے چھوٹے نیں: اوہناں وچوں 71% 50 حرفاں توں گھٹ دے نیں۔

درجہ بندی ٹکی رہندی اے، خطرے دیاں گھنٹیاں مدھم پے جاندیاں نیں

کھیڈاں وچوں چُنن لئی، شروع وچ تھوڑا ای بدلیا۔ ہر کھیڈ لئی ریویو دی گنتی برابر رکھ کے، نقاداں نال سکوراں دی سہمتی اوتھے ای رہی: Metacritic نال درجہ بندی دا تعلق (rank correlation) پہلاں 0.42 تے بعد وچ 0.41، اک ہزار توں ودھ کھیڈاں وچ۔

ایہہ پچھاننا کہ کوئی کھیڈ بدل گئی اے، وکھری گل اے۔ لکھاری کھیڈن دے پہلے دو گھنٹیاں وچ لکھے گئے ریویو نوں حوالے دا سگنل (reference signal) بناؤندے نیں، تے ناپدے نیں کہ اوہدی مہینے وار حرکت دا کِنا حصہ ریویو دے ہور گروہاں وچ دسدا اے۔ حد توں ذرا اُتے، ایہہ حصہ 0.73 توں ڈگ کے 0.18 رہ گیا؛ ذرا تھلے، صرف 0.81 توں 0.64۔ ٹٹ تن گھنٹیاں اُتے تے لانچ دی تریخ اُتے دسدی اے، تے ہور کِتے نہیں۔

Steam جو لیبل وکھاندا اے، اوہ وی چپ ہو گئے۔ سٹور دیاں پکیاں حداں والا اک ریٹنگ درجہ لانچ توں پہلاں حد توں ذرا اُتے 42% مندے مہینیاں وچ ڈگیا، تے بعد وچ صرف 12% وچ؛ ذرا تھلے، 47% توں 41%۔ عوامی 30 دناں والے سکور دی اک نویں سرے بنائی نقل (reconstruction) اُتے، لیبل پہلاں 38% مندے مہینیاں وچ ڈگیا تے بعد وچ 9% وچ — تے جھوٹیاں گھنٹیاں (false alarms) وی گھٹ گئیاں۔

گھٹ گھنٹیاں، گھٹ جانکاری نہیں

ایتھے دوویں تصور وکھ ہو جاندے نیں۔ ہر وادھو ریویو کسے مندے مہینے اُتے اپنی مرضی نال لکھے ریویو نالوں لگ بھگ ادھا ردعمل دیندا اے۔ پر اوہ اینے ودھ نیں کہ، اصل وچ ویکھیاں گئیاں گنتیاں اُتے، حد توں اُتے والی دھارا نے تھلے والی دے مقابلے وچ کوئی پچھانی جا سکن والی جانکاری نہیں گوائی: −0.03 دا فرق، −0.13 توں 0.06 تیکر دے وقفے نال۔ ریٹنگ لگ بھگ اونا ای جاندی اے؛ بس اوہ ایہنوں گھٹ وکھاندی اے، کیونکہ پیمانہ سُنگڑ گیا اے تے لیبل نہیں ہلے۔

کجھ بھیڑیاں خبراں اجے وی لنگھ جاندیاں نیں۔ جیہڑیاں ناکامیاں ڈویلپراں نے اپنے اعلاناں وچ منیاں — سروس بند ہونا (outages)، اپ ڈیٹ واپس لینا (rollbacks)، کھیڈ وچ گواچی پیش رفت — اوہ بہتا شکایتاں لیاؤندیاں نیں، تے شکایتاں تعریف نالوں گھٹ ودھیاں سن۔ اوہناں ناکامیاں اُتے، لانچ توں بعد کل سکور 2.9 پوائنٹ ڈگیا، جدکہ پہلاں 1.0۔

لکھاریاں نے اپنا ماڈل Steam دے بعد والے سوالاں اُتے وی پرکھیا، 10 تے 30 گھنٹیاں اُتے، جو کِتے گھٹ ریویو جوڑدے نیں: اوتھے ایہنے لگ بھگ کسے ٹٹ دی پیشین گوئی نہیں کیتی، تے کوئی ٹٹ نہیں دسی۔

سکور نوں وکھرے طریقے نال پڑھو

تحقیق اک پلیٹ فارم، مشہور کھیڈاں تے جنوری 2021 تیکر دے ڈیٹا تیکر محدود اے، تے سوال تے وادھو ریویو اندازے نال کڈھے گئے نیں، اوہناں اُتے کوئی نشان نہیں لگا ہویا۔ ایہدی صلاح پڑھن بارے اے، گھٹ پچھن بارے نہیں: جیہڑے پلیٹ فارم ریویو منگدے نیں اوہناں نوں امید رکھنی چاہیدی اے کہ پکے لیبل چپ ہو جان گے، کسے ڈسپلے نوں ایس گل نال پرکھنا چاہیدا اے کہ اوہ کِنی واری اصلی مسئلے پھڑدا اے تے کِنی واری اینویں رولا پاؤندا اے، تے نویں سرے توں ترتیب دینی چاہیدی اے۔ پرانے موٹے اصول (rules of thumb) کم نہیں کردے — پنج پوائنٹ دی گراوٹ جو کدی مسئلے دا اشارہ ہوندی سی، ہُن کسے وی مہینے وچ ورلی ای ہوندی اے۔