খেলোয়াড়দের কাছে রিভিউ চাইলে স্কোর চুপ হয়ে যায়

অনলাইন রেটিং ঠিক করে দেয় আমরা কী কিনি, কোন অ্যাপ ইনস্টল করি আর কোন গেম খেলি। কিন্তু সেগুলো তৈরি হয় সেই অল্প কয়েকজন গ্রাহকের লেখা থেকে, যাঁরা লেখার কষ্টটুকু করেন: বেশির ভাগ মানুষ কখনো কোনো কিছুর রিভিউ লেখেন না। প্রচলিত সমাধান হলো জিজ্ঞেস করা। 2019 সালের 30 অক্টোবর ভালভ (Valve) তার স্টিম (Steam) গেম স্টোরের জন্য একটি নতুন লাইব্রেরি চালু করে, যেখানে সফটওয়্যারটি খেলোয়াড়দের জিজ্ঞেস করত, সম্প্রতি খেলা কোনো গেমের রিভিউ তাঁরা লিখতে চান কি না। পুরো স্টোর জুড়ে রিভিউ বেড়ে যায় দিনে প্রায় 17,000 থেকে প্রায় 70,000-এ।

জিজ্ঞেস করায় রেটিং ভালো হলো, না খারাপ? তত্ত্বগুলো একমত নয়। বেশি রিভিউদাতা মানে কম গোলমাল (noise) হওয়ার কথা। কিন্তু যাঁরা না-চাইতেই লেখেন, তাঁরা প্রায়ই লেখেন কারণ কিছু একটা তাঁদের অবাক করেছে — আর চেয়ে নেওয়া রিভিউতে সেই খবর হয়তো কম থাকে। আর স্কোরগুলো যখন ওপরের দিকে ভিড় করে, তখন সেগুলো হয়তো স্রেফ কম কথা বলে।

একটি রেটিং কী জানে, আর কী দেখায়

স্টিভেন্স ইনস্টিটিউট অব টেকনোলজির (Stevens Institute of Technology) জিহান চেন (Zihan Chen) ও দি ঝু (Di Zhu), এবং ইউনিভার্সিটি অব ম্যাসাচুসেটস বস্টনের (University of Massachusetts Boston) লেই নিকো ঝেং (Lei Nico Zheng) ধার নিয়েছেন এমন একটি হাতিয়ার, যা দীর্ঘদিন ধরে মানুষের বিচারবোধ আর রোগনির্ণয়ের পরীক্ষা নিয়ে গবেষণায় ব্যবহৃত হয়ে আসছে: সংকেত শনাক্তকরণ তত্ত্ব (signal detection theory)। এটি দুটি জিনিস আলাদা করে। সংবেদনশীলতা (sensitivity) হলো একটি ব্যবস্থা সাধারণ গোলমাল থেকে আসল পরিবর্তনকে কতটা ভালোভাবে আলাদা করতে পারে — একটি রেটিং কী জানে। মানদণ্ড (criterion) হলো সাড়া দেওয়ার আগে তার কতটা প্রমাণ দরকার — সে কী দেখায়। একটি স্কোর কম নড়তে পারে কারণ সে কম জানে, অথবা কারণ তার স্কেল সিলিংয়ের দিকে চেপে গেছে অথচ প্রদর্শনটি এখনো সেই একই লাফের অপেক্ষায় আছে।

সিলিং গুরুত্বপূর্ণ, কারণ একটি রেটিং হলো সব রিভিউয়ের মধ্যে ইতিবাচক রিভিউয়ের অংশ: প্রশংসা আর অভিযোগের ভারসাম্যে একই সরণ 60% স্কোরকে যতটা নাড়ায়, 95% স্কোরকে নাড়ায় তার চেয়ে অনেক কম।

তিন ঘণ্টার ট্রিগার

স্টিম একটি আদর্শ পরীক্ষাক্ষেত্র। প্রতিটি প্রকাশ্য রিভিউতে দেখা যায়, লেখার সময় তার লেখক কতক্ষণ খেলেছিলেন, আর ভালভের অনুরোধটি চালু হয় খেলার সময়ের ভিত্তিতে। ভালভ ট্রিগারটি প্রকাশ করে না, তাই লেখকেরা সেটি খুঁজে বের করেছেন উপাত্ত থেকে: 180 মিনিট। চালুর পরে ঠিক 180 মিনিট খেলার সময়ে লেখা হয়েছে 11,163টি রিভিউ, আর 179 মিনিটে 2,316টি; আগে এই দুই মিনিটে ছিল 3,390 ও 3,255টি।

একজন স্বাধীন সংগ্রাহকের জোগাড় করা ও অনলাইনে প্রকাশিত, 315টি জনপ্রিয় গেমের 21.6 মিলিয়ন রিভিউ ব্যবহার করে তাঁরা চালুর আগে ও পরে তিন ঘণ্টার ঠিক ওপরের আর ঠিক নিচের রিভিউগুলো তুলনা করেছেন। তিন ঘণ্টা পেরোতেই রিভিউ হয়ে গেল ঠিক নিচের তুলনায় 4.25 গুণ বেশি, আর ইতিবাচক রিভিউয়ের অংশে সীমার কাছের লাফটি বাড়ল 6.6 পয়েন্ট। বাড়তি রিভিউগুলোর প্রায় 96% ইতিবাচক, সীমার ঠিক নিচে যেখানে 86%, আর সেগুলো ছোট: তাদের 71% 50 অক্ষরের কম।

ক্রম টিকে থাকে, সতর্কসংকেত ম্লান হয়

গেমগুলোর মধ্যে বাছাইয়ের ক্ষেত্রে প্রথমে খুব একটা কিছু বদলায়নি। প্রতিটি গেমের রিভিউ-সংখ্যা সমান ধরে রাখলে, সমালোচকদের সঙ্গে স্কোরের মিল একই জায়গায় রয়ে গেছে: হাজারেরও বেশি গেম জুড়ে মেটাক্রিটিকের (Metacritic) সঙ্গে ক্রম-সহসম্পর্ক (rank correlation) আগে 0.42 আর পরে 0.41।

কোনো গেম যে বদলে গেছে, তা টের পাওয়া অবশ্য আলাদা ব্যাপার। লেখকেরা খেলার প্রথম দুই ঘণ্টায় লেখা রিভিউগুলোকে একটি রেফারেন্স সংকেত হিসেবে নেন, আর মাপেন তার মাসিক ওঠানামার কতটা অংশ রিভিউয়ের অন্যান্য গোষ্ঠীতে দেখা যায়। সীমার ঠিক ওপরে সেই অংশ নেমে গেছে 0.73 থেকে 0.18-এ; ঠিক নিচে, কেবল 0.81 থেকে 0.64-এ। বিচ্ছেদটি দেখা যায় তিন ঘণ্টায় আর চালুর তারিখে, অন্য কোথাও নয়।

স্টিম যে লেবেলগুলো দেখায়, সেগুলোও চুপ হয়ে গেছে। স্টোরের নির্দিষ্ট সীমানাসহ একটি রেটিং-স্তর চালুর আগে সীমার ঠিক ওপরে খারাপ মাসগুলোর 42% ক্ষেত্রে নেমে যেত, আর পরে মাত্র 12% ক্ষেত্রে; ঠিক নিচে তা 47% থেকে গেছে 41%-এ। প্রকাশ্য 30 দিনের স্কোরের একটি পুনর্গঠনে, লেবেলটি আগে খারাপ মাসগুলোর 38%-এ নেমেছিল আর পরে 9%-এ — সঙ্গে ভুয়া সতর্কসংকেতও কমে গেছে।

কম সতর্কসংকেত, কম জ্ঞান নয়

এখানে দুটি ধারণা আলাদা পথে যায়। প্রতিটি বাড়তি রিভিউ একটি খারাপ মাসে সাড়া দেয় স্বেচ্ছায় লেখা একটি রিভিউয়ের প্রায় অর্ধেক। কিন্তু সেগুলো এত বেশি যে, বাস্তবে দেখা পরিমাণে, সীমার ওপরের ধারাটি নিচের ধারার তুলনায় শনাক্ত করার মতো কোনো তথ্য হারায়নি: পার্থক্য −0.03, ব্যবধান (interval) −0.13 থেকে 0.06। রেটিংটি প্রায় ততটাই জানে; সে কম দেখায়, কারণ স্কেলটি সংকুচিত হয়েছে আর লেবেলগুলো সরেনি।

কিছু খারাপ খবর এখনো পৌঁছায়। ডেভেলপাররা নিজেদের ঘোষণায় যে ব্যর্থতাগুলো স্বীকার করেছেন — বিভ্রাট (outage), আগের সংস্করণে ফিরে যাওয়া (rollback), হারানো অগ্রগতি — সেগুলো মূলত অভিযোগ ডেকে আনে, আর অভিযোগ ফুলে উঠেছে প্রশংসার চেয়ে কম। সেই ব্যর্থতাগুলোর সময়ে সামগ্রিক স্কোর চালুর পরে নেমেছে 2.9 পয়েন্ট, আগে যেখানে নামত 1.0।

লেখকেরা তাঁদের মডেলটি স্টিমের পরের অনুরোধগুলোতেও যাচাই করেছেন, 10 ও 30 ঘণ্টায়, যেগুলো অনেক কম রিভিউ যোগ করে: সেখানে মডেলটি প্রায় কোনো বিচ্ছেদের পূর্বাভাস দেয়নি, আর কোনোটি দেখাও যায়নি।

স্কোরটি অন্যভাবে পড়ুন

গবেষণাটি একটি প্ল্যাটফর্ম, জনপ্রিয় গেম আর 2021 সালের জানুয়ারিতে থেমে যাওয়া উপাত্ত নিয়ে, আর অনুরোধ ও বাড়তি রিভিউগুলো চিহ্নিত করা নয়, অনুমান করা। এর পরামর্শ পড়া নিয়ে, কম জিজ্ঞেস করা নিয়ে নয়: যে প্ল্যাটফর্মগুলো রিভিউ চায়, তাদের ধরে নেওয়া উচিত যে নির্দিষ্ট লেবেলগুলো নীরব হয়ে যাবে, কোনো প্রদর্শন আসল সমস্যা কতবার ধরে আর কতবার মিছিমিছি বিপদসংকেত বাজায় তা মিলিয়ে তাকে বিচার করা উচিত, আর নতুন করে মাপমতো (recalibrate) করা উচিত। পুরোনো আন্দাজি নিয়ম আর খাটে না — যে পাঁচ পয়েন্টের পতন একসময় বিপদের সংকেত দিত, তা এখন যেকোনো মাসেই বিরল হয়ে গেছে।