আপনার কী ভালো লাগবে, অ্যালগরিদমের চেয়ে আপনিই ভালো জানেন
মানুষ কী দেখবে, পড়বে আর কিনবে, তার অনেকটাই ঠিক করে দেয় সুপারিশ ব্যবস্থা (recommender systems); লেখকদের উদ্ধৃত 2015 সালের একটি পেপার অনুযায়ী, নেটফ্লিক্সে সুপারিশ ব্যবস্থা “স্ট্রিম করা ঘণ্টাগুলোর প্রায় 80%-এর ক্ষেত্রে পছন্দকে প্রভাবিত করে”। কাজ করতে হলে একটি প্ল্যাটফর্মকে আন্দাজ করতে হয়, প্রত্যেকে কী পছন্দ করবে। তা সে শিখতে পারে আচরণ থেকে — রেটিং, ক্লিক, আপনার এবং আরও কয়েক মিলিয়ন মানুষের শেষ করা শিরোনাম — নয়তো সে সোজা জিজ্ঞেস করতে পারে।
জিজ্ঞেস করা ব্যয়বহুল। চলচ্চিত্রের রেটিং দেওয়ার ওয়েবসাইট MovieLens-এ 3.0 মিলিয়ন প্রশ্নের 98.8%-এর কোনো উত্তর আসেনি। আর তত্ত্ব দেয় পরস্পরবিরোধী পরামর্শ। একটি ধারা, যাকে লেখকেরা বলেন ভিড়ের দৃষ্টিভঙ্গি (crowd view), বলে যে বহু মানুষের কাছ থেকে তৈরি পরিসংখ্যান ব্যক্তিগত বিচারকে হারিয়ে দেয়, আর মানুষ নিজের উপভোগ আগে থেকে আন্দাজ করতে দুর্বল। আরেকটি, বিক্ষিপ্ত জ্ঞানের (dispersed knowledge) দৃষ্টিভঙ্গি, বলে যে আমাদের প্রত্যেকের কাছে এমন তথ্য আছে, যা কোনো ডেটাবেস লিপিবদ্ধ করে না: পরিচালকের আগের কাজ আপনার দারুণ লেগেছিল কিন্তু কখনো রেটিং দেননি, ট্রেলারটি আপনাকে টানেনি, যাঁর রুচিতে ভরসা করেন এমন এক বন্ধু ছবিটি নিয়ে কথা বলা থামাচ্ছেনই না।
হোমপেজে একটি প্রশ্ন
জিহান চেন (Zihan Chen) ও দি ঝু (Di Zhu) (স্টিভেন্স ইনস্টিটিউট অব টেকনোলজি) এবং লেই নিকো ঝেং (Lei Nico Zheng) (ইউনিভার্সিটি অব ম্যাসাচুসেটস বস্টন) এমন একটি ডেটাসেট ব্যবহার করেছেন, যা এই পরীক্ষাকে সম্ভব করে। MovieLens, মিনেসোটা বিশ্ববিদ্যালয়ের GroupLens ল্যাব পরিচালিত একটি অবাণিজ্যিক সুপারিশ ব্যবস্থা, মার্চ 2023 থেকে মে 2024 পর্যন্ত তার হোমপেজে একটি প্রশ্ন রেখেছিল। এটি একটি ছবির নাম দেখাত আর জিজ্ঞেস করত, সদস্য সেটি দেখেছেন কি না। না দেখে থাকলে: আপনার কী মনে হয়, আধা তারা থেকে পাঁচ তারার মধ্যে আপনি এটিকে কত তারা দেবেন?
এমন 26,020টি অনুমানের মধ্যে 551টির পরে — যেগুলো এসেছিল 277 জন সদস্যের কাছ থেকে — অন্তত এক দিন পর একটি সত্যিকারের রেটিং এসেছিল। ঠিক এই জোড়াগুলোর ওপর দলটি অনুমানটিকে চারটি যন্ত্রের সঙ্গে তুলনা করেছে: MovieLens-এর নিজস্ব সুপারিশ ব্যবস্থার পূর্বাভাস, 33 মিলিয়ন আগের রেটিং দিয়ে প্রশিক্ষিত এবং অনুমানের মুহূর্ত পর্যন্ত সদস্যের দেওয়া সব রেটিং দিয়ে হালনাগাদ করা দুটি ধ্রুপদি সুপারিশ-অ্যালগরিদম, আর একটি “স্ট্যাক” (stack), যা প্রতিটি যন্ত্র-পূর্বাভাসকে মিলিয়েছে ছবি ও সদস্য সম্পর্কে প্ল্যাটফর্ম যা জানত তার সঙ্গে।
মানুষ জেতে
সদস্যের অনুমানের সঙ্গে পরবর্তী রেটিংয়ের সহসম্পর্ক ছিল 0.69। প্রশিক্ষিত অ্যালগরিদমগুলো পৌঁছেছে 0.54 থেকে 0.59-এ; MovieLens-এর নিজস্ব পূর্বাভাস 0.34-এ। গড়ে অনুমানটি পরবর্তী রেটিং থেকে সরে ছিল 0.61 তারা, যেখানে যেকোনো যন্ত্রের ক্ষেত্রে অন্তত 0.72। এটি প্রায় পক্ষপাতমুক্তও ছিল, অথচ MovieLens পরবর্তী রেটিংকে আধা তারা বাড়িয়ে ধরেছিল।
সুবিধাটি কেবল কোন ছবিগুলো ভালো, বা কেউ কতটা উদারভাবে রেটিং দেন, তা জানার মধ্যে নয়। ছবিটির গড় আকর্ষণ আর সদস্যের স্বাভাবিক উদারতা বাদ দিন, তবুও যা বাকি থাকে — এই মানুষটি আর এই ছবিটির মধ্যে ব্যক্তিগত মিল — অনুমানটি তা যন্ত্রগুলোর চেয়ে অনেক ভালোভাবে আগাম বলে দেয় (0.63, যেখানে যন্ত্রের সর্বোচ্চ 0.47)।
যন্ত্রগুলো যা জানত তার সবকিছুর সঙ্গে যোগ করলে, অনুমানটি পূর্বাভাসের ভুল 26% কমিয়েছে। উল্টোটা সত্য ছিল না: অনুমানের সঙ্গে সমস্ত যন্ত্র-তথ্য যোগ করে শনাক্তযোগ্য কোনো লাভ হয়নি।
যেখানে যন্ত্র নাগাল ধরে
ক্রমানুসারে সাজানোর (ordering) ক্ষেত্রে চিত্রটা বেশি ভারসাম্যপূর্ণ। একজন সদস্য পরে ভিন্ন রেটিং দিয়েছেন এমন দুটি ছবির ক্ষেত্রে, অনুমান 72% সময় সেগুলোকে সঠিক ক্রমে রেখেছে। MovieLens পেরেছে 56% — একটি মুদ্রা টস করলে আসে 50% — কিন্তু প্রশিক্ষিত অ্যালগরিদমগুলো পৌঁছেছে 64 থেকে 67%-এ, যাকে লেখকেরা পরিসংখ্যানগতভাবে মানুষটির থেকে আলাদা করা যায় না বলে মনে করেন।
আর চেনা জমিতে যন্ত্রগুলো সমান বা আরও ভালো করে। যে ছবিগুলোকে সদস্যরা আসলে কয়েক বছর আগেই রেটিং দিয়েছিলেন — পুরোনো, বিপুল রেটিং পাওয়া ছবি, যেগুলোকে রেটিং দিয়েছেন সাইটের সবচেয়ে সক্রিয় ব্যবহারকারীরা — সেগুলোর ক্ষেত্রে অ্যালগরিদমগুলো মানুষটির সমান বা তার চেয়ে ভালো করেছে। মানুষটির সুবিধা সবচেয়ে বেশি যেখানে উপাত্ত কম: কম রেটিং পাওয়া ছবির ক্ষেত্রে (0.65, যেখানে একটি অ্যালগরিদমের 0.41 আর MovieLens-এর 0.13) এবং সদস্য কদাচিৎ রেটিং দেন এমন ধারার (genre) ক্ষেত্রে।
যা কাজে আসে না
দুটি সহজ পথ (shortcut) ব্যর্থ হয়। অন্য ছবি সম্পর্কে একজন সদস্যের আগের অনুমানগুলো, সেই ছবিগুলো কতটা সদৃশ তা দিয়ে ভারিত করলেও, হাতের ছবিটি সম্পর্কে একটি নতুন অনুমানের জায়গা নিতে পারে না। আর মানুষ কতটা নিশ্চিত, তা জিজ্ঞেস করলে প্রায় কিছুই যোগ হয় না: নিশ্চয়তা মূলত চরম মতামতকে চিহ্নিত করে, আর সবচেয়ে নিশ্চিত সদস্যরা দেখা গেল খানিকটা অতি-আশাবাদী।
লেখকেরা এটাও যাচাই করেছেন যে মানুষ কেবল সাইটে দেখানো পূর্বাভাস নকল করছিলেন না: তাঁদের অনুমান সেটির সঙ্গে মিলেছে মোটামুটি ততবারই, যতবার কাকতালীয়ভাবে মেলার কথা।
প্ল্যাটফর্মগুলোর জন্য চারটি নিয়ম
এই ফলাফল থেকে দলটি চারটি নকশা-নীতি টেনেছে: একটি নির্দিষ্ট আইটেমের প্রত্যাশিত রেটিং জিজ্ঞেস করা; এখন যে আইটেমগুলো নিয়ে সিদ্ধান্ত নেওয়া হচ্ছে, সেগুলো সম্পর্কে জিজ্ঞেস করা; সুপারিশ ব্যবস্থাকে বিচার করা সেই শীর্ষ প্রার্থীদের ওপর, যাদের সে আসলে নতুন করে ক্রমানুসারে সাজায়, যেখানে MovieLens মাত্র 56% জোড়া সঠিক ক্রমে সাজিয়েছিল; আর মানুষের সঙ্গে তুলনার আগে যেকোনো অ্যালগরিদমকে প্ল্যাটফর্মের জানা সবকিছু দেওয়া।
পেপারে সীমাবদ্ধতাগুলো স্পষ্ট। 551টি জোড়া সব অনুমানের 2.1%, একটিমাত্র সাইটের উৎসাহীদের কাছ থেকে, আর মানুষ সেই ছবিগুলোকেই রেটিং দেন, যেগুলো তাঁরা দেখার জন্য বেছে নিয়েছেন। লেখকদের প্রস্তাব, একটি দৈবায়িত পরীক্ষা (randomised experiment) বলে দেবে, জিজ্ঞেস করা আসলেই মানুষের অনুসরণ করা সুপারিশগুলোকে উন্নত করে কি না। ততদিন পর্যন্ত সিদ্ধান্তটি দাঁড়িয়ে আছে তাঁদের শিরোনামের ভাষাতেই: আপনার সামনের ছবিটি সম্পর্কে আপনি এমন কিছু জানেন, যা কোনো রেটিং-ইতিহাস লিপিবদ্ধ করেনি।
