آپ کو کیا پسند آئے گا، یہ آپ الگورتھم سے بہتر جانتے ہیں
سفارشی نظام (recommender systems) بڑی حد تک یہ طے کرتے ہیں کہ لوگ کیا دیکھیں، پڑھیں اور خریدیں؛ مصنفین 2015 کے جس مقالے کا حوالہ دیتے ہیں، اس کے مطابق Netflix پر سفارشی نظام “اسٹریم کیے گئے تقریباً 80% گھنٹوں کے انتخاب پر اثر انداز ہوتا ہے”۔ کام کرنے کے لیے، پلیٹ فارم کو اندازہ لگانا پڑتا ہے کہ ہر شخص کو کیا پسند آئے گا۔ وہ یہ رویے سے سیکھ سکتا ہے — ریٹنگز، کلکس، وہ عنوانات جو آپ نے اور لاکھوں دوسرے لوگوں نے آخر تک دیکھے — یا بس پوچھ سکتا ہے۔
پوچھنا مہنگا پڑتا ہے۔ فلموں کی ریٹنگ کی ویب سائٹ MovieLens پر، 3.0 ملین سوالات میں سے 98.8% کا کوئی جواب نہیں آیا۔ اور نظریہ متضاد مشورے دیتا ہے۔ ایک روایت، جسے مصنفین ہجوم کا نقطۂ نظر (crowd view) کہتے ہیں، کہتی ہے کہ بہت سے لوگوں سے بنائے گئے اعداد و شمار انفرادی فیصلے سے بہتر ہوتے ہیں، اور یہ کہ لوگ اپنے لطف اندوز ہونے کی پیش گوئی میں کمزور ہوتے ہیں۔ ایک اور، منتشر علم (dispersed knowledge) کا نقطۂ نظر، کہتا ہے کہ ہم میں سے ہر ایک کے پاس ایسی معلومات ہیں جو کوئی ڈیٹا بیس درج نہیں کرتا: آپ کو ہدایت کار کا پچھلا کام بہت پسند آیا تھا لیکن آپ نے اسے کبھی ریٹ نہیں کیا، ٹریلر نے آپ کو ذرا متاثر نہیں کیا، ایک ایسے دوست کی زبان پر، جس کے ذوق پر آپ کو بھروسا ہے، بس اسی فلم کا ذکر ہے۔
ہوم پیج پر ایک سوال
Zihan Chen اور Di Zhu (Stevens Institute of Technology) اور Lei Nico Zheng (University of Massachusetts Boston) نے ایک ایسا ڈیٹا سیٹ استعمال کیا جو اس جانچ کو ممکن بناتا ہے۔ MovieLens، جو University of Minnesota کی GroupLens لیب کا چلایا ہوا ایک غیر تجارتی سفارشی نظام ہے، نے مارچ 2023 سے مئی 2024 تک اپنے ہوم پیج پر ایک سوال رکھا۔ یہ ایک فلم کا عنوان دکھاتا اور پوچھتا کہ کیا رکن نے یہ فلم دیکھی ہے۔ اگر نہیں: آپ کے خیال میں آپ اسے کتنے ستارے دیں گے، آدھے ستارے سے پانچ تک؟
ایسے 26,020 اندازوں میں سے 551 اندازوں کے بعد — جو 277 ارکان کی طرف سے تھے — کم از کم ایک دن بعد ایک حقیقی ریٹنگ آئی۔ ٹھیک انہی جوڑوں پر، ٹیم نے اندازے کا موازنہ چار مشینوں سے کیا: MovieLens کے اپنے سفارشی نظام کی پیش گوئی، سفارش کے دو کلاسیکی الگورتھم، جنہیں 33 ملین پچھلی ریٹنگز پر تربیت دی گئی اور اندازے کے لمحے تک رکن کی دی گئی ہر ریٹنگ سے تازہ کیا گیا، اور ایک “اسٹیک” (stack)، جو ہر مشینی پیش گوئی کو ان معلومات کے ساتھ جوڑتا تھا جو پلیٹ فارم کے پاس فلم اور رکن کے بارے میں تھیں۔
لوگ جیت گئے
رکن کے اندازے کا بعد کی ریٹنگ کے ساتھ ارتباط (correlation) 0.69 تھا۔ تربیت یافتہ الگورتھم 0.54 سے 0.59 تک پہنچے؛ MovieLens کی اپنی پیش گوئی 0.34 تک۔ اوسطاً، اندازہ بعد کی ریٹنگ سے 0.61 ستارے ہٹا ہوا تھا، جبکہ کسی بھی مشین کے لیے یہ فرق کم از کم 0.72 تھا۔ اندازہ تقریباً غیر جانبدار (unbiased) بھی تھا، جبکہ MovieLens بعد کی ریٹنگ کا اندازہ آدھا ستارہ زیادہ لگاتا تھا۔
یہ برتری محض یہ جاننے کی نہیں کہ کون سی فلمیں اچھی ہیں یا کوئی کتنی فراخ دلی سے ریٹنگ دیتا ہے۔ فلم کی اوسط کشش اور رکن کی معمول کی فراخ دلی کو نکال دیں، تب بھی اندازہ اس باقی بچی چیز کی — یعنی اس شخص اور اس فلم کے درمیان ذاتی مناسبت کی — پیش گوئی مشینوں سے کہیں بہتر کرتا ہے (0.63 بمقابلہ زیادہ سے زیادہ 0.47)۔
مشینوں کو معلوم ہر چیز میں شامل کیے جانے پر، اندازے نے پیش گوئی کی غلطی 26% کم کر دی۔ الٹی صورت درست نہیں تھی: اندازے میں تمام مشینی معلومات شامل کرنے سے کوئی قابلِ شناخت فائدہ نہیں ہوا۔
جہاں مشینیں برابر آ جاتی ہیں
ترتیب (ordering) کے معاملے میں تصویر زیادہ متوازن ہے۔ دو ایسی فلمیں لیں جنہیں کسی رکن نے بعد میں مختلف ریٹنگ دی، تو اندازے نے 72% بار انہیں درست ترتیب میں رکھا۔ MovieLens نے 56% حاصل کیا — سکہ اچھالنے سے 50% آتا ہے — لیکن تربیت یافتہ الگورتھم 64 سے 67% تک پہنچے، جسے مصنفین شماریاتی طور پر انسان سے ممتاز نہیں پاتے۔
اور جانی پہچانی زمین پر مشینیں اتنا ہی اچھا یا اس سے بہتر کرتی ہیں۔ ان فلموں کے لیے جنہیں ارکان نے درحقیقت برسوں پہلے ریٹ کیا تھا — پرانی، بہت زیادہ ریٹ کی گئی فلمیں، جنہیں سائٹ کے سب سے زیادہ سرگرم صارفین نے ریٹ کیا تھا — الگورتھم انسان کے برابر رہے یا اس سے آگے نکل گئے۔ انسان کی برتری وہاں سب سے زیادہ ہے جہاں ڈیٹا کم ہو: کم ریٹ کی گئی فلموں کے لیے (0.65، جبکہ ایک الگورتھم کا 0.41 اور MovieLens کا 0.13) اور ان اصناف (genres) کے لیے جن میں رکن کی ریٹنگز شاذ و نادر ہوں۔
کیا مدد نہیں کرتا
دو شارٹ کٹ ناکام رہتے ہیں۔ دوسری فلموں کے بارے میں کسی رکن کے پچھلے اندازے، چاہے انہیں ان فلموں کی مماثلت کے لحاظ سے وزن دیا جائے، زیرِ غور فلم کے بارے میں تازہ اندازے کی جگہ نہیں لے سکتے۔ اور لوگوں سے یہ پوچھنا کہ وہ کتنے پُریقین ہیں، تقریباً کچھ بھی اضافہ نہیں کرتا: یقین زیادہ تر انتہائی آراء کی نشاندہی کرتا ہے، اور سب سے زیادہ پُریقین ارکان کسی حد تک ضرورت سے زیادہ پُرامید نکلے۔
مصنفین نے یہ بھی جانچا کہ لوگ محض سائٹ پر دکھائی گئی پیش گوئی کی نقل نہیں کر رہے تھے: ان کے اندازے اس سے تقریباً اتنی ہی بار ملتے تھے جتنی بار محض اتفاق سے ملتے۔
پلیٹ فارمز کے لیے چار اصول
ان نتائج سے ٹیم ڈیزائن کے چار اصول اخذ کرتی ہے: کسی مخصوص چیز کی متوقع ریٹنگ پوچھیں؛ ان چیزوں کے بارے میں پوچھیں جن کا فیصلہ ابھی ہو رہا ہے؛ سفارشی نظاموں کو ان سرِفہرست امیدواروں پر پرکھیں جنہیں وہ واقعی دوبارہ ترتیب دیتے ہیں، جہاں MovieLens نے صرف 56% جوڑوں کو درست ترتیب دی؛ اور کسی بھی الگورتھم کا انسانوں سے موازنہ کرنے سے پہلے اسے وہ سب کچھ دیں جو پلیٹ فارم جانتا ہے۔
مقالے میں حدود واضح ہیں۔ 551 جوڑے تمام اندازوں کا 2.1% ہیں، ایک ہی سائٹ کے شوقینوں کی طرف سے، اور لوگ وہی ریٹ کرتے ہیں جو انہوں نے دیکھنے کے لیے خود چنا۔ مصنفین کی تجویز ہے کہ ایک بے ترتیب (randomised) تجربہ یہ بتا سکے گا کہ کیا پوچھنا واقعی ان سفارشات کو بہتر بناتا ہے جن پر لوگ عمل کرتے ہیں۔ تب تک نتیجہ وہی ہے جو ان کا عنوان کہتا ہے: آپ اپنے سامنے موجود فلم کے بارے میں کچھ ایسا جانتے ہیں جو کسی ریٹنگ کی تاریخ نے درج نہیں کیا۔
