तुम्हाला काय आवडेल, हे अल्गोरिदमपेक्षा तुम्हालाच चांगले ठाऊक असते
लोक काय पाहतात, वाचतात आणि खरेदी करतात, याचा बराचसा निर्णय शिफारस-प्रणाली घेतात; Netflix वर, लेखक उद्धृत करत असलेल्या 2015 च्या एका शोधनिबंधानुसार, शिफारस-प्रणाली “प्रवाहित केलेल्या सुमारे 80% तासांसाठी निवडीवर प्रभाव टाकते”. काम करण्यासाठी, व्यासपीठाला प्रत्येक व्यक्तीला काय आवडेल याचा अंदाज बांधावा लागतो. ते हे वर्तनातून शिकू शकते — रेटिंग, क्लिक, तुम्ही आणि इतर दशलक्षावधी लोकांनी पूर्ण केलेली शीर्षके — किंवा ते सरळ विचारू शकते.
विचारणे महाग पडते. MovieLens या चित्रपट-रेटिंग संकेतस्थळावर, 3.0 दशलक्ष प्रश्नांपैकी 98.8% प्रश्न अनुत्तरित राहिले. आणि सिद्धांत परस्परविरोधी सल्ला देतो. एक परंपरा, जिला लेखक समूह-दृष्टिकोन (crowd view) म्हणतात, सांगते की अनेक लोकांवरून बांधलेली आकडेवारी वैयक्तिक निर्णयावर मात करते, आणि लोक स्वतःला किती आनंद मिळेल याचे भाकीत करण्यात कच्चे असतात. दुसरा, विखुरलेल्या ज्ञानाचा (dispersed knowledge) दृष्टिकोन, सांगतो की आपल्यापैकी प्रत्येकाकडे अशी माहिती असते जी कोणताही डेटाबेस नोंदवत नाही: तुम्हाला दिग्दर्शकाचे आधीचे काम खूप आवडले होते पण तुम्ही त्याला कधी रेटिंग दिले नाही, ट्रेलरने तुमच्यावर काहीच छाप पाडली नाही, ज्याच्या आवडीनिवडीवर तुमचा विश्वास आहे असा एखादा मित्र त्याबद्दल बोलायचे थांबतच नाही.
मुख्यपृष्ठावरील एक प्रश्न
Zihan Chen आणि Di Zhu (Stevens Institute of Technology) आणि Lei Nico Zheng (University of Massachusetts Boston) यांनी अशा एका डेटासंचाचा वापर केला, जो ही चाचणी शक्य करतो. University of Minnesota मधील GroupLens प्रयोगशाळा चालवत असलेल्या MovieLens या अव्यावसायिक शिफारस-प्रणालीने मार्च 2023 ते मे 2024 या काळात आपल्या मुख्यपृष्ठावर एक प्रश्न ठेवला. तो एखाद्या चित्रपटाचे शीर्षक दाखवून, सदस्याने तो पाहिला आहे का, असे विचारत असे. नसल्यास: अर्ध्या ताऱ्यापासून पाच ताऱ्यांपर्यंत, तुम्हाला वाटते तुम्ही त्याला किती तारे द्याल?
अशा 26,020 अंदाजांपैकी, 277 सदस्यांकडून आलेल्या 551 अंदाजांनंतर, किमान एका दिवसाने, प्रत्यक्ष रेटिंग दिले गेले. नेमक्या याच जोड्यांवर, पथकाने अंदाजाची तुलना चार यंत्रांशी केली: MovieLens च्या स्वतःच्या शिफारस-प्रणालीचे भाकीत; 33 दशलक्ष आधीच्या रेटिंगवर प्रशिक्षित केलेले, आणि अंदाजाच्या क्षणापर्यंत सदस्याने दिलेल्या सर्व रेटिंगनी अद्ययावत केलेले, दोन अभिजात शिफारस-अल्गोरिदम; आणि यंत्रांचे प्रत्येक भाकीत, चित्रपट आणि सदस्याबद्दल व्यासपीठाला ठाऊक असलेल्या माहितीशी एकत्र करणारा एक “स्टॅक”.
लोक जिंकतात
सदस्याच्या अंदाजाचा नंतरच्या रेटिंगशी सहसंबंध 0.69 होता. प्रशिक्षित अल्गोरिदम 0.54 ते 0.59 पर्यंत पोहोचले; MovieLens चे स्वतःचे भाकीत, 0.34 पर्यंत. सरासरी, अंदाज नंतरच्या रेटिंगपासून 0.61 ताऱ्यांनी चुकला, तर कोणत्याही यंत्राची चूक किमान 0.72 होती. तो जवळजवळ पूर्वग्रहरहितही होता, तर MovieLens ने नंतरच्या रेटिंगचा अर्ध्या ताऱ्याने अतिअंदाज केला.
हा फायदा केवळ कोणते चित्रपट चांगले आहेत, किंवा एखादी व्यक्ती किती उदारपणे रेटिंग देते, हे जाणण्यापुरता नाही. चित्रपटाचे सरासरी आकर्षण आणि सदस्याची नेहमीची उदारता वजा केली, तरी उरलेल्या भागाचे — ही व्यक्ती आणि हा चित्रपट यांच्यातील वैयक्तिक जुळणी — भाकीत अंदाज यंत्रांपेक्षा कितीतरी चांगल्या प्रकारे करतो (0.63, तर यंत्रांचे जास्तीत जास्त 0.47).
यंत्रांना ठाऊक असलेल्या सर्व गोष्टींत भर घातल्यावर, अंदाजाने भाकितातील त्रुटी 26% ने कमी केली. उलट मात्र खरे नव्हते: अंदाजात यंत्रांची सगळी माहिती जोडल्याने कोणताही ओळखण्याजोगा फायदा झाला नाही.
जिथे यंत्रे बरोबरी साधतात
क्रम लावण्याच्या बाबतीत चित्र अधिक संतुलित आहे. सदस्याने नंतर वेगवेगळे रेटिंग दिलेले दोन चित्रपट घेतले, तर अंदाजाने त्यांना 72% वेळा योग्य क्रमात लावले. MovieLens ने 56% साधले — नाणेफेकीला 50% मिळतात — पण प्रशिक्षित अल्गोरिदम 64 ते 67% पर्यंत पोहोचले, जे लेखकांच्या मते व्यक्तीपासून सांख्यिकीयदृष्ट्या वेगळे ओळखता येत नाही.
आणि परिचित जमिनीवर, यंत्रे तितकीच किंवा अधिक चांगली कामगिरी करतात. सदस्यांनी प्रत्यक्षात वर्षांपूर्वी रेटिंग दिलेल्या चित्रपटांसाठी — जुने, भरपूर रेटिंग मिळालेले चित्रपट, संकेतस्थळाचा सर्वाधिक वापर करणाऱ्यांनी रेटिंग दिलेले — अल्गोरिदमनी व्यक्तीची बरोबरी केली किंवा तिच्यावर मात केली. जिथे डेटा तुटपुंजा असतो तिथे व्यक्तीची आघाडी सर्वात मोठी असते: कमी रेटिंग मिळालेल्या चित्रपटांसाठी (0.65, तर एका अल्गोरिदमसाठी 0.41 आणि MovieLens साठी 0.13) आणि सदस्य क्वचितच रेटिंग देत असलेल्या चित्रपट-प्रकारांसाठी.
काय मदत करत नाही
दोन सोपे मार्ग अपयशी ठरतात. इतर चित्रपटांबद्दलचे सदस्याचे आधीचे अंदाज, ते चित्रपट किती सारखे आहेत त्यानुसार भारित केले तरी, समोरच्या चित्रपटाबद्दलच्या ताज्या अंदाजाची जागा घेत नाहीत. आणि लोकांना किती खात्री आहे हे विचारल्याने जवळजवळ काहीच भर पडत नाही: खात्री मुख्यतः टोकाच्या मतांकडे निर्देश करते, आणि सर्वाधिक खात्री असलेले सदस्य काहीसे अतिआशावादी निघाले.
लोक केवळ संकेतस्थळावर दाखवलेल्या भाकिताची नक्कल करत नव्हते, हेही लेखकांनी तपासले: त्यांचे अंदाज त्या भाकिताशी साधारण तितक्याच वेळा जुळले, जितक्या वेळा योगायोगाने जुळले असते.
व्यासपीठांसाठी चार नियम
या निकालांतून पथक चार रचना-तत्त्वे काढते: एखाद्या विशिष्ट वस्तूचे अपेक्षित रेटिंग विचारा; ज्या वस्तूंबद्दल आता निर्णय घेतला जात आहे त्यांच्याबद्दल विचारा; शिफारस-प्रणालींचे मूल्यमापन त्या प्रत्यक्षात पुन्हा क्रमवारी लावत असलेल्या आघाडीच्या उमेदवारांवर करा, जिथे MovieLens ने केवळ 56% जोड्या योग्य क्रमात लावल्या; आणि कोणत्याही अल्गोरिदमची लोकांशी तुलना करण्यापूर्वी, व्यासपीठाला ठाऊक असलेले सर्व काही त्याला द्या.
मर्यादा शोधनिबंधात स्पष्ट आहेत. या 551 जोड्या सर्व अंदाजांच्या 2.1% आहेत, एकाच संकेतस्थळावरील उत्साही लोकांकडून आलेल्या, आणि लोक तेच रेटिंग करतात जे त्यांनी पाहायचे निवडले. लेखक सुचवतात की एक यादृच्छिक प्रयोग, विचारण्याने लोक प्रत्यक्ष अनुसरत असलेल्या शिफारशी खरोखर सुधारतात का, हे सांगेल. तोपर्यंत निष्कर्ष त्यांच्या शीर्षकात मांडल्याप्रमाणे उभा राहतो: तुमच्यासमोरच्या चित्रपटाबद्दल तुम्हाला असे काहीतरी ठाऊक असते, जे कोणत्याही रेटिंग-इतिहासाने नोंदवलेले नाही.
