कंप्यूटिंग और एआईप्रीप्रिंटडेटा विश्लेषणपढ़ने में 5 मिनट

आपको क्या पसंद आएगा, यह आप एल्गोरिदम से बेहतर जानते हैं

अनुशंसा प्रणालियाँ (recommender systems) काफ़ी हद तक तय करती हैं कि लोग क्या देखते, पढ़ते और ख़रीदते हैं; लेखकों द्वारा उद्धृत 2015 के एक शोधपत्र के अनुसार, Netflix पर अनुशंसा प्रणाली “स्ट्रीम किए गए लगभग 80% घंटों के चुनाव को प्रभावित करती है”। काम करने के लिए, किसी प्लेटफ़ॉर्म को अंदाज़ा लगाना पड़ता है कि हर व्यक्ति को क्या पसंद आएगा। वह इसे व्यवहार से सीख सकता है — आपकी और लाखों दूसरे लोगों की दी गई रेटिंग, किए गए क्लिक, पूरे देखे गए शीर्षक — या वह बस पूछ सकता है।

पूछना महँगा पड़ता है। फ़िल्मों को रेटिंग देने की वेबसाइट MovieLens पर 3.0 मिलियन सवालों में से 98.8% का कोई जवाब नहीं आया। और सिद्धांत परस्पर विरोधी सलाह देता है। एक परंपरा, जिसे लेखकों ने भीड़ का दृष्टिकोण (crowd view) नाम दिया है, कहती है कि बहुत से लोगों से बनाए गए आँकड़े व्यक्तिगत निर्णय से बेहतर होते हैं, और लोग अपने आनंद का अनुमान लगाने में कमज़ोर होते हैं। दूसरी परंपरा, यानी बिखरे हुए ज्ञान (dispersed knowledge) का दृष्टिकोण, कहती है कि हम में से हर एक के पास ऐसी जानकारी होती है जिसे कोई डेटाबेस दर्ज नहीं करता: आपको निर्देशक का पिछला काम बहुत पसंद आया था पर आपने उसे कभी रेटिंग नहीं दी, ट्रेलर ने आप पर कोई असर नहीं छोड़ा, जिसकी पसंद पर आपको भरोसा है ऐसे किसी मित्र की ज़ुबान पर बस इसी की चर्चा है।

होमपेज पर एक सवाल

स्टीवंस इंस्टीट्यूट ऑफ़ टेक्नोलॉजी (Stevens Institute of Technology) के ज़िहान चेन (Zihan Chen) और डी झू (Di Zhu) तथा यूनिवर्सिटी ऑफ़ मैसाचुसेट्स बॉस्टन (University of Massachusetts Boston) के लेई निको झेंग (Lei Nico Zheng) ने एक ऐसे डेटासेट का इस्तेमाल किया जो यह परीक्षण संभव बनाता है। मिनेसोटा विश्वविद्यालय (University of Minnesota) की GroupLens प्रयोगशाला द्वारा चलाई जाने वाली एक गैर-व्यावसायिक अनुशंसा सेवा, MovieLens, ने मार्च 2023 से मई 2024 तक अपने होमपेज पर एक सवाल रखा। उसमें एक फ़िल्म का नाम दिखाया जाता था और पूछा जाता था कि क्या सदस्य ने उसे देखा है। अगर नहीं: आपको क्या लगता है, आप उसे आधे सितारे से पाँच तक, कितने सितारे देंगे?

ऐसे 26,020 अनुमानों में से 551 अनुमानों के बाद — जो 277 सदस्यों के थे — कम से कम एक दिन बाद असली रेटिंग आई। ठीक इन्हीं जोड़ों पर, टीम ने अनुमान की तुलना चार मशीनों से की: MovieLens की अपनी अनुशंसा प्रणाली का पूर्वानुमान, दो क्लासिक अनुशंसा एल्गोरिदम जिन्हें 33 मिलियन पुरानी रेटिंग पर प्रशिक्षित किया गया था और अनुमान के क्षण तक सदस्य की दी गई हर रेटिंग से अद्यतन किया गया था, और एक “स्टैक” (stack) जो हर मशीनी पूर्वानुमान को फ़िल्म और सदस्य के बारे में प्लेटफ़ॉर्म की जानकारी के साथ जोड़ता था।

लोग जीतते हैं

सदस्य के अनुमान का बाद की रेटिंग के साथ सहसंबंध 0.69 था। प्रशिक्षित एल्गोरिदम 0.54 से 0.59 तक पहुँचे; MovieLens का अपना पूर्वानुमान 0.34 तक। औसतन, अनुमान और बाद की रेटिंग के बीच 0.61 सितारे का अंतर था, जबकि किसी भी मशीन के लिए यह कम से कम 0.72 था। अनुमान लगभग पूर्वाग्रह-रहित (unbiased) भी था, जबकि MovieLens ने बाद की रेटिंग को आधा सितारा ज़्यादा आँका।

यह बढ़त सिर्फ़ यह जानने की नहीं है कि कौन-सी फ़िल्में अच्छी हैं या कोई कितनी उदारता से रेटिंग देता है। फ़िल्म का औसत आकर्षण और सदस्य की आम उदारता हटा दीजिए, तब भी अनुमान बचे हुए हिस्से का — इस व्यक्ति और इस फ़िल्म के बीच के निजी मेल का — मशीनों से कहीं बेहतर पूर्वानुमान करता है (0.63, जबकि मशीनों का अधिकतम 0.47)।

मशीनों को जो कुछ पता था, उसमें जोड़ने पर अनुमान ने पूर्वानुमान की त्रुटि 26% घटा दी। उलटा सच नहीं था: अनुमान में सारी मशीनी जानकारी जोड़ने से कोई पता लगाने योग्य लाभ नहीं हुआ।

जहाँ मशीनें बराबरी पर आ जाती हैं

क्रम (ordering) के मामले में तस्वीर ज़्यादा संतुलित है। ऐसी दो फ़िल्में दी जाने पर जिन्हें सदस्य ने बाद में अलग-अलग रेटिंग दी, अनुमान ने 72% बार उन्हें सही क्रम में रखा। MovieLens 56% तक पहुँचा — सिक्का उछालने से 50% आता है — लेकिन प्रशिक्षित एल्गोरिदम 64 से 67% तक पहुँचे, जिसे लेखकों ने सांख्यिकीय रूप से व्यक्ति के बराबर (statistically indistinguishable) पाया।

और जानी-पहचानी ज़मीन पर, मशीनें उतना ही अच्छा या बेहतर करती हैं। उन फ़िल्मों के लिए जिन्हें सदस्यों ने वास्तव में बरसों पहले रेटिंग दी थी — पुरानी, भारी संख्या में रेटिंग पाई फ़िल्में, जिन्हें साइट के सबसे ज़्यादा रेटिंग देने वाले उपयोगकर्ताओं ने रेटिंग दी — एल्गोरिदम व्यक्ति के बराबर रहे या उससे आगे निकल गए। व्यक्ति की बढ़त वहाँ सबसे ज़्यादा है जहाँ आँकड़े कम हैं: कम रेटिंग वाली फ़िल्मों के लिए (0.65, जबकि एक एल्गोरिदम के लिए 0.41 और MovieLens के लिए 0.13) और उन विधाओं (genres) के लिए जिनमें सदस्य की रेटिंग बहुत कम होती है।

क्या मदद नहीं करता

दो शॉर्टकट नाकाम रहते हैं। दूसरी फ़िल्मों के बारे में किसी सदस्य के पहले के अनुमान, उन फ़िल्मों की समानता के हिसाब से भार देने पर भी, सामने वाली फ़िल्म के बारे में एक ताज़ा अनुमान की जगह नहीं ले पाते। और लोगों से यह पूछना कि उन्हें कितना यक़ीन है, लगभग कुछ नहीं जोड़ता: निश्चितता ज़्यादातर चरम राय की ओर इशारा करती है, और जिन सदस्यों को सबसे ज़्यादा यक़ीन था, उनमें कुछ हद तक ज़रूरत से ज़्यादा आशावाद पाया गया।

लेखकों ने यह भी जाँचा कि कहीं अनुमान साइट पर दिखाए गए पूर्वानुमान की बस नक़ल तो नहीं थे: वे उससे लगभग उतनी ही बार मेल खाते थे जितना संयोग से होता।

प्लेटफ़ॉर्म के लिए चार नियम

इन नतीजों से टीम डिज़ाइन के चार सिद्धांत निकालती है: किसी विशिष्ट वस्तु की अपेक्षित रेटिंग पूछें; उन वस्तुओं के बारे में पूछें जिन पर अभी निर्णय लिया जा रहा है; अनुशंसा प्रणालियों को उन शीर्ष उम्मीदवारों पर परखें जिन्हें वे वास्तव में फिर से क्रमित (re-rank) करती हैं, जहाँ MovieLens ने केवल 56% जोड़ों को सही क्रम में रखा; और किसी भी एल्गोरिदम की लोगों से तुलना करने से पहले उसे वह सब कुछ दें जो प्लेटफ़ॉर्म जानता है।

सीमाएँ शोधपत्र में स्पष्ट हैं। 551 जोड़े सभी अनुमानों का 2.1% हैं, एक ही साइट के उत्साही लोगों से आए हैं, और लोग उन्हीं चीज़ों को रेटिंग देते हैं जिन्हें उन्होंने देखना चुना। लेखकों का सुझाव है कि एक यादृच्छिक प्रयोग (randomised experiment) बताएगा कि पूछने से वास्तव में वे अनुशंसाएँ बेहतर होती हैं या नहीं जिन्हें लोग अपनाते हैं। तब तक निष्कर्ष वैसा ही है जैसा उनका शीर्षक कहता है: आपके सामने वाली फ़िल्म के बारे में आप कुछ ऐसा जानते हैं जो किसी रेटिंग इतिहास ने दर्ज नहीं किया है।