شما بهتر از الگوریتم میدانید چه چیزی را دوست خواهید داشت
سامانههای توصیهگر بخش بزرگی از آنچه مردم تماشا میکنند، میخوانند و میخرند را تعیین میکنند؛ به گفتهٔ مقالهای از سال 2015 که نویسندگان به آن استناد میکنند، در نتفلیکس سامانهٔ توصیهگر «بر انتخاب حدود 80% از ساعتهای پخششده اثر میگذارد». یک پلتفرم برای کار کردن باید حدس بزند هر فرد چه چیزی را دوست خواهد داشت. میتواند این را از رفتار بیاموزد — امتیازها، کلیکها، عنوانهایی که شما و میلیونها نفر دیگر تا آخر دیدهاید — یا میتواند بهسادگی بپرسد.
پرسیدن هزینه دارد. در MovieLens، یک سایت امتیازدهی به فیلم، 98.8% از 3.0 میلیون پرسش بیپاسخ ماند. و نظریه توصیههای متناقضی میدهد. یک سنت فکری، که نویسندگان آن را دیدگاه جمع (crowd view) مینامند، میگوید آمارهایی که از افراد بسیار ساخته میشوند بر داوری فردی برتری دارند، و مردم در پیشبینی لذت خودشان ضعیفاند. دیدگاه دیگر، دیدگاه دانش پراکنده (dispersed knowledge)، میگوید هر یک از ما اطلاعاتی دارد که هیچ پایگاه دادهای ثبت نمیکند: کارهای پیشین کارگردان را دوست داشتید اما هرگز به آنها امتیاز ندادید، تریلر شما را سرد گذاشت، دوستی که به سلیقهاش اعتماد دارید از حرف زدن دربارهٔ آن دست برنمیدارد.
پرسشی در صفحهٔ اصلی
زیهان چن و دی ژو (Zihan Chen و Di Zhu؛ مؤسسهٔ فناوری استیونز) و لی نیکو ژنگ (Lei Nico Zheng؛ دانشگاه ماساچوست بوستون) از مجموعهدادهای استفاده کردند که این آزمون را ممکن میسازد. MovieLens، یک سامانهٔ توصیهگر غیرتجاری که آزمایشگاه GroupLens در دانشگاه مینهسوتا آن را اداره میکند، از مارس 2023 تا مه 2024 پرسشی را در صفحهٔ اصلی خود قرار داد. این پرسش عنوان یک فیلم را نشان میداد و میپرسید که آیا عضو آن را دیده است. اگر نه: فکر میکنید چند ستاره به آن میدادید، از نیم ستاره تا پنج؟
از 26,020 حدس از این دست، 551 حدس — از 277 عضو — دستکم یک روز بعد با امتیازی واقعی دنبال شدند. تیم دقیقاً روی همین جفتها حدس را با چهار ماشین مقایسه کرد: پیشبینی سامانهٔ توصیهگر خود MovieLens، دو الگوریتم کلاسیک توصیه که روی 33 میلیون امتیاز پیشین آموزش دیده و با همهٔ امتیازهایی که عضو تا لحظهٔ حدس داده بود بهروز شده بودند، و یک «پشته» (stack) که همهٔ پیشبینیهای ماشینی را با آنچه پلتفرم دربارهٔ فیلم و عضو میدانست ترکیب میکرد.
آدمها برنده میشوند
همبستگی حدس عضو با امتیاز بعدی 0.69 بود. الگوریتمهای آموزشدیده به 0.54 تا 0.59 رسیدند؛ پیشبینی خود MovieLens به 0.34. بهطور میانگین، حدس 0.61 ستاره با امتیاز بعدی فاصله داشت، در برابر دستکم 0.72 برای هر ماشین. حدس همچنین تقریباً بدون سوگیری بود، در حالی که MovieLens امتیاز بعدی را نیم ستاره بیش از واقع برآورد میکرد.
این برتری صرفاً دانستن اینکه کدام فیلمها خوباند یا هر کس چقدر دستودلبازانه امتیاز میدهد نیست. جذابیت میانگین فیلم و دستودلبازی معمول عضو را کنار بگذارید، و حدس همچنان آنچه را باقی میماند — تناسب شخصی میان این فرد و این فیلم — بسیار بهتر از ماشینها پیشبینی میکند (0.63 در برابر حداکثر 0.47).
حدس، وقتی به همهٔ آنچه ماشینها میدانستند افزوده شد، خطای پیشبینی را 26% کاهش داد. عکس آن درست نبود: افزودن همهٔ اطلاعات ماشینی به حدس هیچ بهبود قابلتشخیصی به همراه نداشت.
جایی که ماشینها به پای آدمها میرسند
تصویر در مورد ترتیببندی متوازنتر است. از میان دو فیلمی که عضو بعداً امتیاز متفاوتی به آنها داد، حدس در 72% موارد آنها را به ترتیب درست قرار داد. MovieLens به 56% رسید — شیر یا خط 50% میگیرد — اما الگوریتمهای آموزشدیده به 64 تا 67% رسیدند، که به نظر نویسندگان از نظر آماری از عملکرد فرد قابلتمایز نیست.
و در زمین آشنا، ماشینها به همان خوبی یا بهتر عمل میکنند. برای فیلمهایی که اعضا در واقع سالها پیش به آنها امتیاز داده بودند — فیلمهای قدیمیتر و پرامتیاز، که پرکارترین کاربران سایت به آنها امتیاز داده بودند — الگوریتمها با فرد برابری کردند یا از او پیش افتادند. برتری فرد آنجا بیشترین است که دادهها کماند: برای فیلمهایی که امتیاز کمی گرفتهاند (0.65 در برابر 0.41 برای یکی از الگوریتمها و 0.13 برای MovieLens) و برای ژانرهایی که عضو بهندرت به آنها امتیاز میدهد.
آنچه کمکی نمیکند
دو میانبر شکست میخورند. حدسهای پیشین یک عضو دربارهٔ فیلمهای دیگر، حتی اگر بر اساس میزان شباهت آن فیلمها وزندهی شوند، جای حدسی تازه دربارهٔ فیلم مورد نظر را نمیگیرند. و پرسیدن اینکه مردم چقدر مطمئناند تقریباً چیزی نمیافزاید: اطمینان بیشتر نشاندهندهٔ نظرهای افراطی است، و مطمئنترین اعضا تا حدی بیش از اندازه خوشبین از آب درآمدند.
نویسندگان همچنین بررسی کردند که مردم صرفاً پیشبینی نمایشدادهشدهٔ سایت را رونویسی نمیکردند: حدسهایشان تقریباً به همان اندازه با آن منطبق بود که از تصادف انتظار میرفت.
چهار قاعده برای پلتفرمها
تیم از این نتایج چهار اصل طراحی بیرون میکشد: امتیاز مورد انتظار برای یک مورد مشخص را بپرسید؛ دربارهٔ مواردی بپرسید که اکنون دربارهٔ آنها تصمیم گرفته میشود؛ سامانههای توصیهگر را بر اساس نامزدهای برتری بسنجید که واقعاً دوباره رتبهبندیشان میکنند، جایی که MovieLens تنها 56% جفتها را درست مرتب کرد؛ و پیش از مقایسهٔ هر الگوریتم با مردم، همهٔ آنچه پلتفرم میداند را در اختیارش بگذارید.
محدودیتها در مقاله روشناند. 551 جفت 2.1% از کل حدسهاست، از علاقهمندان یک سایت واحد، و مردم به چیزی امتیاز میدهند که خودشان تماشایش را انتخاب کردهاند. به پیشنهاد نویسندگان، یک آزمایش تصادفیسازیشده نشان خواهد داد که آیا پرسیدن واقعاً توصیههایی را که مردم دنبال میکنند بهبود میبخشد. تا آن زمان، نتیجه همانگونه پابرجاست که عنوانشان میگوید: شما دربارهٔ فیلمی که پیش رویتان است چیزی میدانید که هیچ تاریخچهٔ امتیازی ثبت نکرده است.
