الحوسبة والذكاء الاصطناعينسخة أوليةتحليل بياناتمدة القراءة: 3 د

أنت تعرف ما سيعجبك أفضل من الخوارزمية

تحدد أنظمة التوصية جزءًا كبيرًا مما يشاهده الناس ويقرؤونه ويشترونه؛ ففي Netflix، وفق ورقة بحثية من 2015 يستشهد بها المؤلفون، فإن نظام التوصية «يؤثر في الاختيار في نحو 80% من ساعات المشاهدة». ولكي تعمل المنصة، عليها أن تخمّن ما سيعجب كل شخص. ويمكنها أن تتعلم ذلك من السلوك — التقييمات، والنقرات، والعناوين التي أتممت مشاهدتها أنت وملايين غيرك — أو يمكنها ببساطة أن تسأل.

لكن السؤال مكلف. ففي MovieLens، وهو موقع لتقييم الأفلام، بقي 98.8% من 3.0 مليون سؤال بلا إجابة. والنظرية تقدم نصائح متضاربة. فأحد التقاليد، الذي يسميه المؤلفون رؤية الحشد (crowd view)، يقول إن الإحصاءات المبنية على كثير من الناس تتفوق على الحكم الفردي، وإن الناس لا يجيدون التنبؤ بمدى استمتاعهم. وتقول رؤية أخرى، هي رؤية المعرفة المشتتة (dispersed knowledge)، إن كلًّا منا يملك معلومات لا تسجلها أي قاعدة بيانات: لقد أحببت أعمال المخرج السابقة لكنك لم تقيّمها قط، والإعلان الترويجي لم يحرّك فيك شيئًا، وصديق تثق بذوقه لا يكفّ عن الحديث عن الفيلم.

سؤال على الصفحة الرئيسية

استخدم زيهان تشن (Zihan Chen) ودي تشو (Di Zhu) من معهد ستيفنز للتكنولوجيا، ولي نيكو تشنغ (Lei Nico Zheng) من جامعة ماساتشوستس بوسطن، مجموعة بيانات تجعل هذا الاختبار ممكنًا. فقد وضع MovieLens، وهو نظام توصية غير تجاري يديره مختبر GroupLens في جامعة مينيسوتا، سؤالًا على صفحته الرئيسية من مارس 2023 إلى مايو 2024. كان يعرض عنوان فيلم ويسأل الأعضاء عمّا إذا كانوا قد شاهدوه. وإن لم يكونوا قد شاهدوه: كم نجمة تظن أنك ستمنحه، من نصف نجمة إلى خمس نجوم؟

من بين 26,020 تخمينًا من هذا النوع، أعقب 551 منها — صادرة عن 277 عضوًا — تقييمٌ حقيقي بعد يوم على الأقل. وعلى هذه الأزواج تحديدًا، قارن الفريق التخمين بأربع آلات: تنبؤ نظام التوصية الخاص بـMovieLens، وخوارزميتي توصية كلاسيكيتين دُرّبتا على 33 مليون تقييم سابق وحُدّثتا بكل ما قيّمه العضو حتى لحظة التخمين، و«مكدّس» (stack) يجمع كل تنبؤات الآلات مع ما كانت المنصة تعرفه عن الفيلم والعضو.

البشر يفوزون

بلغ ارتباط تخمين العضو بالتقييم اللاحق 0.69. وبلغت الخوارزميات المدرَّبة 0.54 إلى 0.59؛ أما تنبؤ MovieLens نفسه فبلغ 0.34. وفي المتوسط، أخطأ التخمين التقييم اللاحق بمقدار 0.61 نجمة، مقابل 0.72 على الأقل لأي آلة. وكان أيضًا شبه خالٍ من الانحياز، في حين بالغ MovieLens في تقدير التقييم اللاحق بنصف نجمة.

ولا تقتصر الأفضلية على معرفة أي الأفلام جيدة أو مدى سخاء المرء في التقييم. فإذا أُزيلت الجاذبية المتوسطة للفيلم والسخاء المعتاد للعضو، يظل التخمين يتنبأ بما يتبقى — أي التوافق الشخصي بين هذا الشخص وهذا الفيلم — أفضل بكثير من الآلات (0.63 مقابل 0.47 على الأكثر).

وحين أُضيف التخمين إلى كل ما تعرفه الآلات، خفّض خطأ التنبؤ بنسبة 26%. ولم يصحّ العكس: فإضافة كل معلومات الآلات إلى التخمين لم تحقق أي مكسب قابل للرصد.

حيث تلحق الآلات بالركب

تبدو الصورة أكثر توازنًا فيما يخص الترتيب. فمن بين فيلمين قيّمهما العضو لاحقًا تقييمين مختلفين، وضعهما التخمين في الترتيب الصحيح في 72% من الحالات. وبلغ MovieLens نسبة 56% — ورمي قطعة نقود يحقق 50% — لكن الخوارزميات المدرَّبة بلغت 64 إلى 67%، وهو ما يراه المؤلفون غير قابل للتمييز إحصائيًا عن أداء الشخص.

وفي الأرض المألوفة، تؤدي الآلات بالقدر نفسه أو أفضل. فبالنسبة إلى أفلام كان الأعضاء قد قيّموها فعلًا قبل سنوات — أفلام أقدم، كثيفة التقييم، قيّمها أكثر مستخدمي الموقع نشاطًا — جارت الخوارزميات الشخصَ أو تفوقت عليه. وتبلغ أفضلية الشخص أقصاها حيث تشحّ البيانات: في الأفلام قليلة التقييم (0.65 مقابل 0.41 لإحدى الخوارزميات و0.13 لـMovieLens) وفي الأنواع السينمائية التي نادرًا ما يقيّمها العضو.

ما لا يفيد

يفشل اختصاران. فلا تغني تخمينات العضو السابقة عن أفلام أخرى، حتى لو رُجّحت بحسب مدى تشابه تلك الأفلام، عن تخمين جديد بشأن الفيلم المعني. وسؤال الناس عن مدى ثقتهم لا يضيف شيئًا يُذكر تقريبًا: فاليقين يشير في الغالب إلى الآراء المتطرفة، وتبيّن أن أكثر الأعضاء ثقة كانوا مفرطين في التفاؤل إلى حد ما.

وتحقّق المؤلفون أيضًا من أن الناس لم يكونوا يكتفون بنسخ التنبؤ المعروض على الموقع: إذ لم تتطابق تخميناتهم معه إلا بقدر ما تقتضيه الصدفة تقريبًا.

أربع قواعد للمنصات

من هذه النتائج يستخلص الفريق أربعة مبادئ للتصميم: اطلب التقييم المتوقع لعنصر بعينه؛ واسأل عن العناصر التي يُتخذ القرار بشأنها الآن؛ وقيّم أنظمة التوصية على أبرز المرشحين الذين تعيد ترتيبهم فعلًا، حيث لم يرتّب MovieLens ترتيبًا صحيحًا سوى 56% من الأزواج؛ وامنح أي خوارزمية كل ما تعرفه المنصة قبل مقارنتها بالبشر.

الحدود واضحة في البحث. فالأزواج الـ551 تمثل 2.1% من كل التخمينات، وهي صادرة عن متحمسين على موقع واحد، والناس يقيّمون ما اختاروا مشاهدته. ويقترح المؤلفون أن تجربةً عشوائية مضبوطة (randomised experiment) ستبيّن ما إذا كان السؤال يحسّن فعلًا التوصيات التي يتبعها الناس. وحتى ذلك الحين، تظل الخلاصة كما يصوغها عنوانهم: أنت تعرف عن الفيلم الذي أمامك شيئًا لم يسجله أي سجل تقييمات.