Komputasi & AIPracetakAnalisis data4 menit baca

ANDA TAHU APA YANG AKAN ANDA SUKAI, LEBIH BAIK DARIPADA ALGORITMA

Sistem rekomendasi (recommender system) menentukan sebagian besar apa yang ditonton, dibaca, dan dibeli orang; di Netflix, menurut sebuah makalah tahun 2015 yang dikutip para penulis, sistem rekomendasi “memengaruhi pilihan untuk sekitar 80% jam tayang streaming”. Agar bisa bekerja, sebuah platform harus menebak apa yang akan disukai setiap orang. Platform dapat mempelajarinya dari perilaku — rating, klik, judul yang ditonton sampai habis oleh Anda dan oleh jutaan orang lain — atau ia cukup bertanya.

Bertanya itu mahal. Di MovieLens, sebuah situs pemberian rating film, 98,8% dari 3,0 juta pertanyaan tidak dijawab. Dan teori memberi saran yang bertentangan. Satu tradisi, yang oleh para penulis disebut pandangan kerumunan (crowd view), menyatakan bahwa statistik yang dibangun dari banyak orang mengalahkan penilaian individu, dan bahwa orang buruk dalam memprediksi seberapa besar mereka sendiri akan menikmati sesuatu. Tradisi lain, pandangan pengetahuan yang tersebar (dispersed knowledge), menyatakan bahwa masing-masing dari kita memegang informasi yang tidak tercatat di basis data mana pun: Anda menyukai karya-karya sutradara itu sebelumnya tetapi tidak pernah memberinya rating, trailernya tidak menggugah Anda, seorang teman yang seleranya Anda percayai tak henti-hentinya membicarakan film itu.

Sebuah pertanyaan di halaman beranda

Zihan Chen dan Di Zhu (Stevens Institute of Technology) serta Lei Nico Zheng (University of Massachusetts Boston) menggunakan sebuah dataset yang memungkinkan pengujian ini. MovieLens, sistem rekomendasi nonkomersial yang dijalankan oleh laboratorium GroupLens di University of Minnesota, memasang sebuah pertanyaan di halaman berandanya dari Maret 2023 hingga Mei 2024. Pertanyaan itu menampilkan judul sebuah film dan menanyakan apakah sang anggota sudah menontonnya. Jika belum: menurut Anda, berapa bintang yang akan Anda berikan, dari setengah bintang hingga lima?

Dari 26.020 tebakan semacam itu, 551 — dari 277 anggota — diikuti oleh rating sungguhan setidaknya sehari kemudian. Tepat pada pasangan-pasangan ini, tim tersebut membandingkan tebakan itu dengan empat mesin: prediksi sistem rekomendasi MovieLens sendiri, dua algoritma rekomendasi klasik yang dilatih pada 33 juta rating sebelumnya dan diperbarui dengan semua yang telah dirating anggota itu hingga saat tebakan dibuat, serta sebuah “tumpukan” (stack) yang menggabungkan setiap prakiraan mesin dengan apa yang diketahui platform tentang film dan anggota tersebut.

Manusia menang

Tebakan sang anggota berkorelasi 0,69 dengan rating yang diberikan kemudian. Algoritma yang dilatih mencapai 0,54 hingga 0,59; prediksi MovieLens sendiri, 0,34. Rata-rata, tebakan meleset dari rating kemudian sebesar 0,61 bintang, dibandingkan setidaknya 0,72 untuk mesin mana pun. Tebakan itu juga hampir tidak bias, sementara MovieLens melebih-lebihkan rating kemudian sebesar setengah bintang.

Keunggulan itu bukan sekadar soal mengetahui film mana yang bagus atau seberapa murah hati seseorang memberi rating. Singkirkan daya tarik rata-rata film itu dan kemurahan hati yang biasa dari sang anggota, dan tebakan itu tetap memprediksi apa yang tersisa — kecocokan personal antara orang ini dan film ini — jauh lebih baik daripada mesin (0,63 dibandingkan paling tinggi 0,47).

Ditambahkan ke semua yang diketahui mesin, tebakan itu memangkas galat prediksi sebesar 26%. Kebalikannya tidak berlaku: menambahkan semua informasi mesin ke tebakan itu tidak membawa peningkatan yang dapat terdeteksi.

Di mana mesin menyusul

Gambarannya lebih seimbang untuk pengurutan. Jika diberi dua film yang kemudian dirating berbeda oleh seorang anggota, tebakan menempatkan keduanya dalam urutan yang benar pada 72% kasus. MovieLens mencapai 56% — lemparan koin mendapat 50% — tetapi algoritma yang dilatih mencapai 64 hingga 67%, yang menurut para penulis secara statistik tidak dapat dibedakan dari orang itu.

Dan di wilayah yang sudah dikenal, mesin bekerja sama baiknya atau lebih baik. Untuk film yang sebenarnya telah dirating para anggota bertahun-tahun sebelumnya — film-film lama yang banyak dirating, dirating oleh pengguna paling aktif situs itu — algoritma menyamai atau mengalahkan orang itu. Keunggulan orang itu paling besar ketika data tipis: untuk film yang jarang dirating (0,65 dibandingkan 0,41 untuk satu algoritma dan 0,13 untuk MovieLens) dan untuk genre yang jarang dirating oleh anggota itu.

Apa yang tidak membantu

Dua jalan pintas gagal. Tebakan-tebakan sebelumnya dari seorang anggota tentang film lain, bahkan bila diberi bobot menurut kemiripan film-film itu, tidak dapat menggantikan tebakan baru tentang film yang sedang dihadapi. Dan menanyakan seberapa yakin orang hampir tidak menambahkan apa pun: keyakinan terutama menandai pendapat yang ekstrem, dan anggota yang paling yakin ternyata agak terlalu optimistis.

Para penulis juga memeriksa bahwa orang tidak sekadar menyalin prediksi yang ditampilkan situs: tebakan mereka cocok dengan prediksi itu kira-kira sesering yang akan terjadi secara kebetulan.

Empat aturan bagi platform

Dari hasil-hasil ini tim tersebut menarik empat prinsip desain: tanyakan rating yang diharapkan untuk satu item tertentu; tanyakan tentang item yang sedang diputuskan saat ini; nilailah sistem rekomendasi berdasarkan kandidat teratas yang benar-benar mereka urutkan ulang, tempat MovieLens hanya mengurutkan 56% pasangan dengan benar; dan berikan kepada algoritma mana pun semua yang diketahui platform sebelum membandingkannya dengan manusia.

Batasan-batasannya dinyatakan dengan jelas dalam makalah. Ke-551 pasangan itu hanya 2,1% dari semua tebakan, berasal dari para penggemar di satu situs saja, dan orang memberi rating pada apa yang mereka pilih untuk ditonton. Sebuah eksperimen teracak, menurut saran para penulis, akan menunjukkan apakah bertanya benar-benar memperbaiki rekomendasi yang diikuti orang. Sampai saat itu, kesimpulannya tetap seperti yang dinyatakan judul mereka: Anda mengetahui sesuatu tentang film di hadapan Anda yang tidak tercatat dalam riwayat rating mana pun.