BẠN BIẾT MÌNH SẼ THÍCH GÌ RÕ HƠN THUẬT TOÁN
Các hệ thống gợi ý quyết định phần lớn những gì người ta xem, đọc và mua; ở Netflix, theo một bài báo năm 2015 mà các tác giả trích dẫn, hệ thống gợi ý “ảnh hưởng tới lựa chọn trong khoảng 80% số giờ phát trực tuyến”. Để hoạt động, một nền tảng phải đoán xem mỗi người sẽ thích gì. Nó có thể học điều đó từ hành vi — các điểm đánh giá, các cú nhấp chuột, các tựa đề được xem hết bởi bạn và bởi hàng triệu người khác — hoặc nó có thể đơn giản là hỏi.
Hỏi thì tốn kém. Trên MovieLens, một trang chấm điểm phim, 98,8% trong số 3,0 triệu câu hỏi không được trả lời. Và lý thuyết đưa ra những lời khuyên trái ngược nhau. Một truyền thống, mà các tác giả gọi là quan điểm đám đông (crowd view), cho rằng các số liệu thống kê xây dựng từ nhiều người vượt trội hơn phán đoán cá nhân, và rằng con người dự đoán kém về sự thích thú của chính mình. Một truyền thống khác, quan điểm về tri thức phân tán (dispersed knowledge), cho rằng mỗi chúng ta nắm giữ những thông tin mà không cơ sở dữ liệu nào ghi lại: bạn từng mê các tác phẩm trước của đạo diễn nhưng chưa bao giờ chấm điểm chúng, đoạn giới thiệu khiến bạn dửng dưng, một người bạn có gu đáng tin cứ nói mãi không thôi về bộ phim.
Một câu hỏi trên trang chủ
Zihan Chen và Di Zhu (Viện Công nghệ Stevens) cùng Lei Nico Zheng (Đại học Massachusetts Boston) đã dùng một bộ dữ liệu giúp phép thử này trở nên khả thi. MovieLens, một hệ thống gợi ý phi thương mại do phòng thí nghiệm GroupLens tại Đại học Minnesota vận hành, đã đặt một câu hỏi trên trang chủ của mình từ tháng 3 năm 2023 đến tháng 5 năm 2024. Câu hỏi hiển thị tên một bộ phim và hỏi thành viên đã xem phim đó chưa. Nếu chưa: bạn nghĩ mình sẽ chấm nó bao nhiêu sao, từ nửa sao đến năm sao?
Trong số 26.020 lần đoán như vậy, 551 — từ 277 thành viên — được theo sau bởi một điểm đánh giá thật ít nhất một ngày sau đó. Trên đúng những cặp này, nhóm nghiên cứu so sánh lần đoán với bốn cỗ máy: dự đoán của chính hệ thống gợi ý MovieLens, hai thuật toán gợi ý kinh điển được huấn luyện trên 33 triệu điểm đánh giá trước đó và được cập nhật với mọi thứ thành viên đã chấm cho tới thời điểm đoán, và một mô hình “xếp chồng” (stack) kết hợp mọi dự báo của máy với những gì nền tảng biết về bộ phim và về thành viên.
Con người thắng
Lần đoán của thành viên tương quan 0,69 với điểm đánh giá sau này. Các thuật toán được huấn luyện đạt từ 0,54 đến 0,59; dự đoán của chính MovieLens, 0,34. Trung bình, lần đoán lệch khỏi điểm đánh giá sau này 0,61 sao, so với ít nhất 0,72 đối với bất kỳ cỗ máy nào. Nó cũng gần như không thiên lệch, trong khi MovieLens đánh giá quá cao điểm sau này nửa sao.
Lợi thế không chỉ nằm ở việc biết phim nào hay hay một người chấm điểm hào phóng đến đâu. Loại bỏ mức hấp dẫn trung bình của bộ phim và độ hào phóng thường thấy của thành viên, lần đoán vẫn dự đoán phần còn lại — sự hợp nhau riêng giữa người này và bộ phim này — tốt hơn nhiều so với máy móc (0,63 so với tối đa 0,47).
Thêm vào mọi thứ máy móc đã biết, lần đoán giảm sai số dự đoán 26%. Điều ngược lại thì không đúng: thêm toàn bộ thông tin của máy vào lần đoán không mang lại lợi ích nào phát hiện được.
Nơi máy móc bắt kịp
Bức tranh cân bằng hơn đối với việc xếp thứ tự. Với hai bộ phim mà một thành viên sau này chấm điểm khác nhau, lần đoán đặt chúng đúng thứ tự trong 72% số trường hợp. MovieLens đạt 56% — tung đồng xu được 50% — nhưng các thuật toán được huấn luyện đạt từ 64 đến 67%, mức mà các tác giả thấy không khác biệt về mặt thống kê so với con người.
Và trên địa hình quen thuộc, máy móc làm tốt ngang hoặc tốt hơn. Với những bộ phim mà thành viên thực ra đã chấm điểm từ nhiều năm trước — những phim cũ hơn, được chấm nhiều, bởi những người dùng tích cực nhất của trang — các thuật toán ngang bằng hoặc vượt con người. Lợi thế của con người lớn nhất ở nơi dữ liệu thưa thớt: với những phim ít được chấm (0,65 so với 0,41 của một thuật toán và 0,13 của MovieLens) và với những thể loại mà thành viên hiếm khi chấm.
Những gì không giúp ích
Hai lối tắt thất bại. Những lần đoán trước đó của một thành viên về các bộ phim khác, kể cả khi được gán trọng số theo mức độ giống nhau của các phim đó, không thay thế được một lần đoán mới về bộ phim đang xét. Và hỏi xem người ta chắc chắn đến đâu hầu như không thêm được gì: sự chắc chắn chủ yếu báo hiệu những ý kiến cực đoan, và những thành viên chắc chắn nhất hóa ra lại hơi lạc quan quá mức.
Các tác giả cũng đã kiểm tra rằng người ta không đơn giản là chép lại dự đoán mà trang hiển thị: các lần đoán của họ trùng với nó chỉ thường xuyên ngang mức ngẫu nhiên.
Bốn quy tắc cho các nền tảng
Từ những kết quả này, nhóm rút ra bốn nguyên tắc thiết kế: hỏi điểm đánh giá dự kiến cho một mục cụ thể; hỏi về những mục đang được quyết định lúc này; đánh giá các hệ thống gợi ý trên những ứng viên hàng đầu mà chúng thực sự xếp lại thứ tự, nơi MovieLens chỉ xếp đúng 56% số cặp; và cung cấp cho bất kỳ thuật toán nào mọi thứ nền tảng biết trước khi so sánh nó với con người.
Các giới hạn được nêu rõ trong bài báo. 551 cặp chỉ là 2,1% tổng số lần đoán, từ những người say mê trên một trang duy nhất, và người ta chấm điểm những gì họ đã chọn để xem. Các tác giả gợi ý rằng một thí nghiệm ngẫu nhiên hóa sẽ cho biết liệu việc hỏi có thực sự cải thiện những gợi ý mà người ta làm theo hay không. Cho đến lúc đó, kết luận vẫn đứng vững như tiêu đề của họ nói: bạn biết một điều gì đó về bộ phim trước mặt mà không lịch sử chấm điểm nào ghi lại được.
