HỎI XIN NGƯỜI CHƠI ĐÁNH GIÁ, VÀ ĐIỂM SỐ BỖNG LẶNG TIẾNG

Điểm đánh giá trực tuyến định hướng những gì chúng ta mua, những ứng dụng chúng ta cài đặt và những trò chơi chúng ta chơi. Nhưng chúng được tạo nên từ số ít khách hàng chịu khó viết: phần lớn mọi người chẳng bao giờ đánh giá thứ gì. Cách khắc phục thông thường là hỏi. Ngày 30 tháng 10 năm 2019, Valve ra mắt một thư viện mới cho cửa hàng trò chơi Steam của mình, trong đó phần mềm hỏi người chơi xem họ có muốn đánh giá một trò chơi vừa chơi gần đây hay không. Trên toàn cửa hàng, số đánh giá tăng từ khoảng 17.000 mỗi ngày lên khoảng 70.000.

Việc hỏi đã làm điểm đánh giá tốt hơn hay tệ hơn? Các lý thuyết không thống nhất. Nhiều người đánh giá hơn lẽ ra phải đồng nghĩa với ít nhiễu hơn. Nhưng những người tự viết mà không cần được nhắc thường làm vậy vì có điều gì đó khiến họ bất ngờ — và một đánh giá được nhắc có thể mang ít tin tức kiểu đó hơn. Và khi điểm số dồn về phía đỉnh, chúng có thể đơn giản là nói lên được ít điều hơn.

Điều một điểm đánh giá biết, và điều nó thể hiện

Zihan Chen và Di Zhu, tại Viện Công nghệ Stevens, cùng Lei Nico Zheng, tại Đại học Massachusetts Boston, đã mượn một công cụ từ lâu được dùng để nghiên cứu phán đoán của con người và các xét nghiệm chẩn đoán: lý thuyết phát hiện tín hiệu (signal detection theory). Nó tách biệt hai thứ. Độ nhạy (sensitivity) là mức độ một hệ thống phân biệt được một thay đổi thật với nhiễu thông thường — điều một điểm đánh giá biết. Ngưỡng quyết định (criterion) là lượng bằng chứng nó cần trước khi phản ứng — điều nó thể hiện. Một điểm số có thể dịch chuyển ít hơn vì nó biết ít hơn, hoặc vì thang đo của nó đã bị nén về phía trần trong khi phần hiển thị vẫn chờ cùng một bước nhảy như cũ.

Cái trần quan trọng vì một điểm đánh giá là tỷ lệ đánh giá tích cực trên tổng số đánh giá: cùng một sự dịch chuyển trong cán cân giữa lời khen và lời phàn nàn làm điểm 95% thay đổi ít hơn nhiều so với điểm 60%.

Một ngưỡng kích hoạt ba giờ

Steam là một phép thử lý tưởng. Mỗi đánh giá công khai đều cho thấy tác giả của nó đã chơi bao lâu khi viết, và lời nhắc của Valve được kích hoạt theo thời gian chơi. Valve không công bố ngưỡng kích hoạt, nên các tác giả đã tìm ra nó trong dữ liệu: 180 phút. Sau khi ra mắt, có 11.163 đánh giá được viết ở đúng 180 phút chơi so với 2.316 ở phút 179; trước đó, hai phút này có 3.390 và 3.255.

Sử dụng 21,6 triệu đánh giá của 315 trò chơi phổ biến, do một người sưu tầm độc lập thu thập và đăng tải trực tuyến, họ so sánh các đánh giá ngay trên và ngay dưới mốc ba giờ, trước và sau khi ra mắt. Ngay sau mốc ba giờ, số đánh giá nhiều gấp 4,25 lần so với ngay dưới mốc, và bước nhảy trong tỷ lệ đánh giá tích cực tăng thêm 6,6 điểm. Các đánh giá được bổ sung có khoảng 96% là tích cực, so với 86% ngay dưới ngưỡng, và ngắn: 71% trong số đó dưới 50 ký tự.

Thứ hạng giữ vững, báo động mờ dần

Đối với việc lựa chọn giữa các trò chơi, ban đầu gần như không có gì thay đổi. Khi giữ số đánh giá mỗi trò chơi bằng nhau, mức độ đồng thuận của điểm số với giới phê bình vẫn giữ nguyên: hệ số tương quan thứ hạng với Metacritic là 0,42 trước và 0,41 sau, trên hơn một nghìn trò chơi.

Nhận ra rằng một trò chơi đã thay đổi lại là chuyện khác. Các tác giả dùng những đánh giá được viết trong hai giờ chơi đầu tiên làm tín hiệu tham chiếu, và đo xem bao nhiêu phần biến động hằng tháng của tín hiệu đó xuất hiện trong các nhóm đánh giá khác. Ngay trên ngưỡng, phần đó giảm từ 0,73 xuống 0,18; ngay dưới ngưỡng, chỉ từ 0,81 xuống 0,64. Sự đứt gãy xuất hiện ở mốc ba giờ và vào ngày ra mắt, và không ở đâu khác.

Các nhãn mà Steam hiển thị cũng lặng đi. Một bậc xếp hạng với các ranh giới cố định của cửa hàng đã tụt hạng trong 42% số tháng xấu ngay trên ngưỡng trước khi ra mắt, và chỉ trong 12% sau đó; ngay dưới ngưỡng, con số đi từ 47% xuống 41%. Trên một bản tái dựng điểm 30 ngày công khai, nhãn đã tụt trong 38% số tháng xấu trước và 9% sau — với số báo động giả cũng giảm theo.

Ít báo động hơn, chứ không phải ít hiểu biết hơn

Ở đây hai khái niệm tách khỏi nhau. Mỗi đánh giá bổ sung phản ứng với một tháng xấu khoảng một nửa so với một đánh giá tự nguyện. Nhưng chúng nhiều đến mức, ở những khối lượng thực tế quan sát được, dòng đánh giá trên ngưỡng không mất đi lượng thông tin nào có thể phát hiện được so với dòng dưới ngưỡng: chênh lệch là −0,03, với khoảng ước lượng từ −0,13 đến 0,06. Điểm đánh giá biết gần như nhiều như trước; nó thể hiện ít hơn, vì thang đo đã bị nén còn các nhãn thì không dịch chuyển.

Một số tin xấu vẫn lọt qua. Những sự cố mà nhà phát triển đã thừa nhận trong chính các thông báo của họ — gián đoạn dịch vụ, quay lui phiên bản, mất tiến trình chơi — chủ yếu kéo theo lời phàn nàn, và lời phàn nàn bị thổi phồng ít hơn lời khen. Tại những sự cố ấy, điểm tổng thể giảm 2,9 điểm sau khi ra mắt, so với 1,0 trước đó.

Các tác giả cũng kiểm tra mô hình của họ tại các lời nhắc sau đó của Steam, ở mốc 10 và 30 giờ, vốn bổ sung ít đánh giá hơn nhiều: ở đó mô hình dự đoán gần như không có đứt gãy nào, và quả thật không có đứt gãy nào xuất hiện.

Đọc điểm số theo cách khác

Nghiên cứu chỉ bao gồm một nền tảng, các trò chơi phổ biến và dữ liệu dừng ở tháng 1 năm 2021, và lời nhắc cũng như các đánh giá bổ sung được suy luận ra chứ không được đánh dấu. Lời khuyên của nó là về cách đọc, không phải về việc hỏi ít hơn: các nền tảng kêu gọi đánh giá nên dự liệu rằng các nhãn cố định sẽ im bặt, đánh giá một cách hiển thị dựa trên tần suất nó bắt được vấn đề thật so với tần suất nó báo động nhầm, và hiệu chỉnh lại. Các quy tắc kinh nghiệm cũ không còn áp dụng được — một mức giảm năm điểm từng báo hiệu rắc rối nay đã trở nên hiếm trong bất kỳ tháng nào.