MINTA PEMAIN MENULIS ULASAN, DAN SKORNYA PUN MEMBISU

Rating daring mengarahkan apa yang kita beli, aplikasi apa yang kita pasang, dan game apa yang kita mainkan. Tetapi rating itu dibangun dari segelintir pelanggan yang mau repot menulis: kebanyakan orang tidak pernah mengulas apa pun. Solusi bakunya adalah bertanya. Pada 30 Oktober 2019, Valve merilis pustaka (library) baru untuk toko game Steam miliknya, yang di dalamnya perangkat lunak itu menanyai pemain apakah mereka ingin mengulas game yang baru-baru ini mereka mainkan. Di seluruh toko, ulasan naik dari sekitar 17.000 per hari menjadi sekitar 70.000.

Apakah bertanya membuat rating menjadi lebih baik atau lebih buruk? Teori-teori tidak sepakat. Lebih banyak pengulas semestinya berarti lebih sedikit derau (noise). Tetapi orang yang menulis tanpa diminta sering melakukannya karena ada sesuatu yang mengejutkan mereka — dan ulasan yang diminta mungkin membawa lebih sedikit kabar semacam itu. Dan ketika skor berdesakan di bagian atas, skor itu mungkin sekadar menyampaikan lebih sedikit hal.

Apa yang diketahui sebuah rating, dan apa yang ditunjukkannya

Zihan Chen dan Di Zhu, di Stevens Institute of Technology, serta Lei Nico Zheng, di University of Massachusetts Boston, meminjam alat yang sudah lama dipakai untuk mempelajari penilaian manusia dan tes diagnostik: teori deteksi sinyal. Teori ini memisahkan dua hal. Sensitivitas adalah seberapa baik sebuah sistem dapat membedakan perubahan nyata dari derau biasa — apa yang diketahui sebuah rating. Kriteria adalah seberapa banyak bukti yang dibutuhkannya sebelum bereaksi — apa yang ditunjukkannya. Sebuah skor dapat bergerak lebih sedikit karena ia mengetahui lebih sedikit, atau karena skalanya terhimpit ke arah batas atas sementara tampilannya masih menunggu lonjakan yang sama.

Batas atas itu penting karena sebuah rating adalah proporsi ulasan positif di antara semua ulasan: pergeseran yang sama dalam keseimbangan antara pujian dan keluhan menggerakkan skor 95% jauh lebih sedikit daripada skor 60%.

Pemicu tiga jam

Steam adalah tempat uji yang ideal. Setiap ulasan publik menunjukkan berapa lama penulisnya telah bermain saat menulisnya, dan permintaan dari Valve dipicu oleh waktu bermain. Valve tidak memublikasikan pemicunya, sehingga para penulis menemukannya dari data: 180 menit. Setelah peluncuran, 11.163 ulasan ditulis tepat pada 180 menit waktu bermain, dibandingkan 2.316 pada 179; sebelumnya, kedua menit itu mencatat 3.390 dan 3.255.

Dengan 21,6 juta ulasan dari 315 game populer, yang dihimpun oleh seorang pengumpul independen dan dipublikasikan secara daring, mereka membandingkan ulasan tepat di atas dan tepat di bawah tiga jam, sebelum dan sesudah peluncuran. Tepat setelah tiga jam, ulasan menjadi 4,25 kali lebih banyak daripada tepat di bawahnya, dan lonjakan pada proporsi ulasan positif bertambah 6,6 poin. Ulasan tambahan itu sekitar 96% positif, dibandingkan 86% tepat di bawah ambang, dan pendek: 71% di antaranya kurang dari 50 karakter.

Urutan bertahan, alarm memudar

Untuk memilih di antara game, pada awalnya hanya sedikit yang berubah. Dengan jumlah ulasan per game disamakan, kesesuaian skor dengan kritikus tetap bertahan: korelasi peringkat dengan Metacritic sebesar 0,42 sebelum dan 0,41 sesudah, pada lebih dari seribu game.

Menyadari bahwa sebuah game telah berubah adalah cerita lain. Para penulis menggunakan ulasan yang ditulis dalam dua jam pertama bermain sebagai sinyal acuan, dan mengukur seberapa besar gerakan bulanannya muncul dalam kelompok-kelompok ulasan lain. Tepat di atas ambang, proporsi itu turun dari 0,73 menjadi 0,18; tepat di bawahnya, hanya dari 0,81 menjadi 0,64. Patahan itu muncul pada tiga jam dan pada tanggal peluncuran, dan tidak di tempat lain.

Label yang ditampilkan Steam juga ikut membisu. Sebuah tingkat rating dengan batas-batas tetap milik toko itu turun pada 42% bulan buruk tepat di atas ambang sebelum peluncuran, dan hanya pada 12% sesudahnya; tepat di bawah ambang, dari 47% menjadi 41%. Pada rekonstruksi skor publik 30 hari, label itu turun pada 38% bulan buruk sebelumnya dan 9% sesudahnya — dengan alarm palsu yang ikut berkurang.

Lebih sedikit alarm, bukan lebih sedikit pengetahuan

Di sinilah kedua gagasan itu berpisah jalan. Setiap ulasan tambahan merespons bulan yang buruk kira-kira separuh sekuat ulasan sukarela. Tetapi jumlahnya begitu banyak sehingga, pada volume yang benar-benar teramati, aliran ulasan di atas ambang tidak kehilangan informasi yang dapat terdeteksi dibandingkan aliran di bawahnya: selisih −0,03, dengan interval dari −0,13 hingga 0,06. Rating itu tahu hampir sama banyaknya; ia menunjukkannya lebih sedikit, karena skalanya telah terkompresi dan labelnya tidak bergeser.

Sebagian kabar buruk masih lolos. Kegagalan yang diakui pengembang dalam pengumuman mereka sendiri — gangguan layanan, rollback, progres yang hilang — kebanyakan mendatangkan keluhan, dan keluhan menggelembung lebih sedikit daripada pujian. Pada kegagalan-kegagalan itu, skor keseluruhan turun 2,9 poin setelah peluncuran, dibandingkan 1,0 sebelumnya.

Para penulis juga memeriksa model mereka pada permintaan Steam berikutnya, pada 10 dan 30 jam, yang menambahkan jauh lebih sedikit ulasan: di sana model itu memprediksi hampir tidak ada patahan, dan memang tidak ada yang muncul.

Bacalah skor dengan cara berbeda

Studi ini mencakup satu platform, game-game populer, dan data yang berhenti pada Januari 2021, dan permintaan ulasan maupun ulasan tambahan itu disimpulkan, bukan ditandai. Sarannya menyangkut cara membaca, bukan agar lebih jarang bertanya: platform yang meminta ulasan semestinya memperkirakan bahwa label tetap akan membisu, menilai sebuah tampilan dari seberapa sering ia menangkap masalah nyata dibandingkan seberapa sering ia membunyikan alarm palsu, dan mengkalibrasi ulang. Patokan lama tidak lagi berlaku — penurunan lima poin yang dulu menandakan masalah kini menjadi langka di bulan mana pun.