OYUNCULARDAN İNCELEME İSTEYİN, PUAN SESSİZLEŞSİN

Çevrimiçi puanlar ne satın aldığımızı, hangi uygulamaları yüklediğimizi ve hangi oyunları oynadığımızı yönlendirir. Ama bu puanlar, yazma zahmetine katlanan az sayıdaki müşteriden oluşur: çoğu insan hiçbir şey hakkında inceleme yazmaz. Bilinen çözüm sormaktır. 30 Ekim 2019’da Valve, Steam oyun mağazası için yeni bir kütüphane yayımladı; bu yazılım oyunculara yakın zamanda oynadıkları bir oyunu incelemek isteyip istemediklerini soruyordu. Mağazanın genelinde incelemeler günde yaklaşık 17.000’den yaklaşık 70.000’e çıktı.

Sormak puanları iyileştirdi mi, kötüleştirdi mi? Kuramlar bu konuda ayrışıyor. Daha çok inceleyici, daha az gürültü demek olmalı. Ama kendiliğinden yazan insanlar bunu çoğu zaman bir şey onları şaşırttığı için yapar — istek üzerine yazılan bir inceleme ise bu haberden daha azını taşıyabilir. Puanlar en üstte yığıldığında da düpedüz daha az şey söyleyebilirler.

Bir puan ne bilir, ne gösterir

Stevens Teknoloji Enstitüsü’nden Zihan Chen ve Di Zhu ile Massachusetts Boston Üniversitesi’nden Lei Nico Zheng, insan yargısını ve tanı testlerini incelemek için uzun süredir kullanılan bir aracı ödünç aldı: sinyal algılama kuramı (signal detection theory). Bu kuram iki şeyi birbirinden ayırır. Duyarlılık, bir sistemin gerçek bir değişikliği sıradan gürültüden ne kadar iyi ayırt edebildiğidir — bir puanın bildiği. Ölçüt (criterion) ise sistemin tepki vermeden önce ne kadar kanıta ihtiyaç duyduğudur — puanın gösterdiği. Bir puan daha az bildiği için daha az kıpırdayabilir; ya da ölçeği tavana doğru sıkışmışken gösterim hâlâ aynı sıçramayı bekliyor olabilir.

Tavan önemlidir, çünkü bir puan, olumlu incelemelerin tüm incelemeler içindeki payıdır: övgüler ile şikâyetler arasındaki dengedeki aynı kayma, %95’lik bir puanı %60’lık bir puandan çok daha az oynatır.

Üç saatlik bir tetikleyici

Steam ideal bir test alanı. Herkese açık her inceleme, yazarının onu yazarken ne kadar süre oynamış olduğunu gösterir ve Valve’ın isteği oynama süresiyle tetiklenir. Valve tetikleyiciyi açıklamıyor; bu yüzden yazarlar onu verilerde buldu: 180 dakika. Yeni kütüphane devreye girdikten sonra, tam 180 dakikalık oynama süresinde 11.163 inceleme yazıldı, 179. dakikada ise 2.316; öncesinde bu iki dakikada 3.390 ve 3.255 inceleme vardı.

Bağımsız bir derleyicinin toplayıp internette yayımladığı, 315 popüler oyuna ait 21,6 milyon incelemeyi kullanarak, devreye girmeden önce ve sonra üç saatin hemen üstünde ve hemen altında yazılan incelemeleri karşılaştırdılar. Üç saatin hemen ötesinde incelemeler, hemen altındakilerin 4,25 katına çıktı ve olumlu inceleme payındaki sıçrama 6,6 puan büyüdü. Eklenen incelemelerin yaklaşık %96’sı olumlu, eşiğin hemen altında ise %86; üstelik kısalar: %71’i 50 karakterin altında.

Sıralama yerinde, alarmlar sönüyor

Oyunlar arasında seçim yapmak açısından başta pek bir şey değişmedi. Oyun başına inceleme sayısı eşit tutulduğunda, puanların eleştirmenlerle uyumu yerinde kaldı: binden fazla oyunda Metacritic ile sıra korelasyonu önce 0,42, sonra 0,41.

Bir oyunun değiştiğini fark etmek ise başka bir hikâye. Yazarlar, oynamanın ilk iki saatinde yazılan incelemeleri bir referans sinyali olarak kullanıyor ve bu sinyalin aylık hareketinin ne kadarının diğer inceleme gruplarında göründüğünü ölçüyor. Eşiğin hemen üstünde bu pay 0,73’ten 0,18’e düştü; hemen altında ise yalnızca 0,81’den 0,64’e. Kırılma üç saatte ve devreye girme tarihinde ortaya çıkıyor, başka hiçbir yerde değil.

Steam’in gösterdiği etiketler de sessizleşti. Mağazanın sabit sınırlarını kullanan bir puan kademesi, devreye girmeden önce eşiğin hemen üstünde kötü ayların %42’sinde bir alt kademeye düşüyordu, sonrasında ise yalnızca %12’sinde; hemen altında bu oran %47’den %41’e indi. Herkese açık 30 günlük puanın yeniden oluşturulmuş bir versiyonunda etiket, kötü ayların önce %38’inde, sonra %9’unda düştü — yanlış alarmlar da azalarak.

Daha az alarm, daha az bilgi değil

Burada iki kavram birbirinden ayrılıyor. Eklenen her inceleme kötü bir aya, gönüllü bir incelemenin yaklaşık yarısı kadar tepki veriyor. Ama o kadar çoklar ki, gerçekte gözlemlenen hacimlerde eşiğin üstündeki akış, altındaki akışa kıyasla saptanabilir hiçbir bilgi kaybetmedi: fark −0,03, aralık −0,13 ile 0,06 arasında. Puan neredeyse aynı ölçüde biliyor; bunu daha az gösteriyor, çünkü ölçek sıkıştı ve etiketler yerinden kıpırdamadı.

Bazı kötü haberler yine de geçiyor. Geliştiricilerin kendi duyurularında kabul ettiği arızalar — kesintiler, sürüm geri almaları, kaybolan ilerleme — çoğunlukla şikâyet getiriyor ve şikâyetler övgülerden daha az şişti. Bu arızalarda genel puan, devreye girmeden sonra 2,9 puan düştü; önceden düşüş 1,0 puandı.

Yazarlar modellerini Steam’in sonraki isteklerinde, 10 ve 30 saatte de sınadı; bunlar çok daha az inceleme ekliyor: model burada neredeyse hiç kırılma öngörmedi ve hiçbiri görülmedi.

Puanı farklı okuyun

Çalışma tek bir platformu, popüler oyunları ve Ocak 2021’de biten verileri kapsıyor; istek ve eklenen incelemeler de işaretlenmiş değil, çıkarsanmış. Önerisi daha az sormakla değil, okumakla ilgili: inceleme isteyen platformlar sabit etiketlerin sessizleşmesini beklemeli, bir gösterimi gerçek sorunları ne sıklıkla yakaladığına karşı ne sıklıkla boş yere alarm verdiğine göre değerlendirmeli ve yeniden ayarlamalı. Eski pratik kurallar artık geçerli değil — bir zamanlar sorunun habercisi olan beş puanlık bir düşüş, artık herhangi bir ayda nadir görülüyor.