PEÇA AVALIAÇÕES AOS JOGADORES, E A NOTA FICA CALADA
As avaliações online orientam o que compramos, quais aplicativos instalamos e quais jogos jogamos. Mas elas são construídas a partir dos poucos clientes que se dão ao trabalho de escrever: a maioria das pessoas nunca avalia nada. A solução padrão é pedir. Em 30 de outubro de 2019, a Valve lançou uma nova biblioteca para a sua loja de jogos Steam, na qual o software perguntava aos jogadores se queriam avaliar um jogo que tinham jogado recentemente. Em toda a loja, as avaliações subiram de cerca de 17.000 por dia para cerca de 70.000.
Pedir tornou as notas melhores ou piores? As teorias divergem. Mais avaliadores deveriam significar menos ruído. Mas as pessoas que escrevem sem que ninguém peça muitas vezes o fazem porque algo as surpreendeu — e uma avaliação solicitada pode trazer menos dessa novidade. E quando as notas se amontoam no topo, elas podem simplesmente dizer menos.
O que uma nota sabe, e o que ela mostra
Zihan Chen e Di Zhu, do Stevens Institute of Technology, e Lei Nico Zheng, da Universidade de Massachusetts em Boston, tomaram emprestada uma ferramenta usada há muito tempo para estudar o julgamento humano e os testes diagnósticos: a teoria de detecção de sinais. Ela separa duas coisas. A sensibilidade é a capacidade de um sistema de distinguir uma mudança real do ruído comum — o que uma nota sabe. O critério é de quanta evidência ele precisa antes de reagir — o que ela mostra. Uma nota pode se mover menos porque sabe menos, ou porque a sua escala se espremeu em direção ao teto enquanto a exibição ainda espera pelo mesmo salto.
O teto importa porque uma nota é a proporção de avaliações positivas entre todas as avaliações: o mesmo deslocamento no equilíbrio entre elogios e reclamações move uma nota de 95% muito menos do que uma de 60%.
Um gatilho de três horas
A Steam é um teste ideal. Toda avaliação pública mostra quanto tempo quem a escreveu tinha jogado naquele momento, e o pedido da Valve é acionado pelo tempo de jogo. A Valve não divulga o gatilho, então os autores o encontraram nos dados: 180 minutos. Depois do lançamento, 11.163 avaliações foram escritas com exatamente 180 minutos de jogo, contra 2.316 com 179; antes, esses dois minutos tinham 3.390 e 3.255.
Usando 21,6 milhões de avaliações de 315 jogos populares, reunidas por um coletor independente e publicadas na internet, os autores compararam as avaliações logo acima e logo abaixo das três horas, antes e depois do lançamento. Logo depois das três horas, as avaliações ficaram 4,25 vezes mais numerosas do que logo antes, e o salto na proporção de avaliações positivas aumentou 6,6 pontos. As avaliações adicionais são cerca de 96% positivas, contra 86% logo abaixo do limiar, e curtas: 71% delas têm menos de 50 caracteres.
A classificação se mantém, os alarmes se apagam
Para escolher entre jogos, pouca coisa mudou de início. Mantendo igual o número de avaliações por jogo, a concordância das notas com os críticos ficou estável: uma correlação de postos com o Metacritic de 0,42 antes e 0,41 depois, em mais de mil jogos.
Perceber que um jogo mudou é outra história. Os autores usam as avaliações escritas nas duas primeiras horas de jogo como sinal de referência e medem quanto do seu movimento mensal aparece em outros grupos de avaliações. Logo acima do limiar, essa fração caiu de 0,73 para 0,18; logo abaixo, apenas de 0,81 para 0,64. A ruptura aparece nas três horas e na data do lançamento, e em nenhum outro lugar.
Os rótulos que a Steam exibe também se calaram. Uma faixa de classificação com os limites fixos da loja caiu em 42% dos meses ruins logo acima do limiar antes do lançamento, e em apenas 12% depois; logo abaixo, passou de 47% para 41%. Numa reconstrução da nota pública de 30 dias, o rótulo caiu em 38% dos meses ruins antes e em 9% depois — com os alarmes falsos diminuindo também.
Menos alarmes, não menos conhecimento
Aqui as duas noções se separam. Cada avaliação adicional reage a um mês ruim com cerca de metade da intensidade de uma avaliação voluntária. Mas elas são tantas que, nos volumes realmente observados, o fluxo acima do limiar não perdeu nenhuma informação detectável em comparação com o fluxo abaixo: uma diferença de −0,03, com um intervalo de −0,13 a 0,06. A nota sabe quase o mesmo; ela mostra menos, porque a escala se comprimiu e os rótulos não se mexeram.
Algumas más notícias ainda passam. Falhas que os desenvolvedores reconheceram nos seus próprios anúncios — interrupções do serviço, reversões de atualização, progresso perdido — trazem sobretudo reclamações, e as reclamações foram menos infladas do que os elogios. Nessas falhas, a nota geral caiu 2,9 pontos depois do lançamento, contra 1,0 antes.
Os autores também testaram o seu modelo nos pedidos posteriores da Steam, com 10 e com 30 horas de jogo, que acrescentam muito menos avaliações: ali ele previu quase nenhuma ruptura, e nenhuma apareceu.
Ler a nota de outro jeito
O estudo cobre uma única plataforma, jogos populares e dados que terminam em janeiro de 2021, e o pedido e as avaliações adicionais são inferidos, não identificados diretamente. O seu conselho é sobre como ler, não sobre pedir menos: as plataformas que solicitam avaliações devem esperar que rótulos fixos fiquem em silêncio, julgar uma exibição pela frequência com que detecta problemas reais em relação à frequência com que dá alarmes falsos, e recalibrar. As velhas regras práticas não se transferem — uma queda de cinco pontos que antes sinalizava problema tornou-se rara em qualquer mês.