PIDE RESEÑAS A LOS JUGADORES Y LA PUNTUACIÓN ENMUDECE

Las valoraciones en línea guían lo que compramos, qué aplicaciones instalamos y a qué juegos jugamos. Pero se construyen a partir de los pocos clientes que se molestan en escribir: la mayoría de la gente nunca reseña nada. La solución habitual es preguntar. El 30 de octubre de 2019, Valve lanzó una nueva biblioteca para su tienda de juegos Steam, en la que el programa preguntaba a los jugadores si querían reseñar un juego al que habían jugado hacía poco. En toda la tienda, las reseñas pasaron de unas 17.000 al día a unas 70.000.

¿Preguntar mejoró o empeoró las valoraciones? Las teorías no coinciden. Más personas que reseñan deberían significar menos ruido. Pero quienes escriben sin que se lo pidan suelen hacerlo porque algo les ha sorprendido, y una reseña solicitada puede llevar menos de esa noticia. Y cuando las puntuaciones se amontonan en lo más alto, puede que simplemente digan menos.

Lo que una valoración sabe y lo que muestra

Zihan Chen y Di Zhu, del Stevens Institute of Technology, y Lei Nico Zheng, de la Universidad de Massachusetts Boston, tomaron prestada una herramienta usada desde hace mucho para estudiar el juicio humano y las pruebas diagnósticas: la teoría de detección de señales. Esta separa dos cosas. La sensibilidad es lo bien que un sistema distingue un cambio real del ruido ordinario: lo que una valoración sabe. El criterio es cuánta evidencia necesita antes de reaccionar: lo que muestra. Una puntuación puede moverse menos porque sabe menos, o porque su escala se ha comprimido hacia el techo mientras lo que se muestra sigue esperando el mismo salto.

El techo importa porque una valoración es la proporción de reseñas positivas entre todas las reseñas: el mismo cambio en el equilibrio entre elogios y quejas mueve una puntuación del 95 % mucho menos que una del 60 %.

Un disparador a las tres horas

Steam es un banco de pruebas ideal. Cada reseña pública indica cuánto había jugado quien la escribió en el momento de escribirla, y la pregunta de Valve se activa según el tiempo de juego. Valve no publica el umbral, así que los autores lo encontraron en los datos: 180 minutos. Tras el lanzamiento, se escribieron 11.163 reseñas exactamente a los 180 minutos de juego, frente a 2.316 a los 179; antes, esos dos minutos tenían 3.390 y 3.255.

Con 21,6 millones de reseñas de 315 juegos populares, reunidas por un recopilador independiente y publicadas en línea, compararon las reseñas justo por encima y justo por debajo de las tres horas, antes y después del lanzamiento. Justo pasadas las tres horas, las reseñas pasaron a ser 4,25 veces más numerosas que justo por debajo, y el salto en la proporción de reseñas positivas aumentó 6,6 puntos. Las reseñas añadidas son en torno a un 96 % positivas, frente al 86 % justo por debajo del umbral, y cortas: el 71 % tiene menos de 50 caracteres.

La clasificación aguanta, las alarmas se apagan

Para elegir entre juegos, de entrada cambió poco. Con el mismo número de reseñas por juego, la concordancia de las puntuaciones con la crítica no se movió: una correlación de rangos con Metacritic de 0,42 antes y 0,41 después, en más de mil juegos.

Darse cuenta de que un juego ha cambiado es otra historia. Los autores usan las reseñas escritas en las dos primeras horas de juego como señal de referencia y miden qué parte de su movimiento mensual aparece en otros grupos de reseñas. Justo por encima del umbral, esa proporción cayó de 0,73 a 0,18; justo por debajo, solo de 0,81 a 0,64. La ruptura aparece a las tres horas y en la fecha del lanzamiento, y en ningún otro sitio.

Las etiquetas que muestra Steam también enmudecieron. Un nivel de valoración con los límites fijos de la tienda bajó en el 42 % de los malos meses justo por encima del umbral antes del lanzamiento, y solo en el 12 % después; justo por debajo, pasó del 47 % al 41 %. En una reconstrucción de la puntuación pública a 30 días, la etiqueta bajó en el 38 % de los malos meses antes y en el 9 % después, y las falsas alarmas también disminuyeron.

Menos alarmas, no menos conocimiento

Aquí las dos nociones se separan. Cada reseña añadida responde a un mal mes aproximadamente la mitad que una voluntaria. Pero son tantas que, con los volúmenes realmente observados, el flujo por encima del umbral no perdió información detectable respecto al flujo por debajo: una diferencia de −0,03, con un intervalo de −0,13 a 0,06. La valoración sabe casi lo mismo; lo muestra menos, porque la escala se ha comprimido y las etiquetas no se han movido.

Algunas malas noticias siguen llegando. Los fallos que los desarrolladores reconocieron en sus propios anuncios (caídas del servicio, vueltas atrás de versiones, progreso perdido) traen sobre todo quejas, y las quejas se inflaron menos que los elogios. Ante esos fallos, la puntuación global cayó 2,9 puntos después del lanzamiento, frente a 1,0 antes.

Los autores comprobaron también su modelo con las preguntas posteriores de Steam, a las 10 y a las 30 horas, que añaden muchas menos reseñas: ahí predijo casi ninguna ruptura, y no apareció ninguna.

Leer la puntuación de otra manera

El estudio abarca una sola plataforma, juegos populares y datos que terminan en enero de 2021, y tanto la pregunta como las reseñas añadidas se deducen en lugar de estar marcadas. Su consejo trata de cómo leer, no de preguntar menos: las plataformas que solicitan reseñas deberían esperar que las etiquetas fijas enmudezcan, juzgar una forma de mostrar la puntuación por la frecuencia con que detecta problemas reales frente a la frecuencia con que da falsas alarmas, y recalibrar. Las viejas reglas prácticas ya no sirven: una caída de cinco puntos que antes señalaba problemas se ha vuelto rara en cualquier mes.