DEMANDEZ DES AVIS AUX JOUEURS, ET LA NOTE SE TAIT

Les notes en ligne guident ce que nous achetons, les applications que nous installons et les jeux auxquels nous jouons. Mais elles reposent sur les rares clients qui prennent la peine d’écrire : la plupart des gens ne laissent jamais d’avis. Le remède classique, c’est de demander. Le 30 octobre 2019, Valve a lancé une nouvelle bibliothèque pour sa boutique de jeux Steam, dans laquelle le logiciel demandait aux joueurs s’ils voulaient évaluer un jeu récemment joué. Sur toute la boutique, les avis sont passés d’environ 17 000 à environ 70 000 par jour.

Demander a-t-il rendu les notes meilleures ou pires ? Les théories divergent. Plus d’évaluateurs devrait vouloir dire moins de bruit. Mais ceux qui écrivent spontanément le font souvent parce que quelque chose les a surpris — et un avis sollicité porte peut-être moins cette nouvelle. Et quand les notes s’entassent vers le haut, elles en disent peut-être tout simplement moins.

Ce qu’une note sait, et ce qu’elle montre

Zihan Chen et Di Zhu, du Stevens Institute of Technology, et Lei Nico Zheng, de l’université du Massachusetts à Boston, ont emprunté un outil utilisé de longue date pour étudier le jugement humain et les tests diagnostiques : la théorie de la détection du signal. Elle sépare deux choses. La sensibilité, c’est la capacité d’un système à distinguer un vrai changement du bruit ordinaire — ce qu’une note sait. Le critère, c’est la quantité de preuve qu’il lui faut avant de réagir — ce qu’elle montre. Une note peut bouger moins parce qu’elle sait moins, ou parce que son échelle s’est tassée vers le plafond alors que l’affichage attend toujours le même saut.

Le plafond compte, parce qu’une note est la part d’avis positifs parmi tous les avis : le même déplacement de l’équilibre entre éloges et plaintes fait bouger une note de 95 % bien moins qu’une note de 60 %.

Un déclencheur à trois heures

Steam est un terrain idéal. Chaque avis public affiche depuis combien de temps son auteur jouait quand il l’a écrit, et la question de Valve se déclenche selon le temps de jeu. Valve ne publie pas le déclencheur : les auteurs l’ont trouvé dans les données, 180 minutes. Après le lancement, 11 163 avis ont été écrits à 180 minutes de jeu exactement, contre 2 316 à 179 ; avant, ces deux minutes en comptaient 3 390 et 3 255.

À partir de 21,6 millions d’avis sur 315 jeux populaires, rassemblés par un collecteur indépendant, ils ont comparé les avis juste au-dessus et juste en dessous de trois heures, avant et après le lancement. Juste après trois heures, les avis sont devenus 4,25 fois plus nombreux que juste avant, et le saut de la part d’avis positifs a grandi de 6,6 points. Les avis ajoutés sont positifs à environ 96 %, contre 86 % juste sous le seuil, et courts : 71 % font moins de 50 caractères.

Le classement tient, les alertes s’éteignent

Pour choisir entre des jeux, peu de choses ont changé dans un premier temps. À nombre d’avis égal par jeu, l’accord des notes avec les critiques est resté stable : une corrélation de rang avec les notes de critiques compilées par Metacritic — une mesure de l’accord entre deux classements, où 1 signifie le même ordre — de 0,42 avant et 0,41 après, sur plus de mille jeux.

Remarquer qu’un jeu a changé, c’est une autre histoire. Les auteurs prennent les avis écrits dans les deux premières heures de jeu comme signal de référence, et mesurent quelle part de son mouvement mensuel se retrouve dans d’autres groupes d’avis. Juste au-dessus du seuil, cette part est tombée de 0,73 à 0,18 ; juste en dessous, seulement de 0,81 à 0,64. La rupture apparaît à trois heures et à la date du lancement, nulle part ailleurs.

Les étiquettes affichées par Steam se sont tues elles aussi. Steam résume chaque note par une étiquette en toutes lettres, dont les paliers commencent à des parts fixes d’avis positifs (95 %, 80 %, 70 %, 40 %, 20 %). Calculé sur les seuls avis écrits juste après trois heures, un tel palier baissait dans 42 % des mauvais mois — ceux où les avis de référence des deux premières heures se dégradaient — avant le lancement, et dans 12 % seulement après ; juste sous le seuil, il est passé de 47 % à 41 %. Sur une reconstitution de la note publique sur 30 jours, l’étiquette baissait dans 38 % des mauvais mois avant et 9 % après — les fausses alertes reculant aussi.

Moins d’alertes, pas moins de savoir

C’est là que les deux notions divergent. Chaque avis ajouté réagit à un mauvais mois environ deux fois moins qu’un avis spontané. Mais ils sont si nombreux qu’aux volumes réellement observés, le flux au-dessus du seuil n’a perdu aucune information détectable par rapport au flux en dessous : son accord avec les avis de référence des deux premières heures n’a varié que de −0,03 de plus que celui du flux en dessous, un écart qui pourrait aussi bien être nul (intervalle à 95 % de −0,13 à 0,06). La note sait presque autant ; elle le montre moins, parce que l’échelle s’est comprimée et que les étiquettes n’ont pas bougé.

Certaines mauvaises nouvelles passent encore. Les pannes reconnues par les développeurs dans leurs propres annonces — serveurs coupés, retours en arrière, progression perdue — amènent surtout des plaintes, et les plaintes ont été moins gonflées que les éloges. Lors de ces pannes, la note globale a baissé de 2,9 points après le lancement, contre 1,0 avant.

Les auteurs ont aussi vérifié leur modèle aux questions plus tardives de Steam, à 10 et 30 heures, qui ajoutent bien moins d’avis : il y prévoyait une rupture quasi nulle, et aucune n’est apparue.

Lire la note autrement

L’étude porte sur une seule plateforme, des jeux populaires et des données qui s’arrêtent en janvier 2021, et la question comme les avis ajoutés sont déduits, pas signalés. Son conseil porte sur la lecture, pas sur le fait de moins demander : les plateformes qui sollicitent des avis doivent s’attendre à ce que les étiquettes fixes se taisent, juger un affichage à la fréquence à laquelle il détecte de vrais problèmes face à celle de ses fausses alertes, et recalibrer. Les anciennes règles empiriques ne se transposent pas : une baisse de cinq points, autrefois signe d’ennuis, est devenue rare quel que soit le mois.