VOUS SAVEZ MIEUX QUE L'ALGORITHME CE QUE VOUS AIMEREZ
Les systèmes de recommandation décident d’une grande partie de ce que l’on regarde, lit et achète ; chez Netflix, selon un article de 2015 cité par les auteurs, le recommandeur « influence le choix d’environ 80 % des heures visionnées ». Pour fonctionner, une plateforme doit deviner ce que chacun aimera. Elle peut l’apprendre des comportements — les notes, les clics, les titres terminés par vous et par des millions d’autres — ou simplement demander.
Demander coûte. Sur MovieLens, un site de notation de films, 98,8 % de 3,0 millions de questions sont restées sans réponse. Et la théorie donne des conseils contradictoires. Une tradition, que les auteurs appellent la vue de la foule, affirme que les statistiques tirées de nombreuses personnes battent le jugement individuel, et que les gens prévoient mal leur propre plaisir. Une autre, la vue du savoir dispersé, affirme que chacun détient des informations qu’aucune base de données n’enregistre : vous avez adoré les films précédents du réalisateur sans jamais les noter, la bande-annonce vous a laissé de marbre, un ami au goût sûr ne cesse d’en parler.
Une question sur la page d’accueil
Zihan Chen et Di Zhu (Stevens Institute of Technology) et Lei Nico Zheng (université du Massachusetts à Boston) ont utilisé un jeu de données qui rend le test possible. MovieLens, un recommandeur non commercial géré par le laboratoire GroupLens de l’université du Minnesota, a placé une question sur sa page d’accueil de mars 2023 à mai 2024. Elle montrait un titre de film et demandait si le membre l’avait vu. Sinon : combien d’étoiles pensez-vous lui donner, d’une demi-étoile à cinq ?
Sur 26 020 prévisions de ce genre, 551 — venant de 277 membres — ont été suivies d’une vraie note au moins un jour plus tard. Sur exactement ces paires, l’équipe a comparé la prévision à quatre machines : la prédiction du recommandeur de MovieLens lui-même, deux algorithmes de recommandation classiques entraînés sur 33 millions de notes antérieures et mis à jour avec tout ce que le membre avait noté jusqu’au moment de la prévision, et une « pile » combinant toutes les prévisions des machines avec ce que la plateforme savait du film et du membre.
Les gens gagnent
La prévision du membre est corrélée à 0,69 avec la note ultérieure, sur une échelle où 1 signifie que les deux varient toujours ensemble et 0 qu’elles n’ont aucun lien. Les algorithmes entraînés atteignent 0,54 à 0,59 ; la prédiction de MovieLens, 0,34. En moyenne, la prévision manque la note ultérieure de 0,61 étoile, contre au moins 0,72 pour toute machine. Elle est aussi presque sans biais, alors que MovieLens surestime la note ultérieure d’une demi-étoile.
L’avantage ne vient pas seulement de savoir quels films sont bons ou à quel point on note généreusement. Retirez l’attrait moyen du film et la générosité habituelle du membre : la prévision prédit encore ce qui reste — l’accord personnel entre cette personne et ce film — bien mieux que les machines (0,63 contre au plus 0,47).
Ajoutée à tout ce que savaient les machines, la prévision réduit l’erreur de prédiction de 26 %. L’inverse n’est pas vrai : ajouter toute l’information des machines à la prévision n’apporte aucun gain détectable.
Là où les machines rattrapent
Le tableau est plus équilibré pour l’ordre. Face à deux films qu’un membre a ensuite notés différemment, la prévision les met dans le bon ordre 72 % du temps. MovieLens y parvient 56 % du temps — pile ou face donne 50 % —, mais les algorithmes entraînés atteignent 64 à 67 %, ce que les auteurs jugent statistiquement indiscernable de la personne.
Et en terrain connu, les machines font aussi bien ou mieux. Pour des films que les membres disaient ne pas avoir vus mais avaient en réalité notés des années plus tôt — des films anciens, très notés, par les plus gros utilisateurs du site —, les algorithmes égalent ou battent la personne. L’avance de la personne est la plus grande là où les données sont maigres : pour les films peu notés (0,65 contre 0,41 pour l’un des algorithmes et 0,13 pour MovieLens) et pour les genres que le membre note rarement.
Ce qui n’aide pas
Deux raccourcis échouent. Les prévisions antérieures d’un membre sur d’autres films, même pondérées par la ressemblance entre films, ne remplacent pas une prévision fraîche sur le film en question. Et demander aux gens à quel point ils sont sûrs n’apporte presque rien : la certitude signale surtout les avis extrêmes, et les membres les plus sûrs se sont révélés un peu trop optimistes.
Les auteurs ont aussi vérifié que les gens ne recopiaient pas simplement la prédiction affichée par le site : leurs prévisions la reprennent à peu près aussi souvent que le hasard.
Quatre règles pour les plateformes
De ces résultats, l’équipe tire quatre principes : demander la note attendue pour un élément précis ; demander sur les éléments en train d’être choisis ; juger les recommandeurs sur les meilleurs candidats qu’ils reclassent vraiment, là où MovieLens n’ordonne correctement que 56 % des paires ; et donner à tout algorithme ce que sait la plateforme avant de le comparer aux gens.
Les limites sont claires dans l’article. Les 551 paires représentent 2,1 % de toutes les prévisions, venues de passionnés d’un seul site, et l’on note ce que l’on a choisi de regarder. Une expérience randomisée, suggèrent les auteurs, dirait si demander améliore vraiment les recommandations que les gens suivent. En attendant, la conclusion tient dans leur titre : vous savez sur le film qui est devant vous quelque chose qu’aucun historique de notes n’a enregistré.
