VOCÊ SABE DO QUE VAI GOSTAR MELHOR DO QUE O ALGORITMO
Os sistemas de recomendação decidem boa parte do que as pessoas assistem, leem e compram; na Netflix, segundo um artigo de 2015 citado pelos autores, o recomendador “influencia a escolha de cerca de 80% das horas assistidas”. Para funcionar, uma plataforma precisa adivinhar do que cada pessoa vai gostar. Ela pode aprender isso pelo comportamento — as notas, os cliques, os títulos terminados por você e por milhões de outras pessoas — ou pode simplesmente perguntar.
Perguntar tem um custo. No MovieLens, um site de avaliação de filmes, 98,8% de 3,0 milhões de perguntas ficaram sem resposta. E a teoria dá conselhos conflitantes. Uma tradição, que os autores chamam de visão da multidão, diz que estatísticas construídas a partir de muitas pessoas superam o julgamento individual, e que as pessoas são ruins em prever o próprio prazer. Outra, a visão do conhecimento disperso, diz que cada um de nós detém informações que nenhuma base de dados registra: você adorou os trabalhos anteriores do diretor, mas nunca os avaliou; o trailer deixou você indiferente; um amigo de gosto confiável não para de falar do filme.
Uma pergunta na página inicial
Zihan Chen e Di Zhu (Stevens Institute of Technology) e Lei Nico Zheng (Universidade de Massachusetts Boston) usaram um conjunto de dados que torna o teste possível. O MovieLens, um recomendador não comercial mantido pelo laboratório GroupLens da Universidade de Minnesota, exibiu uma pergunta em sua página inicial de março de 2023 a maio de 2024. Ela mostrava o título de um filme e perguntava se o membro o tinha visto. Se não: quantas estrelas você acha que daria a ele, de meia estrela a cinco?
Dos 26.020 palpites desse tipo, 551 — de 277 membros — foram seguidos de uma nota real pelo menos um dia depois. Exatamente nesses pares, a equipe comparou o palpite com quatro máquinas: a previsão do próprio recomendador do MovieLens, dois algoritmos clássicos de recomendação treinados com 33 milhões de notas anteriores e atualizados com tudo o que o membro tinha avaliado até o momento do palpite, e uma “pilha” (stack) que combinava todas as previsões das máquinas com o que a plataforma sabia sobre o filme e o membro.
As pessoas vencem
O palpite do membro teve correlação de 0,69 com a nota posterior. Os algoritmos treinados chegaram a 0,54 a 0,59; a previsão do próprio MovieLens, a 0,34. Em média, o palpite errou a nota posterior por 0,61 estrela, contra pelo menos 0,72 para qualquer máquina. Ele também foi quase sem viés, enquanto o MovieLens superestimava a nota posterior em meia estrela.
A vantagem não é apenas saber quais filmes são bons ou com que generosidade se costuma dar notas. Removidos o apelo médio do filme e a generosidade habitual do membro, o palpite ainda prevê o que sobra — a afinidade pessoal entre esta pessoa e este filme — muito melhor que as máquinas (0,63 contra no máximo 0,47).
Somado a tudo o que as máquinas sabiam, o palpite reduziu o erro de previsão em 26%. O inverso não se verificou: somar toda a informação das máquinas ao palpite não trouxe nenhum ganho detectável.
Onde as máquinas alcançam
O quadro é mais equilibrado na ordenação. Dados dois filmes que um membro avaliou depois de forma diferente, o palpite os colocou na ordem certa em 72% das vezes. O MovieLens conseguiu 56% — um cara ou coroa marca 50% —, mas os algoritmos treinados chegaram a 64 a 67%, o que os autores consideram estatisticamente indistinguível da pessoa.
E em terreno conhecido, as máquinas se saem tão bem ou melhor. Para filmes que os membros na verdade já tinham avaliado anos antes — filmes mais antigos, muito avaliados, avaliados pelos usuários mais assíduos do site —, os algoritmos igualaram ou superaram a pessoa. A vantagem da pessoa é maior onde os dados são escassos: para filmes pouco avaliados (0,65 contra 0,41 para um algoritmo e 0,13 para o MovieLens) e para gêneros que o membro raramente avalia.
O que não ajuda
Dois atalhos falham. Os palpites anteriores de um membro sobre outros filmes, mesmo ponderados pela semelhança entre esses filmes, não substituem um palpite novo sobre o filme em questão. E perguntar quão seguras as pessoas estão não acrescenta quase nada: a certeza sinaliza sobretudo opiniões extremas, e os membros mais seguros se revelaram um tanto otimistas demais.
Os autores também verificaram que as pessoas não estavam simplesmente copiando a previsão exibida pelo site: seus palpites coincidiam com ela mais ou menos com a frequência que o acaso daria.
Quatro regras para as plataformas
A partir desses resultados, a equipe tira quatro princípios de design: perguntar a nota esperada de um item específico; perguntar sobre os itens que estão sendo decididos agora; julgar os recomendadores pelos principais candidatos que eles de fato reordenam, onde o MovieLens ordenou corretamente só 56% dos pares; e dar a qualquer algoritmo tudo o que a plataforma sabe antes de compará-lo com as pessoas.
Os limites estão claros no artigo. Os 551 pares são 2,1% de todos os palpites, vindos de entusiastas de um único site, e as pessoas avaliam o que escolheram assistir. Um experimento randomizado, sugerem os autores, diria se perguntar de fato melhora as recomendações que as pessoas seguem. Até lá, a conclusão vale como diz o título deles: você sabe algo sobre o filme à sua frente que nenhum histórico de notas registrou.
