QUANTO MAIS PRECISO O APLICATIVO DE RESTAURANTES, MAIS ELE SEPARA RICOS E POBRES
Os mapas classificam os restaurantes próximos, os aplicativos de comida sugerem onde comer em seguida, e os modelos de linguagem agora respondem a perguntas sobre aonde ir. Ao contrário de um guia impresso, os sistemas por trás dessas sugestões aprendem com as visitas que eles mesmos orientam. São retreinados com base nos lugares aonde as pessoas foram — incluindo os lugares que eles próprios recomendaram. Isso é um ciclo de retroalimentação (feedback loop) entre pessoas e algoritmos.
As plataformas costumam julgar esses sistemas por sua precisão offline: quão bem eles preveem as visitas que as pessoas fizeram antes de qualquer recomendação. Esse teste nunca deixa as sugestões mudarem os lugares aonde as pessoas vão, por isso não consegue ver o que o ciclo faz ao longo do tempo. Uma equipe da Northeastern University, da Fundação Bruno Kessler, em Trento, do ISTI-CNR, em Pisa, e da Universidade de Nova York se propôs a medi-lo.
Por que uma cidade não é uma playlist
Os ciclos de retroalimentação foram estudados sobretudo para músicas, filmes e produtos, que qualquer número de pessoas pode consumir sem afetar umas às outras. Os restaurantes diferem em três aspectos. As pessoas escolhem entre lugares ao alcance de onde estão. Um restaurante só pode atender um certo número de clientes. E uma recomendação feita a uma pessoa também muda quem os outros clientes encontram.
A equipe construiu, por isso, uma simulação sobre deslocamentos reais. Dados de GPS anonimizados de usuários que deram consentimento, registrados entre outubro de 2016 e março de 2017, forneceram as agendas diárias de 4.000 moradores em Boston, São Francisco e Detroit e de 8.000 em Chicago, sorteados igualmente nos quatro quartis de renda de seus bairros de residência. Em cada saída para comer, um recomendador sugeria 20 estabelecimentos a uma distância realista que ainda tivessem lugar; a capacidade semanal de cada estabelecimento foi fixada em 1,5 vez suas visitas reais. O sistema era retreinado toda semana com os quatro meses anteriores, durante cerca de três anos. As visitas reais de todas as outras pessoas presentes nos dados — até 290.977 pessoas por cidade — foram mantidas, de modo que os moradores simulados dividiam os estabelecimentos com elas.
Foram comparados quatro algoritmos: um que recomenda os lugares que uma pessoa visita com mais frequência (UR-POI), dois que aprendem com estabelecimentos semelhantes ou pessoas semelhantes, e um que segue os deslocamentos da população inteira.
Medir quem encontra quem
A equipe mediu a segregação de renda vivenciada: para cada pessoa, quão desigualmente o tempo passado nos estabelecimentos se divide entre pessoas dos quatro grupos de renda. Uma pontuação de 0 significa uma mistura equilibrada; uma pontuação de 1 significa encontrar um único grupo. Os lugares mistos importam porque os laços entre faixas de renda preveem a mobilidade social ascendente. Os restaurantes são um bom campo de teste: são cerca de metade tão segregados quanto os bairros onde as pessoas moram.
Precisão contra mistura
O resultado é um dilema. Classificados pela precisão offline e classificados pela segregação que produzem, os quatro algoritmos aparecem na mesma ordem. Escolher pela precisão leva ao algoritmo mais segregador em todas as cidades. O mais preciso, o UR-POI, deixou as pessoas 15–21% mais segregadas do que em suas visitas reais. Ele vence em precisão justamente porque as pessoas voltam a lugares conhecidos — e, ao mandá-las de volta para lá, as mantém entre os seus.
A culpa é da classificação, não do mapa. Escolher ao acaso entre os mesmos estabelecimentos acessíveis deu a menor segregação de todas em Boston. E o peso recai com mais força sobre quem já está mais isolado: os moradores de renda mais baixa eram o grupo mais segregado em toda parte, e em Boston sua pontuação subiu de 0,360 na realidade para 0,413 com o UR-POI.
Restaurantes que desaparecem
O ciclo também esvazia estabelecimentos. Com todos os algoritmos e em todas as cidades, pelo menos um quinto dos restaurantes perdeu todos os seus visitantes simulados — entre 21% e 71% deles, contra 5% a 30% sem o retreinamento semanal. O próprio retreinamento causou de 55 a 75% da perda: um estabelecimento que não recebe visitas sai dos dados e deixa de ser recomendado. As perdas se concentraram em bairros menos movimentados e de renda mais baixa.
Mistura e sobrevivência podem puxar em sentidos opostos. Os dois algoritmos que menos segregam são os que mais aprendem com as visitas dos outros, reunindo todo mundo nos mesmos estabelecimentos — uma sobreposição de 4,4 a 6,2 vezes a das visitas reais — e assim deixam mais estabelecimentos vazios, o UserKNN mais que todos, em todas as cidades.
Um empurrão na classificação
A equipe testou uma correção simples chamada tail-boost (reforço da cauda), acrescentada sobre qualquer algoritmo: a pontuação de cada estabelecimento é combinada com um bônus que é maior para os lugares menos visitados. Em Boston, abrindo mão de no máximo 15% da precisão offline, ela reduziu o desaparecimento de estabelecimentos em 54 a 75% com todos os algoritmos e diminuiu a segregação com três dos quatro; com o UR-POI, o excesso de segregação caiu de 21% para 13%. Ela fez isso, em grande parte, sem mandar as pessoas a lugares onde seu próprio grupo de renda é uma pequena minoria. A precisão offline, sozinha, a teria rejeitado.
A simulação mantém as pessoas simples — nas execuções principais, todos seguem as recomendações — e mede a renda pelo bairro, não pela pessoa. Os autores disponibilizam seu código e defendem que plataformas e auditores simulem o ciclo antes de implantar um algoritmo, no espírito da Lei dos Serviços Digitais europeia. A pesquisa sobre recomendação há muito trata cada sugestão como um assunto entre um usuário e um item; numa cidade, como diz o artigo, cada recomendação seguida “também muda quem as outras pessoas encontram e quais estabelecimentos continuam sendo visitados”.