CUANTO MÁS PRECISA ES LA APP DE RESTAURANTES, MÁS SEPARA A RICOS Y POBRES
Los mapas clasifican los restaurantes cercanos, las apps de comida sugieren dónde comer la próxima vez y los modelos de lenguaje responden ya a preguntas sobre adónde ir. A diferencia de una guía impresa, los sistemas que hay detrás de estas sugerencias aprenden de las visitas que orientan. Se vuelven a entrenar con los lugares a los que fue la gente, incluidos los que ellos mismos recomendaron. Es un bucle de retroalimentación entre las personas y los algoritmos.
Las plataformas suelen juzgar estos sistemas por su precisión fuera de línea (offline): lo bien que predicen las visitas que la gente hizo antes de cualquier recomendación. Esa prueba nunca deja que las sugerencias cambien adónde va la gente, así que no puede ver lo que hace el bucle con el tiempo. Un equipo de la Universidad Northeastern, la Fundación Bruno Kessler de Trento, el ISTI-CNR de Pisa y la Universidad de Nueva York se propuso medirlo.
Por qué una ciudad no es una lista de reproducción
Los bucles de retroalimentación se han estudiado sobre todo para canciones, películas y productos, que cualquier número de personas puede consumir sin afectarse entre sí. Los restaurantes difieren en tres aspectos. La gente elige entre lugares a su alcance desde donde está. Un restaurante solo puede atender a un número limitado de clientes. Y una recomendación hecha a una persona también cambia con quién se encuentran los demás clientes.
Por eso el equipo construyó una simulación basada en desplazamientos reales. Datos GPS anonimizados de usuarios que habían dado su consentimiento, registrados entre octubre de 2016 y marzo de 2017, proporcionaron las agendas diarias de 4.000 residentes en Boston, San Francisco y Detroit y de 8.000 en Chicago, extraídos a partes iguales de los cuatro cuartiles de ingresos de sus barrios de residencia. En cada salida para comer, un recomendador sugería 20 locales a una distancia realista que aún tuvieran sitio; la capacidad semanal de cada local se fijó en 1,5 veces sus visitas reales. El sistema se volvía a entrenar cada semana con los cuatro meses anteriores, durante unos tres años. Se conservaron las visitas reales de todas las demás personas de los datos, hasta 290.977 por ciudad, de modo que los residentes simulados compartían locales con ellas.
Se compararon cuatro algoritmos: uno que recomienda los lugares que una persona visita con más frecuencia (UR-POI), dos que aprenden de locales similares o de personas similares, y uno que sigue los desplazamientos de toda la población.
Medir quién se encuentra con quién
El equipo midió la segregación por ingresos experimentada: para cada persona, lo desigualmente que se reparte el tiempo pasado en los locales entre personas de los cuatro grupos de ingresos. Una puntuación de 0 significa una mezcla equilibrada; una puntuación de 1 significa encontrarse con un solo grupo. Los lugares mixtos importan porque los vínculos entre niveles de ingresos predicen la movilidad social ascendente. Los restaurantes son un buen banco de pruebas: están aproximadamente la mitad de segregados que los barrios donde vive la gente.
Precisión frente a mezcla
El resultado es una disyuntiva. Clasificados por su precisión fuera de línea y clasificados por la segregación que producen, los cuatro algoritmos salen en el mismo orden. Elegir por la precisión lleva a escoger el algoritmo que más segrega en todas las ciudades. El más preciso, UR-POI, dejó a la gente entre un 15 y un 21 % más segregada que en sus visitas reales. Gana en precisión precisamente porque la gente vuelve a los lugares conocidos, y al devolverla allí la mantiene entre los suyos.
La culpa es de la clasificación, no del mapa. Elegir al azar entre los mismos locales accesibles dio la segregación más baja de todas en Boston. Y la carga recae con más fuerza sobre quienes ya están más aislados: los residentes de menores ingresos eran el grupo más segregado en todas partes, y en Boston su puntuación subió de 0,360 en la realidad a 0,413 con UR-POI.
Restaurantes que desaparecen
El bucle también vacía locales. Con todos los algoritmos y en todas las ciudades, al menos una quinta parte de los restaurantes perdió a todos sus visitantes simulados: entre el 21 % y el 71 % de ellos, frente al 5 % a 30 % sin reentrenamiento semanal. El propio reentrenamiento causó entre el 55 y el 75 % de la pérdida: un local que no recibe visitas desaparece de los datos y deja de recomendarse. Las pérdidas se concentraron en barrios menos activos y de menores ingresos.
La mezcla y la supervivencia pueden ir en direcciones opuestas. Los dos algoritmos que menos segregan son los que más aprenden de las visitas de otras personas, y reúnen a todo el mundo en los mismos locales (una coincidencia de 4,4 a 6,2 veces la de las visitas reales), con lo que dejan más locales vacíos, UserKNN más que ninguno, en todas las ciudades.
Un empujoncito en la clasificación
El equipo probó un arreglo sencillo llamado tail-boost, que se añade encima de cualquier algoritmo: la puntuación de cada local se combina con una bonificación que es mayor para los lugares menos visitados. En Boston, renunciando como máximo a un 15 % de precisión fuera de línea, redujo la desaparición de locales entre un 54 y un 75 % con todos los algoritmos y rebajó la segregación con tres de los cuatro; con UR-POI, el exceso de segregación bajó del 21 % al 13 %. Lo logró en gran medida sin enviar a la gente a lugares donde su propio grupo de ingresos es una pequeña minoría. La precisión fuera de línea, por sí sola, lo habría descartado.
La simulación representa a las personas de forma sencilla (en las ejecuciones principales, todo el mundo sigue las recomendaciones) y mide los ingresos por barrio, no por persona. Los autores publican su código y sostienen que las plataformas y los auditores deberían simular el bucle antes de desplegar un algoritmo, en el espíritu del Reglamento europeo de Servicios Digitales. La investigación sobre recomendación ha tratado durante mucho tiempo cada sugerencia como un asunto entre un usuario y un artículo; en una ciudad, como dice el artículo, cada recomendación seguida «también cambia con quién se encuentran otras personas y qué locales siguen recibiendo visitas».