SABES LO QUE TE VA A GUSTAR MEJOR QUE EL ALGORITMO
Los sistemas de recomendación deciden buena parte de lo que la gente ve, lee y compra; en Netflix, según un artículo de 2015 que citan los autores, el recomendador «influye en la elección de alrededor del 80% de las horas de streaming». Para funcionar, una plataforma tiene que adivinar lo que le gustará a cada persona. Puede aprenderlo del comportamiento —las valoraciones, los clics, los títulos que has terminado tú y millones de personas más— o simplemente puede preguntar.
Preguntar tiene un coste. En MovieLens, un sitio de valoración de películas, el 98,8% de 3,0 millones de preguntas quedó sin respuesta. Y la teoría da consejos contradictorios. Una tradición, que los autores llaman la visión de la multitud (crowd view), sostiene que las estadísticas construidas a partir de muchas personas superan al juicio individual, y que la gente predice mal cuánto va a disfrutar. Otra, la visión del conocimiento disperso, sostiene que cada uno de nosotros posee información que ninguna base de datos registra: te encantaron las obras anteriores de quien dirige la película pero nunca las valoraste, el tráiler no te convenció, alguien en cuyo gusto confías no para de hablar de ella.
Una pregunta en la página de inicio
Zihan Chen y Di Zhu (Stevens Institute of Technology) y Lei Nico Zheng (Universidad de Massachusetts en Boston) utilizaron un conjunto de datos que hace posible la prueba. MovieLens, un recomendador no comercial gestionado por el laboratorio GroupLens de la Universidad de Minnesota, colocó una pregunta en su página de inicio de marzo de 2023 a mayo de 2024. Mostraba el título de una película y preguntaba si la persona la había visto. Si no: ¿cuántas estrellas crees que le darías, de media estrella a cinco?
De 26.020 estimaciones de este tipo, 551 —de 277 miembros— fueron seguidas de una valoración real al menos un día después. Exactamente sobre estos pares, el equipo comparó la estimación con cuatro máquinas: la predicción del propio recomendador de MovieLens, dos algoritmos clásicos de recomendación entrenados con 33 millones de valoraciones anteriores y actualizados con todo lo que esa persona había valorado hasta el momento de la estimación, y un «apilamiento» (stack) que combinaba todas las previsiones de las máquinas con lo que la plataforma sabía de la película y de quien respondía.
Ganan las personas
La estimación de cada miembro tenía una correlación de 0,69 con la valoración posterior. Los algoritmos entrenados alcanzaron entre 0,54 y 0,59; la propia predicción de MovieLens, 0,34. De media, la estimación se desviaba de la valoración posterior en 0,61 estrellas, frente a al menos 0,72 en el caso de cualquier máquina. También estaba casi libre de sesgo, mientras que MovieLens sobrestimaba la valoración posterior en media estrella.
La ventaja no consiste solo en saber qué películas son buenas o con qué generosidad se puntúa. Si se elimina el atractivo medio de la película y la generosidad habitual de cada miembro, la estimación sigue prediciendo lo que queda —la afinidad personal entre esta persona y esta película— mucho mejor que las máquinas (0,63 frente a 0,47 como máximo).
Añadida a todo lo que sabían las máquinas, la estimación redujo el error de predicción un 26%. Lo contrario no se cumplía: añadir toda la información de las máquinas a la estimación no aportó ninguna mejora detectable.
Donde las máquinas recuperan terreno
El panorama está más equilibrado a la hora de ordenar. Dadas dos películas que alguien valoró después de forma distinta, su estimación las puso en el orden correcto el 72% de las veces. MovieLens lo logró en un 56% —lanzar una moneda da un 50%—, pero los algoritmos entrenados alcanzaron entre el 64 y el 67%, algo que los autores consideran estadísticamente indistinguible de la persona.
Y en terreno conocido, las máquinas lo hacen igual de bien o mejor. Para las películas que los miembros sí habían valorado años antes —películas más antiguas y con muchas valoraciones, puntuadas por los usuarios más activos del sitio—, los algoritmos igualaron o superaron a la persona. La ventaja de la persona es mayor allí donde los datos escasean: en películas poco valoradas (0,65 frente a 0,41 de un algoritmo y 0,13 de MovieLens) y en géneros que esa persona rara vez valora.
Lo que no ayuda
Dos atajos fallan. Las estimaciones anteriores de un miembro sobre otras películas, incluso ponderadas según lo parecidas que sean esas películas, no sustituyen a una estimación nueva sobre la película en cuestión. Y preguntar a la gente qué grado de seguridad tiene apenas añade nada: la certeza señala sobre todo opiniones extremas, y quienes mostraban más seguridad resultaron pecar de cierto exceso de optimismo.
Los autores comprobaron también que la gente no se limitaba a copiar la predicción que mostraba el sitio: sus estimaciones coincidían con ella más o menos con la misma frecuencia que por azar.
Cuatro reglas para las plataformas
A partir de estos resultados, el equipo extrae cuatro principios de diseño: preguntar por la valoración esperada de un elemento concreto; preguntar por los elementos sobre los que se está decidiendo ahora; juzgar los recomendadores por los mejores candidatos que realmente reordenan, donde MovieLens ordenó correctamente solo el 56% de los pares; y dar a cualquier algoritmo todo lo que sabe la plataforma antes de compararlo con las personas.
Los límites quedan claros en el artículo. Los 551 pares son el 2,1% de todas las estimaciones, proceden de entusiastas de un único sitio, y la gente valora lo que eligió ver. Un experimento aleatorizado, sugieren los autores, permitiría saber si preguntar mejora realmente las recomendaciones que la gente sigue. Hasta entonces, la conclusión se mantiene tal como la formula su título: sabes algo sobre la película que tienes delante que ningún historial de valoraciones ha registrado.
