కంప్యూటింగ్ & ఏఐప్రీప్రింట్డేటా విశ్లేషణచదవడానికి 3 నిమిషాలు

మీకు ఏది నచ్చుతుందో అల్గారిథం కంటే మీకే బాగా తెలుసు

ప్రజలు ఏం చూస్తారో, చదువుతారో, కొంటారో అందులో చాలా భాగాన్ని సిఫార్సు వ్యవస్థలు (recommender systems) నిర్ణయిస్తాయి; రచయితలు ఉదహరించిన 2015 నాటి ఒక పత్రం ప్రకారం, Netflixలో సిఫార్సు వ్యవస్థ “స్ట్రీమ్ చేసిన గంటల్లో సుమారు 80% ఎంపికను ప్రభావితం చేస్తుంది”. పనిచేయడానికి, ఒక ప్లాట్‌ఫారమ్ ప్రతి వ్యక్తికి ఏది నచ్చుతుందో ఊహించాలి. అది దాన్ని ప్రవర్తన నుంచి నేర్చుకోవచ్చు — మీరూ, ఇతర మిలియన్ల మందీ ఇచ్చిన రేటింగ్‌లు, చేసిన క్లిక్‌లు, పూర్తి చేసిన టైటిళ్లు — లేదా కేవలం అడగవచ్చు.

అడగడానికి మూల్యం ఉంది. సినిమాలకు రేటింగ్ ఇచ్చే సైట్ MovieLensలో, 3.0 మిలియన్ ప్రశ్నల్లో 98.8%కు సమాధానం రాలేదు. పైగా సిద్ధాంతం పరస్పర విరుద్ధమైన సలహా ఇస్తుంది. రచయితలు సమూహ దృక్పథం (crowd view) అని పిలిచే ఒక సంప్రదాయం, చాలామంది నుంచి నిర్మించిన గణాంకాలు వ్యక్తిగత తీర్పును మించిపోతాయని, ప్రజలు తమ సొంత ఆనందాన్ని ఊహించడంలో బలహీనులని చెబుతుంది. మరొకటి, చెదిరిన జ్ఞానం (dispersed knowledge) దృక్పథం, మనలో ప్రతి ఒక్కరి దగ్గర ఏ డేటాబేస్ నమోదు చేయని సమాచారం ఉంటుందని చెబుతుంది: దర్శకుడి గత చిత్రాలు మీకు ఎంతో నచ్చాయి కానీ వాటికి ఎప్పుడూ రేటింగ్ ఇవ్వలేదు, ట్రైలర్ మిమ్మల్ని ఏమాత్రం కదిలించలేదు, అభిరుచిని మీరు నమ్మే స్నేహితుల్లో ఒకరు దాని గురించి మాట్లాడటం ఆపడం లేదు.

హోమ్‌పేజీపై ఒక ప్రశ్న

జిహాన్ చెన్ (Zihan Chen), డి ఝు (Di Zhu; స్టీవెన్స్ ఇన్‌స్టిట్యూట్ ఆఫ్ టెక్నాలజీ), లేయ్ నికో ఝెంగ్ (Lei Nico Zheng; యూనివర్సిటీ ఆఫ్ మసాచుసెట్స్ బోస్టన్) ఈ పరీక్షను సాధ్యం చేసే ఒక డేటాసెట్‌ను ఉపయోగించారు. యూనివర్సిటీ ఆఫ్ మిన్నెసోటాలోని GroupLens ల్యాబ్ నడిపే వాణిజ్యేతర సిఫార్సు వ్యవస్థ MovieLens, మార్చి 2023 నుంచి మే 2024 వరకు తన హోమ్‌పేజీపై ఒక ప్రశ్నను ఉంచింది. అది ఒక సినిమా పేరును చూపి, సభ్యులు దాన్ని చూశారా అని అడిగింది. చూడకపోతే: అర నక్షత్రం నుంచి ఐదు వరకు, దానికి మీరు ఎన్ని నక్షత్రాలు ఇస్తారని అనుకుంటున్నారు?

అలాంటి 26,020 ఊహల్లో, 551 — 277 మంది సభ్యుల నుంచి — కనీసం ఒక రోజు తర్వాత వచ్చిన నిజమైన రేటింగ్‌తో జతకూడాయి. సరిగ్గా ఈ జతలపై, బృందం ఆ ఊహను నాలుగు యంత్రాలతో పోల్చింది: MovieLens సొంత సిఫార్సు వ్యవస్థ అంచనా; 33 మిలియన్ మునుపటి రేటింగ్‌లపై శిక్షణ పొంది, ఊహించిన క్షణం వరకు ఆ సభ్యులు రేట్ చేసిన ప్రతిదానితో నవీకరించబడిన రెండు సాంప్రదాయ సిఫార్సు అల్గారిథంలు; ప్రతి యంత్ర అంచనాను సినిమా గురించి, సభ్యుల గురించి ప్లాట్‌ఫారమ్‌కు తెలిసిన దానితో కలిపే ఒక “స్టాక్” (stack).

మనుషులు గెలుస్తారు

సభ్యుల ఊహ తర్వాతి రేటింగ్‌తో 0.69 సహసంబంధం (correlation) చూపింది; ఈ స్కేలులో 1 అంటే రెండూ ఎప్పుడూ కలిసి కదులుతాయి, 0 అంటే అసలు ఏ సంబంధమూ లేదు. శిక్షణ పొందిన అల్గారిథంలు 0.54 నుంచి 0.59 వరకు చేరాయి; MovieLens సొంత అంచనా, 0.34. సగటున, ఊహ తర్వాతి రేటింగ్‌ను 0.61 నక్షత్రాల మేర తప్పింది, ఏ యంత్రానికైనా కనీసం 0.72తో పోలిస్తే. అది దాదాపు పక్షపాతరహితంగా (unbiased) కూడా ఉంది, కాగా MovieLens తర్వాతి రేటింగ్‌ను అర నక్షత్రం మేర ఎక్కువగా అంచనా వేసింది.

ఈ ఆధిక్యం కేవలం ఏ సినిమాలు బాగుంటాయో, లేదా ఒకరు ఎంత ఉదారంగా రేటింగ్ ఇస్తారో తెలుసుకోవడం మాత్రమే కాదు. సినిమా సగటు ఆకర్షణను, సభ్యుల సాధారణ ఉదారతను తీసివేసినా, మిగిలినదాన్ని — ఈ వ్యక్తికి, ఈ సినిమాకు మధ్య ఉన్న వ్యక్తిగత సరిపోలికను — ఊహ యంత్రాల కంటే చాలా బాగా అంచనా వేస్తుంది (గరిష్ఠంగా 0.47తో పోలిస్తే 0.63).

యంత్రాలకు తెలిసిన అన్నిటికీ జోడించినప్పుడు, ఆ ఊహ అంచనా దోషాన్ని 26% తగ్గించింది. వ్యతిరేక దిశలో అది నిజం కాలేదు: యంత్ర సమాచారాన్నంతా ఊహకు జోడిస్తే గుర్తించదగిన ఏ లాభమూ రాలేదు.

యంత్రాలు ఎక్కడ అందుకుంటాయి

క్రమంలో పెట్టడం (ordering) విషయంలో చిత్రం మరింత సమతుల్యంగా ఉంది. సభ్యులు తర్వాత వేర్వేరుగా రేట్ చేసిన రెండు సినిమాలు ఇచ్చినప్పుడు, ఊహ వాటిని 72% సార్లు సరైన క్రమంలో పెట్టింది. MovieLens 56% సాధించింది — నాణెం ఎగరేస్తే 50% వస్తుంది — కానీ శిక్షణ పొందిన అల్గారిథంలు 64 నుంచి 67% వరకు చేరాయి, ఇది ఆ వ్యక్తి నుంచి గణాంకపరంగా వేరు చేయలేనిదని రచయితలు కనుగొన్నారు.

పరిచిత ప్రాంతంలో, యంత్రాలు సమానంగా లేదా మరింత బాగా చేస్తాయి. సభ్యులు చూడలేదని ప్రకటించినా వాస్తవానికి ఏళ్ల క్రితమే రేట్ చేసిన సినిమాలకు — పాతవి, ఎక్కువగా రేట్ చేయబడినవి, సైట్‌ను అత్యధికంగా వాడేవారు రేట్ చేసినవి — అల్గారిథంలు ఆ వ్యక్తికి సమానంగా నిలిచాయి లేదా ఓడించాయి. దత్తాంశం తక్కువగా ఉన్నచోట వ్యక్తి ఆధిక్యం అత్యధికం: తక్కువగా రేట్ చేయబడిన సినిమాలకు (0.65; ఒక అల్గారిథంకు 0.41, MovieLensకు 0.13తో పోలిస్తే), సభ్యులు అరుదుగా రేట్ చేసే జానర్‌లకు (genres).

ఏది సహాయపడదు

రెండు అడ్డదారులు విఫలమవుతాయి. ఇతర సినిమాల గురించి సభ్యుల మునుపటి ఊహలు, ఆ సినిమాలు ఎంత సారూప్యమైనవో దాని ప్రకారం బరువు (weight) ఇచ్చినా, చేతిలో ఉన్న సినిమా గురించిన తాజా ఊహను భర్తీ చేయలేవు. ప్రజలు ఎంత నిశ్చయంగా ఉన్నారో అడగడం దాదాపు ఏమీ జోడించదు: నిశ్చయత ఎక్కువగా తీవ్రమైన అభిప్రాయాలనే సూచిస్తుంది, అత్యంత నిశ్చయంగా ఉన్న సభ్యులు కొంత అతి ఆశావాదులుగా తేలారు.

ప్రజలు సైట్ చూపిన అంచనాను కేవలం నకలు చేయడం లేదని కూడా రచయితలు తనిఖీ చేశారు: వారి ఊహలు దానితో సుమారు యాదృచ్ఛికంగా జరిగేంత తరచుగానే సరిపోలాయి.

ప్లాట్‌ఫారమ్‌లకు నాలుగు నియమాలు

ఈ ఫలితాల నుంచి బృందం నాలుగు రూపకల్పన సూత్రాలను తీసుకుంటుంది: ఒక నిర్దిష్ట అంశానికి ఆశించిన రేటింగ్‌ను అడగండి; ఇప్పుడు నిర్ణయం తీసుకుంటున్న అంశాల గురించే అడగండి; సిఫార్సు వ్యవస్థలను అవి నిజంగా తిరిగి ర్యాంక్ చేసే అగ్ర అభ్యర్థులపైనే మూల్యాంకనం చేయండి — అక్కడ MovieLens కేవలం 56% జతలనే సరైన క్రమంలో పెట్టింది; ఏ అల్గారిథంనైనా మనుషులతో పోల్చే ముందు, ప్లాట్‌ఫారమ్‌కు తెలిసినదంతా దానికి ఇవ్వండి.

పరిమితులు పత్రంలో స్పష్టంగా ఉన్నాయి. ఆ 551 జతలు మొత్తం ఊహల్లో 2.1%, ఒకే సైట్‌లోని ఉత్సాహవంతుల నుంచి వచ్చినవి, పైగా ప్రజలు తాము చూడాలని ఎంచుకున్నవాటికే రేటింగ్ ఇస్తారు. అడగడం వల్ల ప్రజలు అనుసరించే సిఫార్సులు నిజంగా మెరుగుపడతాయో లేదో ఒక యాదృచ్ఛికీకరణ ప్రయోగం (randomised experiment) చెబుతుందని రచయితలు సూచిస్తున్నారు. అప్పటివరకు, వారి శీర్షిక చెప్పినట్టే ముగింపు నిలుస్తుంది: మీ ముందున్న సినిమా గురించి, ఏ రేటింగ్ చరిత్రా నమోదు చేయనిది ఏదో మీకు తెలుసు.