கணினியியல் & செயற்கை நுண்ணறிவுமுன்பதிப்புதரவுப் பகுப்பாய்வுபடிக்க 3 நிமிடங்கள்

உங்களுக்கு எது பிடிக்கும் என்பது வழிமுறையைவிட உங்களுக்கே நன்றாகத் தெரியும்

மக்கள் எதைப் பார்க்கிறார்கள், படிக்கிறார்கள், வாங்குகிறார்கள் என்பதில் பெரும்பகுதியைப் பரிந்துரை அமைப்புகள் (recommender systems) தீர்மானிக்கின்றன; ஆசிரியர்கள் மேற்கோள் காட்டும் 2015 ஆய்வுக் கட்டுரை ஒன்றின்படி, Netflix-இல் பரிந்துரை அமைப்பு “ஒளிபரப்பப்படும் (streamed) மணிநேரங்களில் சுமார் 80%-க்கான தேர்வைப் பாதிக்கிறது”. செயல்பட, ஒரு தளம் ஒவ்வொருவருக்கும் எது பிடிக்கும் என்று ஊகிக்க வேண்டும். அதை நடத்தையிலிருந்து கற்றுக்கொள்ளலாம் — நீங்களும் மில்லியன் கணக்கான மற்றவர்களும் அளித்த மதிப்பீடுகள், செய்த கிளிக்குகள், முழுமையாகப் பார்த்து முடித்த தலைப்புகள் — அல்லது வெறுமனே கேட்கலாம்.

கேட்பதற்கு விலை உண்டு. திரைப்படங்களை மதிப்பிடும் இணையதளமான MovieLens-இல், 3.0 மில்லியன் கேள்விகளில் 98.8% பதிலளிக்கப்படாமல் போயின. கோட்பாடும் முரண்பட்ட அறிவுரைகளைத் தருகிறது. ஆசிரியர்கள் கூட்டப் பார்வை (crowd view) என்றழைக்கும் ஒரு மரபு, பலரிடமிருந்து கட்டமைக்கப்பட்ட புள்ளிவிவரங்கள் தனிநபர் தீர்ப்பை விஞ்சுகின்றன என்றும், மக்கள் தங்கள் சொந்த இன்பத்தைக் கணிப்பதில் திறனற்றவர்கள் என்றும் கூறுகிறது. மற்றொன்றான பரவிய அறிவுப் (dispersed knowledge) பார்வை, நம் ஒவ்வொருவரிடமும் எந்தத் தரவுத்தளமும் பதிவு செய்யாத தகவல் இருக்கிறது என்கிறது: இயக்குநரின் முந்தைய படைப்பை நீங்கள் மிகவும் விரும்பினீர்கள், ஆனால் அதை ஒருபோதும் மதிப்பிடவில்லை; முன்னோட்டம் (trailer) உங்களை ஈர்க்கவில்லை; ரசனையில் நீங்கள் நம்பும் ஒரு நண்பர் அதைப் பற்றிப் பேசுவதை நிறுத்தவே இல்லை.

முகப்புப் பக்கத்தில் ஒரு கேள்வி

Zihan Chen, Di Zhu (Stevens Institute of Technology), Lei Nico Zheng (University of Massachusetts Boston) ஆகியோர், இந்தச் சோதனையைச் சாத்தியமாக்கும் ஒரு தரவுத்தொகுப்பைப் பயன்படுத்தினர். University of Minnesota-வின் GroupLens ஆய்வகத்தால் நடத்தப்படும் வணிக நோக்கற்ற பரிந்துரை அமைப்பான MovieLens, மார்ச் 2023 முதல் மே 2024 வரை தன் முகப்புப் பக்கத்தில் ஒரு கேள்வியை வைத்தது. அது ஒரு திரைப்படத் தலைப்பைக் காட்டி, உறுப்பினர் அதைப் பார்த்திருக்கிறாரா என்று கேட்டது. பார்க்கவில்லை என்றால்: அரை நட்சத்திரம் முதல் ஐந்து வரை, அதற்கு எத்தனை நட்சத்திரங்கள் தருவீர்கள் என்று நினைக்கிறீர்கள்?

இத்தகைய 26,020 ஊகங்களில், 551 ஊகங்கள் — 277 உறுப்பினர்களிடமிருந்து — குறைந்தது ஒரு நாள் கழித்து ஓர் உண்மையான மதிப்பீட்டைப் பெற்றன. சரியாக இந்த ஜோடிகளின் மீது, குழு ஊகத்தை நான்கு இயந்திரங்களுடன் ஒப்பிட்டது: MovieLens-இன் சொந்தப் பரிந்துரை அமைப்பின் கணிப்பு; முந்தைய 33 மில்லியன் மதிப்பீடுகளில் பயிற்றுவிக்கப்பட்டு, ஊகத்தின் கணம் வரை உறுப்பினர் மதிப்பிட்ட அனைத்தையும் கொண்டு புதுப்பிக்கப்பட்ட இரண்டு உன்னதமான பரிந்துரை வழிமுறைகள்; மேலும், ஒவ்வொரு இயந்திரக் கணிப்பையும் திரைப்படம், உறுப்பினர் பற்றித் தளம் அறிந்தவற்றுடன் இணைக்கும் ஓர் “அடுக்கு” (stack).

மனிதர்கள் வெல்கின்றனர்

உறுப்பினரின் ஊகம் பிற்கால மதிப்பீட்டுடன் 0.69 அளவு தொடர்புபட்டிருந்தது. பயிற்றுவிக்கப்பட்ட வழிமுறைகள் 0.54 முதல் 0.59 வரை எட்டின; MovieLens-இன் சொந்தக் கணிப்பு, 0.34. சராசரியாக, ஊகம் பிற்கால மதிப்பீட்டிலிருந்து 0.61 நட்சத்திரங்கள் விலகியிருந்தது; எந்த இயந்திரத்துக்கும் இது குறைந்தது 0.72. அது ஏறக்குறைய சார்பற்றதாகவும் (unbiased) இருந்தது; ஆனால் MovieLens பிற்கால மதிப்பீட்டை அரை நட்சத்திரம் மிகைப்படுத்தி மதிப்பிட்டது.

இந்த அனுகூலம், எந்தத் திரைப்படங்கள் நல்லவை அல்லது ஒருவர் எவ்வளவு தாராளமாக மதிப்பிடுகிறார் என்பதை அறிவது மட்டுமல்ல. திரைப்படத்தின் சராசரி ஈர்ப்பையும் உறுப்பினரின் வழக்கமான தாராளத்தையும் நீக்கினாலும், மீதமிருப்பதை — இந்த நபருக்கும் இந்தத் திரைப்படத்துக்கும் இடையிலான தனிப்பட்ட பொருத்தத்தை — ஊகம் இயந்திரங்களைவிட மிகச் சிறப்பாகக் கணிக்கிறது (0.63; இயந்திரங்களுக்கு அதிகபட்சம் 0.47).

இயந்திரங்கள் அறிந்திருந்த அனைத்துடனும் சேர்க்கப்பட்டபோது, ஊகம் கணிப்புப் பிழையை 26% குறைத்தது. மறுதிசையில் இது உண்மையாக இல்லை: எல்லா இயந்திரத் தகவலையும் ஊகத்துடன் சேர்த்தது கண்டறியக்கூடிய எந்த ஆதாயத்தையும் தரவில்லை.

இயந்திரங்கள் நெருங்கி வரும் இடம்

வரிசைப்படுத்துதலில் (ordering) நிலைமை மேலும் சமநிலையானது. ஓர் உறுப்பினர் பின்னர் வெவ்வேறாக மதிப்பிட்ட இரண்டு திரைப்படங்களைக் கொடுத்தால், ஊகம் அவற்றை 72% நேரங்களில் சரியான வரிசையில் வைத்தது. MovieLens 56%-ஐ எட்டியது — ஒரு நாணயச் சுண்டல் 50% பெறும் — ஆனால் பயிற்றுவிக்கப்பட்ட வழிமுறைகள் 64 முதல் 67% வரை எட்டின; இவை அந்த நபரிடமிருந்து புள்ளியியல் ரீதியாகப் பிரித்தறிய முடியாதவை என்று ஆசிரியர்கள் காண்கின்றனர்.

பழக்கமான களத்தில், இயந்திரங்கள் அதே அளவு அல்லது இன்னும் சிறப்பாகச் செயல்படுகின்றன. உறுப்பினர்கள் உண்மையில் பல ஆண்டுகளுக்கு முன்பே மதிப்பிட்டிருந்த திரைப்படங்களுக்கு — பழைய, அதிக அளவில் மதிப்பிடப்பட்ட, தளத்தின் மிகத் தீவிரமான பயனர்களால் மதிப்பிடப்பட்ட திரைப்படங்கள் — வழிமுறைகள் அந்த நபருக்கு இணையாக இருந்தன அல்லது அவரை வென்றன. தரவுகள் குறைவாக உள்ள இடங்களில்தான் நபரின் முன்னிலை மிகப் பெரியது: குறைவாக மதிப்பிடப்பட்ட திரைப்படங்களுக்கு (0.65; ஒரு வழிமுறைக்கு 0.41, MovieLens-க்கு 0.13), உறுப்பினர் அரிதாக மதிப்பிடும் வகைமைகளுக்கு (genres).

உதவாதவை

இரண்டு குறுக்கு வழிகள் தோல்வியடைகின்றன. பிற திரைப்படங்கள் பற்றிய ஓர் உறுப்பினரின் முந்தைய ஊகங்கள், அந்தத் திரைப்படங்கள் எவ்வளவு ஒத்தவை என்பதைக் கொண்டு எடையிடப்பட்டாலும்கூட, கையில் உள்ள திரைப்படம் பற்றிய புதிய ஊகத்துக்கு மாற்றாகாது. மக்கள் எவ்வளவு உறுதியாக இருக்கிறார்கள் என்று கேட்பதும் ஏறக்குறைய எதையும் சேர்ப்பதில்லை: உறுதி பெரும்பாலும் தீவிரமான கருத்துகளையே சுட்டுகிறது; மிக உறுதியாக இருந்த உறுப்பினர்கள் ஓரளவு மிகையான நம்பிக்கை கொண்டவர்களாகத் தெரியவந்தனர்.

மக்கள் தளம் காட்டிய கணிப்பை வெறுமனே நகலெடுக்கவில்லை என்பதையும் ஆசிரியர்கள் சரிபார்த்தனர்: அவர்களின் ஊகங்கள், தற்செயலாக நிகழக்கூடிய அளவுக்கே அதனுடன் பொருந்தின.

தளங்களுக்கான நான்கு விதிகள்

இந்த முடிவுகளிலிருந்து குழு நான்கு வடிவமைப்புக் கொள்கைகளை வகுக்கிறது: குறிப்பிட்ட ஒரு பொருளுக்கான எதிர்பார்க்கப்படும் மதிப்பீட்டைக் கேளுங்கள்; இப்போது முடிவெடுக்கப்படும் பொருள்களைப் பற்றிக் கேளுங்கள்; பரிந்துரை அமைப்புகள் உண்மையில் மறுவரிசைப்படுத்தும் முன்னணி வேட்பாளர்களை வைத்து அவற்றை மதிப்பிடுங்கள் — அங்கே MovieLens ஜோடிகளில் 56%-ஐ மட்டுமே சரியாக வரிசைப்படுத்தியது; மக்களுடன் ஒப்பிடுவதற்கு முன், எந்த வழிமுறைக்கும் தளம் அறிந்த அனைத்தையும் கொடுங்கள்.

வரம்புகள் ஆய்வுக் கட்டுரையில் தெளிவாக உள்ளன. அந்த 551 ஜோடிகள் எல்லா ஊகங்களிலும் 2.1% மட்டுமே; அவை ஒரே ஒரு தளத்தின் ஆர்வலர்களிடமிருந்து வந்தவை; மேலும் மக்கள் தாங்கள் பார்க்கத் தேர்ந்தெடுத்தவற்றையே மதிப்பிடுகின்றனர். கேட்பது, மக்கள் பின்பற்றும் பரிந்துரைகளை உண்மையில் மேம்படுத்துகிறதா என்பதை ஒரு சமவாய்ப்புச் சோதனை (randomised experiment) சொல்லும் என்று ஆசிரியர்கள் பரிந்துரைக்கின்றனர். அதுவரை, அவர்களின் தலைப்பு சொல்வதுபோலவே முடிவு நிற்கிறது: உங்கள் முன் உள்ள திரைப்படத்தைப் பற்றி, எந்த மதிப்பீட்டு வரலாறும் பதிவு செய்யாத ஒன்று உங்களுக்குத் தெரியும்.