கணினியியல் & செயற்கை நுண்ணறிவுமுன்பதிப்புஉருவகப்படுத்தல்படிக்க 4 நிமிடங்கள்

AI-ஐ AI நகலெடுக்கும்போது, யாரோ ஒருவர் கற்றுக்கொண்டே இருக்க வேண்டும்

ஓர் உருவாக்க மாதிரியை (generative model) முந்தைய ஒரு மாதிரியின் வெளியீட்டைக் கொண்டு பயிற்றுவியுங்கள்; அது சீரழிகிறது. அடுத்தடுத்த தலைமுறைகளில், மிக அரிய உள்ளடக்கம் பொதுவானதற்கு முன்பே மறைகிறது; மாதிரி உருவாக்குவது குறுகிக்கொண்டே போகிறது. இந்த மாதிரிச் சரிவு (model collapse) இப்போது நன்கு ஆராயப்பட்டுள்ளது — அதன் தீர்வுகளும் அப்படியே. செயல்படும் தீர்வுகள் அனைத்தும் சுழற்சிக்கு வெளியிலிருந்து எதையாவது கொண்டுவருகின்றன: புதிய மனிதத் தரவு, தக்கவைக்கப்பட்ட உண்மைத் தரவு, சரிபார்ப்பான்கள் (verifiers), மனிதத் தேர்ந்தெடுப்பு (curation).

University of Vermont-ஐச் சேர்ந்த கணினி அறிவியலாளர் Nam Le, அந்தப் பகுப்பாய்வுகள் இயல்பாகவே எடுத்துக்கொள்வதைச் சுட்டிக்காட்டுகிறார். அவை புதிய தரவை, தேவையான எந்த அளவிலும் கிடைக்கும் ஒரு நிலையான காப்பகமாகக் கருதுகின்றன; விவரிக்கப்படும் உலகம் அசையாமல் நிற்கிறது என்றும் அனுமானிக்கின்றன. இரண்டுமே உண்மையல்ல: புதிய உரையை எழுதுவது மனிதர்கள்; அவர்கள் விஷயங்களைத் தாங்களே கண்டறிவதற்குப் பதிலாக மேலும் மேலும் மாதிரிகளிடம் கேட்கிறார்கள்; உலகமும் தொடர்ந்து மாறிக்கொண்டே இருக்கிறது.

ஒரு பழைய முரண்புதிர்

இந்த இரண்டு சிக்கல்களும் ஒரு பழைய கோட்பாட்டின் மையத்தில் உள்ளன. 1988-இல், இன்று Rogers முரண்புதிர் (Rogers’ paradox) என்று அழைக்கப்படுவதை Rogers விவரித்தார்: தனிநபர் அளவில் கற்றுக்கொள்வதை விட மலிவாக இருப்பதால் நகலெடுத்தல் பரவும் ஒரு மக்கள்தொகையில், ஒருபோதும் நகலெடுக்காத ஒரு மக்கள்தொகையை விட எல்லோரும் எந்த வகையிலும் மேம்பட்ட நிலையில் இருப்பதில்லை. நகல்கள் காலாவதியாகின்றன; கற்றுக்கொள்வதற்கு யாராவது தொடர்ந்து விலை கொடுக்க வேண்டும்.

பண்பாட்டுப் பரிணாமத்தில் (cultural evolution) பின்னர் வந்த ஆய்வுகள் இந்தக் கருத்தைச் செம்மைப்படுத்தின. ஒரு விமர்சன (critical) கற்பவர் நகலெடுக்கிறார், அந்த நகலை உலகத்துடன் ஒப்பிட்டுச் சரிபார்க்கிறார், அது தோற்றால் தாமே கற்றுக்கொள்கிறார்; இத்தகைய கற்பவர்கள் எல்லோருடைய பலனையும் உயர்த்துகிறார்கள். ஒரு இணக்கவாத (conformist) கற்பவர் பொதுவாக இருப்பதை நகலெடுக்கிறார்; இது மலிவானது, ஆனால் அரிய வகைகளை அரித்துவிடுகிறது.

ஒரு மாதிரியை இன்னொரு மாதிரியின் வெளியீட்டைக் கொண்டு பயிற்றுவிப்பது சரியாக இந்த அர்த்தத்தில் சமூகக் கற்றல் (social learning) ஆகும்; எனவே இந்தக் கோட்பாடு அதற்குப் பொருந்த வேண்டும் என்பது Le-இன் வாதம். அதன் மிக எளிய வடிவில், ஒரு வழித்தோன்றல் வரிசையின் (lineage) பயிற்சித் தரவில் ஒரு பங்கு புதியதாக இருக்கும்போது, அந்த வரிசை எவ்வளவு அறிவைத் தக்கவைக்கிறது என்பதற்கு இந்தக் கோட்பாடு ஒரு வரி விதியைத் தருகிறது.

Darwin-உம் Moby-Dick-உம், மீண்டும் மீண்டும் நகலெடுக்கப்பட்டவை

அதைச் சோதிக்க, Le சிறிய மொழி மாதிரிகளின் வழித்தோன்றல் வரிசைகளை Project Gutenberg-இன் இரண்டு நூல்களைக் கொண்டு பயிற்றுவித்தார்: Darwin-இன் On the Origin of Species, Melville-இன் Moby-Dick. ஒவ்வொரு தலைமுறையும், முந்தைய தலைமுறை உருவாக்கிய உரையுடன் அந்த நூலின் சிறிது புதிய உரையும் கலந்த கலவையிலிருந்து கற்றுக்கொண்டது.

அவற்றின் சொந்த வெளியீட்டை மட்டுமே உணவாகக் கொடுத்தபோது, சொல் அளவிலான மாதிரிகள் (word-level models) பன்னிரண்டு தலைமுறைகளில் அரிய சொற்களில் ஐந்தில் நான்கை இழந்தன. தொடக்கத் தலைமுறையிலிருந்து எடுத்த ஓர் உரைத் துண்டு இன்னும் இப்படி வாசிக்கிறது: “i cannot see that a genus become fitted for most justly celebrated elder huber”; பன்னிரண்டாவது தலைமுறையில்: “struggle of the on that may inheritable detected i hybrids, kept.”

வியக்க வைப்பது முன்கணிப்புதான். விதியின் ஒரே அளவுருவை (parameter) — நகலெடுக்கப்பட்ட ஓர் அறிவுத் துணுக்கு ஒவ்வொரு தலைமுறையிலும் இழக்கப்படும் வாய்ப்பை — முழுமையாகத் தன் வெளியீட்டையே உணவாகக் கொண்ட வழித்தோன்றல் வரிசையை மட்டும் வைத்து Le பொருத்தினார்; பின்னர், அதை மாற்றாமல், 10%, 30% அல்லது 50% புதிய தரவு கொண்ட வரிசைகளை முன்கணிக்கப் பயன்படுத்தினார். அவை எத்தனை அரிய சொற்களைத் தக்கவைத்தன என்பதுடன் அது 3 சதவீதப் புள்ளிகளுக்குள் பொருந்தியது. அறிவின் இரண்டாவது வகுப்பு ஒன்றைச் சேர்த்தபோது — எளிதில் இழக்கப்படுவது, நீடித்திருப்பது என — இந்த விதி ஒரு சிறிய transformer மாதிரிக்கும், முன்பயிற்சி பெற்ற மொழி மாதிரியான OPT-125m-க்கும் பொருந்தியது.

உலகம் நகரும்போது

அடுத்து, “உலகமே” மாறும்படி செய்யப்பட்டது: இரண்டு நூல்களின் ஊடாக நகரும் ஒரு சாளரம்; அதனால் புதிய சொற்கள் தொடர்ந்து வந்துகொண்டும் பழைய சொற்கள் தொடர்ந்து விலகிக்கொண்டும் இருந்தன. அது எவ்வளவு வேகமாக நகர்ந்ததோ, தன்னையே நகலெடுக்கும் ஒரு வழித்தோன்றல் வரிசைக்கு அவ்வளவு அதிகப் புதிய தரவு தேவைப்பட்டது. முழுக்கப் புதிய ஓர் உரைத்தொகுப்பு (corpus) உள்ளடக்குவதில் 80%-ஐத் தக்கவைக்க, புதிய தரவின் பங்கு ஏறக்குறைய 30%-இலிருந்து ஏறக்குறைய 45%-க்கு உயர வேண்டியிருந்தது. செயற்கை உரை (synthetic text) குவியும்போது, வேகமாக மாறும் துறைகளே முதலில் சீரழியும் என்று கட்டுரை முன்கணிக்கிறது.

முன்பயிற்சி பெற்ற மாதிரி வேறுவிதமாக நடந்துகொண்டது: உலகம் நகர்ந்தாலும் நகராவிட்டாலும் அதன் அறிவு நிலைத்தது. ஒவ்வொரு தலைமுறையிலும் மாற்றமின்றிப் பெறப்படும் அதன் முன்பயிற்சி எடைகள் (weights), நகலெடுக்கும் சங்கிலியின் ஊடாக ஒருபோதும் செல்லாத அறிவு என்பது Le-இன் விளக்கம். ஓர் எச்சரிக்கையுடன்: இங்கே நகர்ந்த உரை, முன்பயிற்சியின்போது மாதிரி ஏற்கெனவே பார்த்திருந்த உரைதான்.

சுழற்சிக்குள் மனிதர்கள்

அடுத்து வருவது கட்டுரைக்கு அதன் தலைப்பைத் தரும் பகுதி. Le ஒரு மாதிரியை உருவாக்கினார்: அதில் மக்கள் ஓர் உண்மையைச் செலவு செய்து தாங்களே கண்டறியலாம், அல்லது இலவசமாக AI-இடம் கேட்கலாம் — அப்போது AI எத்தனை முறை சரியாக இருக்கிறதோ அத்தனை முறை மட்டுமே அவர்களும் சரியாக இருப்பார்கள். மக்கள் எழுதுவது, மாதிரி தானே எழுதும் சிறிது உரையுடன் சேர்ந்து, அடுத்த மாதிரியின் பயிற்சித் தரவாகிறது.

சமநிலை (equilibrium) கடுமையானது:

  • கண்டறிவதன் செலவையும் கணக்கில் கொண்டால், AI அதனிடம் கேட்பது நீங்களே கண்டறிவதற்குச் சரிசமமான பலனைத் தரும் அளவுக்கு மட்டுமே அடிக்கடி சரியாக இருக்கும் நிலையில் முடிகிறது — அதன் அளவு அல்லது கட்டமைப்பு (architecture) எதுவாக இருந்தாலும்;
  • ஒட்டுமொத்தமாக மக்கள், AI இல்லாத நிலையை விட எந்த வகையிலும் மேம்பட்ட நிலையில் இல்லை: மனிதர்களுக்கும் இயந்திரங்களுக்கும் சேர்த்து Rogers முரண்புதிர்;
  • பயிற்சி உரையில் மாதிரிகள் தாமே எழுதும் பகுதி எவ்வளவு அதிகமோ, அவ்வளவு அதிகமான மக்கள் தொடர்ந்து தாமாகவே கற்றுக்கொள்ள வேண்டும் — உரையில் பாதியை மாதிரி எழுதும்போது இரு மடங்கு பேர். புதிய தரவுக்கான விலை மனித உழைப்பால் செலுத்தப்படுகிறது என்று Le முடிவுசெய்கிறார்.

ஒரு வெளியேறும் வழி இருக்கிறது. மக்கள் AI-இன் பதிலை உலகத்துடன் ஒப்பிட்டுச் சரிபார்த்து, அது தவறாக இருக்கும்போது மீண்டும் கற்றுக்கொண்டால், முரண்புதிர் உடைகிறது: உருவகப்படுத்தலில் (simulation), சராசரிப் பலன் 0.93-இல் நிலைகொள்கிறது; AI இல்லாமல் அது 0.70. இந்தப் பார்வையில், சரிபார்ப்பை மலிவாக்கும் கருவிகள் ஒரு வசதி அல்ல; முழு அமைப்பும் சரிந்துவிடாமல் தடுப்பவை அவையே.

நிலைமையை மோசமாக்கும் வடிகட்டிகள்

செயற்கைத் தரவைச் சுத்தம் செய்யப் பயன்படும் வடிகட்டிகளையும் (filters) இதே பார்வை வகைப்படுத்துகிறது. ஒரு மாதிரி மிக நம்பத்தகுந்தவையாகக் கருதும் உரைத் துண்டுகளை (samples) மட்டும் வைத்துக்கொள்வது இணக்கவாத நகலெடுத்தல்; சோதனைகளில் அது அரிய சொற்களின் இழப்பை வேகப்படுத்தியது: முன்பயிற்சி பெற்ற மாதிரி அவற்றில் 5%-ஐத் தக்கவைத்தது; பாதித் துண்டுகள் சீரற்ற முறையில் வைக்கப்பட்டபோது இது 57%. உரையை உலகத்துடன் ஒப்பிட்டுச் சரிபார்க்கும் வடிகட்டிகள் மட்டுமே விமர்சனக் கற்பவர்களைப் போலச் செயல்படுகின்றன. இவை அனைத்தும் சிறிய மாதிரிகளைக் கொண்டே காட்டப்பட்டன — அவற்றில் மிகப் பெரியதில் 125 மில்லியன் அளவுருக்கள் — பெரிய அளவில் இதைச் சோதிப்பதே முக்கியமான திறந்த கேள்வி என்று Le குறிப்பிடுகிறார்.