संगणन आणि एआयप्रीप्रिंटसिम्युलेशनवाचनासाठी ४ मिनिटे

AI जेव्हा AI ची नक्कल करते, तेव्हा कोणाला तरी शिकत राहावेच लागते

एखाद्या जनरेटिव्ह मॉडेलला आधीच्या एका मॉडेलच्या उत्पादनावर प्रशिक्षित करा, आणि त्याचा दर्जा घसरतो. लागोपाठच्या पिढ्यांमध्ये, सर्वात दुर्मीळ आशय सामान्य आशयाआधी नाहीसा होतो, आणि मॉडेल जे निर्माण करते ते आकुंचित होत जाते. या मॉडेल-कोसळण्याचा (model collapse) आता चांगला अभ्यास झाला आहे — आणि त्याच्या उपायांचाही. काम करणारे सर्व उपाय चक्राच्या बाहेरून काहीतरी आणतात: ताजा मानवी डेटा, राखून ठेवलेला खरा डेटा, पडताळक, मानवी निवड-संपादन.

University of Vermont मधील संगणक-शास्त्रज्ञ Nam Le, ही विश्लेषणे कशाला गृहीत धरतात ते दाखवून देतात. ती ताज्या डेटाला एका स्थिर संग्रहासारखे मानतात, जो हव्या तितक्या प्रमाणात उपलब्ध असतो, आणि वर्णन केले जाणारे जग स्थिर राहते असे गृहीत धरतात. दोन्हीपैकी काहीच खरे नाही: ताजा मजकूर लोक लिहितात, आणि हे लोक गोष्टी स्वतः शोधून काढण्याऐवजी अधिकाधिक मॉडेल्सनाच विचारतात; आणि जग बदलत राहते.

एक जुना विरोधाभास

हे दोन्ही मुद्दे एका जुन्या सिद्धांताच्या केंद्रस्थानी आहेत. 1988 मध्ये, Rogers यांनी आज ज्याला Rogers यांचा विरोधाभास (Rogers’ paradox) म्हणतात त्याचे वर्णन केले: ज्या लोकसंख्येत नक्कल पसरते, कारण ती वैयक्तिकरीत्या शिकण्यापेक्षा स्वस्त असते, तिथे अखेरीस कोणाचेही, कधीच नक्कल न केलेल्या लोकसंख्येपेक्षा अधिक भले होत नाही. नकला शिळ्या होतात, आणि कोणाला तरी शिकण्याची किंमत मोजत राहावी लागते.

सांस्कृतिक उत्क्रांतीतील नंतरच्या कामाने ही कल्पना अधिक नेमकी केली. एक चिकित्सक (critical) शिकणारी व्यक्ती नक्कल करते, नकलेला जगाशी पडताळून पाहते आणि ती अपयशी ठरली तर स्वतः शिकते; अशा व्यक्ती प्रत्येकाचा लाभ वाढवतात. एक अनुरूपतावादी (conformist) शिकणारी व्यक्ती जे सामान्य आहे त्याची नक्कल करते; हे स्वस्त असते, पण त्याने दुर्मीळ प्रकारांची झीज होते.

Le यांचा युक्तिवाद असा की एका मॉडेलला दुसऱ्या मॉडेलच्या उत्पादनावर प्रशिक्षित करणे हे नेमक्या याच अर्थाने सामाजिक शिक्षण आहे, म्हणून हा सिद्धांत लागू व्हायला हवा. आपल्या सर्वात सोप्या रूपात, तो एका ओळीचा नियम देतो: एखाद्या वंशावळीच्या प्रशिक्षण-डेटाचा काही वाटा ताजा असताना ती वंशावळ किती ज्ञान राखते.

Darwin आणि Moby-Dick, पुन्हा पुन्हा नकललेले

हे तपासण्यासाठी, Le यांनी Project Gutenberg मधील दोन पुस्तकांवर, Darwin यांच्या On the Origin of Species आणि Melville यांच्या Moby-Dick वर, लहान भाषा मॉडेल्सच्या वंशावळी प्रशिक्षित केल्या. प्रत्येक पिढी आधीच्या पिढीने निर्माण केलेल्या मजकुरातून शिकली, त्यात पुस्तकातील काही ताजा मजकूर मिसळलेला होता.

केवळ स्वतःच्याच उत्पादनावर पोसल्यावर, शब्द-स्तरीय मॉडेल्सनी बारा पिढ्यांत पाचपैकी चार दुर्मीळ शब्द गमावले. सुरुवातीच्या पिढीतील एक नमुना अजूनही असा वाचला जातो: “i cannot see that a genus become fitted for most justly celebrated elder huber”; बाराव्या पिढीपर्यंत: “struggle of the on that may inheritable detected i hybrids, kept.”

सर्वात लक्षवेधी भाग म्हणजे भाकीत. Le यांनी नियमाचा एकमेव प्राचल — नकललेला ज्ञानाचा एखादा तुकडा प्रत्येक पिढीत हरवण्याची शक्यता — केवळ पूर्णपणे स्वतःवरच पोसलेल्या वंशावळीवरून जुळवला, आणि मग तो, न बदलता, 10%, 30% किंवा 50% ताजा डेटा असलेल्या वंशावळींचे भाकीत करण्यासाठी वापरला. त्या वंशावळींनी किती दुर्मीळ शब्द राखले, याच्याशी हे भाकीत 3 टक्के-बिंदूंच्या आत जुळले. ज्ञानाचा दुसरा एक वर्ग — नाजूक विरुद्ध टिकाऊ — जोडल्यावर, हा नियम एका लहान ट्रान्सफॉर्मरसाठी आणि एका पूर्वप्रशिक्षित भाषा मॉडेलसाठी, OPT-125m साठी, सुद्धा टिकला.

जग हलते तेव्हा

पुढे, “जग” स्वतःच बदलेल अशी व्यवस्था केली गेली: दोन पुस्तकांतून सरकत जाणारी एक खिडकी, ज्यामुळे नवा शब्दसंग्रह येत राहिला आणि जुने शब्द बाहेर पडत राहिले. ती जितकी वेगाने सरकली, तितका अधिक ताजा डेटा स्वतःचीच नक्कल करणाऱ्या वंशावळीला लागला. पूर्णपणे ताजा संग्रह जितके व्यापेल त्याच्या 80% राखण्यासाठी, ताज्या डेटाचा वाटा सुमारे 30% वरून सुमारे 45% पर्यंत वाढवावा लागला. शोधनिबंधाचे भाकीत असे की, कृत्रिम मजकूर साचत जाईल तसतशी वेगाने बदलणारी क्षेत्रे सर्वात आधी ढासळतील.

पूर्वप्रशिक्षित मॉडेल वेगळे वागले: जग हलले असो वा नसो, त्याचे ज्ञान टिकून राहिले. Le यांचा अर्थ असा की प्रत्येक पिढीत न बदलता वारशाने मिळणारे त्याचे पूर्वप्रशिक्षित भार (weights) हे असे ज्ञान आहे, जे नकलेच्या साखळीतून कधीच जात नाही. एका इशाऱ्यासह: येथे हलणारा मजकूर हा मॉडेलने पूर्वप्रशिक्षणादरम्यान आधीच पाहिलेला मजकूर होता.

चक्रातील लोक

मग येतो तो भाग, जो शोधनिबंधाला त्याचे शीर्षक देतो. Le यांनी एक प्रारूप तयार केले, ज्यात लोक एखादी वस्तुस्थिती, काही किंमत मोजून, स्वतः शोधून काढू शकतात, किंवा AI ला फुकट विचारू शकतात आणि मग AI जितक्या वेळा बरोबर असते तितक्याच वेळा बरोबर ठरतात. लोक जे लिहितात ते, मॉडेलने स्वतः लिहिलेल्या काही मजकुरासह, पुढच्या मॉडेलचा प्रशिक्षण-डेटा बनते.

समतोल-स्थिती रोखठोक आहे:

  • AI अखेरीस इतक्याच वेळा बरोबर ठरते की त्याला विचारणे स्वतः शोधून काढण्याइतकेच नेमके फायद्याचे ठरते, शोधून काढण्याचा खर्च हिशेबात धरल्यावर — त्याचा आकार किंवा संरचना काहीही असो;
  • एकूण लोक AI शिवाय जितके होते त्यापेक्षा अधिक फायद्यात नसतात: Rogers यांचा विरोधाभास, मानव आणि यंत्रे यांच्यासाठी मिळून;
  • प्रशिक्षण-मजकुराचा जितका अधिक भाग मॉडेल्स स्वतः लिहितात, तितक्या अधिक लोकांना स्वतःहून शिकत राहावे लागते — अर्धा मजकूर मॉडेल-लिखित असेल तेव्हा दुप्पट लोकांना. Le यांचा निष्कर्ष असा की ताज्या डेटाची किंमत मानवी श्रमांनी मोजली जाते.

यातून बाहेर पडण्याचा मार्ग आहे. लोकांनी AI चे उत्तर जगाशी पडताळून पाहिले आणि ते चुकीचे असेल तेव्हा पुन्हा शिकले, तर विरोधाभास तुटतो: सिम्युलेशनमध्ये, सरासरी लाभ 0.93 वर स्थिरावतो, तर AI शिवाय तो 0.70 असतो. पडताळणी स्वस्त करणारी साधने, या दृष्टिकोनातून, केवळ सोय नव्हेत, तर संपूर्ण प्रणालीला कोसळण्यापासून रोखणारी गोष्ट आहेत.

परिस्थिती आणखी बिघडवणारे फिल्टर

हाच दृष्टिकोन कृत्रिम डेटा स्वच्छ करण्यासाठी वापरल्या जाणाऱ्या फिल्टरची वर्गवारी करतो. मॉडेलला सर्वाधिक संभाव्य वाटणारे नमुने ठेवणे म्हणजे अनुरूपतावादी नक्कल, आणि प्रयोगांत तिने दुर्मीळ शब्दांचा ऱ्हास अधिक वेगवान केला: पूर्वप्रशिक्षित मॉडेलने त्यांपैकी 5% राखले, तर अर्धे नमुने यादृच्छिकपणे ठेवल्यावर 57%. केवळ मजकुराला जगाशी पडताळून पाहणारे फिल्टरच चिकित्सक शिकणाऱ्या व्यक्तींसारखे काम करतात. हे सगळे लहान मॉडेल्सद्वारे दाखवले गेले, त्यांपैकी सर्वात मोठ्या मॉडेलमध्ये 125 दशलक्ष प्राचल होते, आणि हे मोठ्या प्रमाणावर तपासणे हा मुख्य अनुत्तरित प्रश्न असल्याचे Le नमूद करतात.