جدوں اے آئی، اے آئی دی نقل کردی اے، کسے نہ کسے نوں سکھدے رہنا پیندا اے
اک جنریٹو ماڈل (generative model) نوں کسے پہلے ماڈل دی پیداوار اُتے سکھلائی دیو، تے اوہ وگڑ جاندا اے۔ لگاتار نسلاں وچ، سب توں وِرلا مواد عام مواد توں پہلاں غائب ہو جاندا اے، تے ماڈل جو کجھ بناؤندا اے اوہ سوڑا ہوندا جاندا اے۔ ایس ماڈل کولیپس (model collapse) دا ہُن چنگا مطالعہ ہو چکیا اے — تے ایہدے علاجاں دا وی۔ کم کرن والے سارے علاج لوپ (loop) توں باہروں کجھ لیاؤندے نیں: تازہ انسانی ڈیٹا، سانبھیا ہویا اصلی ڈیٹا، تصدیق کرن والے (verifiers)، انسانی چھانٹی (curation)۔
یونیورسٹی آف ورمونٹ دے کمپیوٹر سائنس دان نام لی (Nam Le) اوہ گل وکھاؤندے نیں جو ایہہ تجزیے پہلاں ای منّ لیندے نیں۔ ایہہ تجزیے تازہ ڈیٹا نوں اک پکا ذخیرہ (archive) سمجھدے نیں، جو جِنی وی لوڑ ہووے اونی مقدار وچ ملدا اے، تے ایہہ منّدے نیں کہ جیہڑی دنیا بیان کیتی جا رہی اے اوہ کھلوتی رہندی اے۔ دوہاں وچوں کوئی وی گل سچ نہیں: تازہ لکھت لوک لکھدے نیں، جو ودھ توں ودھ آپ گلاں پتہ کرن دی تھاں ماڈلاں توں پُچھدے نیں؛ تے دنیا بدلدی رہندی اے۔
اک پرانا تضاد
دوویں مسئلے اک پرانی تھیوری دے دل وچ نیں۔ 1988 وچ، راجرز (Rogers) نے اوہ گل بیان کیتی جیہنوں ہُن راجرز دا تضاد (Rogers’ paradox) آکھیا جاندا اے: اک اجیہی آبادی وچ جتھے نقل ایس لئی پھیلدی اے کہ اوہ ہر اک لئی وکھرے طور تے سکھن نالوں سستی اے، آخر وچ ہر کوئی اوس آبادی نالوں کوئی چنگی حالت وچ نہیں ہوندا جیہنے کدی نقل نہیں کیتی۔ نقلاں باسی ہو جاندیاں نیں، تے کسے نہ کسے نوں سکھن دی قیمت تاردے رہنا پیندا اے۔
ثقافتی ارتقا وچ بعد دے کم نے ایس خیال نوں نکھاریا۔ اک تنقیدی (critical) سکھن والا نقل کردا اے، نقل نوں دنیا نال پرکھدا اے تے جے اوہ ناکام ہووے تے آپ سکھدا اے؛ اجیہے سکھن والے ہر کسے دا فائدہ ودھاؤندے نیں۔ اک ریتی پسند (conformist) سکھن والا اوہدی نقل کردا اے جو عام اے، جو سستا اے پر وِرلیاں شکلاں (variants) نوں کھور دیندا اے۔
لی دی دلیل ایہہ اے کہ کسے ماڈل نوں دوجے ماڈل دی پیداوار اُتے سکھلائی دینا بالکل ایسے معنی وچ سماجی سکھلائی (social learning) اے، ایس لئی تھیوری لاگو ہونی چاہیدی اے۔ اپنی سب توں سادی شکل وچ، ایہہ اک سطری اصول دیندی اے کہ جدوں کسے نسلی لڑی (lineage) دے سکھلائی ڈیٹا دا اک حصہ تازہ ہووے تے اوہ کِنا علم سانبھ کے رکھدی اے۔
ڈارون تے موبی ڈک، مُڑ مُڑ نقل
ایہنوں پرکھن لئی، لی نے پروجیکٹ گٹن برگ (Project Gutenberg) دیاں دو کتاباں، ڈارون دی On the Origin of Species تے میلول (Melville) دی Moby-Dick، اُتے نِکے زبانی ماڈلاں دیاں نسلی لڑیاں نوں سکھلائی دتی۔ ہر نسل نے پچھلی نسل دی بنائی لکھت توں سکھیا، جیہدے نال کتاب دی کجھ تازہ لکھت رلائی گئی سی۔
صرف اپنی ای پیداوار کھوائے جان تے، لفظاں دی سطح والے (word-level) ماڈل بارہ نسلاں وچ پنج وچوں چار وِرلے لفظ گوا بیٹھے۔ شروع والی نسل دا اک نمونہ اجے وی انج پڑھیا جاندا اے: «i cannot see that a genus become fitted for most justly celebrated elder huber»؛ بارھویں نسل تیکر: «struggle of the on that may inheritable detected i hybrids, kept.»
حیران کن حصہ پیشین گوئی اے۔ لی نے اصول دا اکلا پیرامیٹر (parameter) — ایہہ امکان کہ نقل کیتا گیا علم دا کوئی ٹکڑا ہر نسل وچ گواچ جاندا اے — صرف پوری طرحاں اپنی پیداوار آپ کھاون والی لڑی اُتے فٹ کیتا، فیر ایہنوں بغیر بدلے 10%، 30% جاں 50% تازہ ڈیٹا والیاں لڑیاں دی پیشین گوئی لئی ورتیا۔ ایہہ اوہناں ولوں سانبھے گئے وِرلے لفظاں دی گنتی نال 3 فیصدی پوائنٹاں دے اندر میل کھا گیا۔ علم دی اک دوجی جماعت، نازک بمقابلہ پائیدار، رلان نال، اصول اک نِکے ٹرانسفارمر (transformer) تے اک پہلاں توں سکھلائے (pretrained) زبانی ماڈل، OPT-125m، لئی وی ٹھیک رہیا۔
جدوں دنیا ہلدی اے
اگلے مرحلے وچ، آپ «دنیا» نوں بدلن والا بنایا گیا: دوہاں کتاباں وچوں کھسکدی اک کھڑکی (window)، تاں جو نویں لفظ آؤندے رہن تے پرانے لفظ جاندے رہن۔ ایہہ جِنی تیز ہلدی سی، اپنی نقل آپ کرن والی لڑی نوں اونا ای ودھ تازہ ڈیٹا چاہیدا سی۔ جو کجھ اک پوری طرحاں تازہ مجموعہ (corpus) کور کردا، اوہدا 80% سانبھن لئی، تازہ حصے نوں لگ بھگ 30% توں لگ بھگ 45% تیکر ودھنا پیا۔ پیپر دی پیشین گوئی اے کہ تیزی نال بدلن والے شعبے سب توں پہلاں وگڑن گے، جیویں جیویں مصنوعی (synthetic) لکھت اکٹھی ہوندی جاوے گی۔
پہلاں توں سکھلائے ماڈل دا رویہ وکھرا سی: اوہدا علم ٹکیا رہیا، دنیا ہلے جاں نہ ہلے۔ لی دی سمجھ ایہہ اے کہ اوہدے پہلاں توں سکھلائے وزن (weights)، جو ہر نسل وچ بغیر بدلے ورثے وچ ملدے نیں، اوہ علم نیں جو کدی نقل دی لڑی وچوں نہیں لنگھدا۔ اک شرط نال: ایتھے ہلن والی لکھت اوہ لکھت سی جو ماڈل پہلاں توں سکھلائی (pretraining) دوران ویکھ چکیا سی۔
لوپ وچ لوک
فیر اوہ حصہ آؤندا اے جو پیپر نوں ایہدا عنوان دیندا اے۔ لی نے اک اجیہا ماڈل بنایا جیہدے وچ لوک یا تے قیمت دے کے کوئی حقیقت آپ پتہ کر سکدے نیں، یا اے آئی توں مفت پُچھ سکدے نیں تے صرف اونی ای واری ٹھیک ہو سکدے نیں جِنی واری اے آئی ٹھیک ہوندی اے۔ لوک جو لکھدے نیں اوہ اگلے ماڈل دا سکھلائی ڈیٹا بن جاندا اے، نال کجھ اوس لکھت دے جو ماڈل آپ لکھدا اے۔
توازن (equilibrium) کرڑا اے:
- اے آئی آخر وچ بس اونی ای واری ٹھیک ہوندی اے کہ اوہدے توں پُچھنا بالکل اونا ای فیدہ دیندا اے جِنا آپ پتہ کرنا، جدوں آپ پتہ کرن دی لاگت وی گِنی جاوے — بھاویں اوہدا سائز جاں بناوٹ (architecture) کجھ وی ہووے؛
- لوک کُل ملا کے اے آئی توں بغیر والی حالت نالوں کوئی چنگی حالت وچ نہیں: راجرز دا تضاد، انساناں تے مشیناں لئی اکٹھا؛
- سکھلائی لکھت دا جِنا ودھ حصہ ماڈل آپ لکھدے نیں، اونے ای ودھ لوکاں نوں اپنے طور تے سکھدے رہنا پیندا اے — جدوں ادھی لکھت ماڈلاں دی لکھی ہووے تے دُگنے۔ لی دا نتیجہ ایہہ اے کہ تازہ ڈیٹا دی قیمت انسانی محنت نال تاری جاندی اے۔
نکلن دا اک راہ ہے۔ جے لوک اے آئی دے جواب نوں دنیا نال پرکھن تے جدوں اوہ غلط ہووے تے مُڑ سکھن، تے تضاد ٹُٹ جاندا اے: سمولیشن وچ، اوسط فائدہ 0.93 اُتے ٹِک جاندا اے، اے آئی توں بغیر 0.70 دے مقابلے۔ ایس نظر نال، تصدیق نوں سستا بناؤن والے اوزار سہولت نہیں، سگوں اوہ چیز نیں جو پورے نظام نوں ڈھہن توں بچاؤندی اے۔
فلٹر جو حالت ہور وگاڑدے نیں
ایہو عدسہ مصنوعی ڈیٹا نوں صاف کرن لئی ورتے جاندے فلٹراں نوں وی چھانٹدا اے۔ اوہ نمونے رکھنا جو ماڈل نوں سب توں ودھ قرین قیاس (plausible) لگدے نیں، ریتی پسند نقل اے، تے تجربیاں وچ ایہنے وِرلے لفظاں دے گواچن نوں تیز کیتا: پہلاں توں سکھلائے ماڈل نے اوہناں دا 5% سانبھیا، جدکہ جدوں ادھے نمونے بے ترتیب (random) رکھے گئے تے 57%۔ صرف اوہ فلٹر جو لکھت نوں دنیا نال پرکھدے نیں تنقیدی سکھن والیاں وانگ کم کردے نیں۔ ایہہ سب کجھ نِکے ماڈلاں نال وکھایا گیا، سب توں وڈا 125 ملین پیرامیٹراں والا، تے لی ایہنوں وڈے پیمانے اُتے پرکھن نوں مُکھ کھُلا سوال دسدے نیں۔
