جب AI، AI کی نقل کرے، تو کسی نہ کسی کو سیکھتے رہنا پڑتا ہے
کسی تخلیقی (generative) ماڈل کو کسی پچھلے ماڈل کی پیداوار پر تربیت دیں، تو اس کا معیار گرنے لگتا ہے۔ یکے بعد دیگرے نسلوں میں، سب سے نایاب مواد عام مواد سے پہلے غائب ہو جاتا ہے، اور ماڈل جو کچھ پیدا کرتا ہے اس کا دائرہ تنگ ہوتا جاتا ہے۔ اس ماڈل کے انہدام (model collapse) کا اب اچھی طرح مطالعہ ہو چکا ہے — اور اس کے علاجوں کا بھی۔ جو بھی علاج کارگر ہیں، وہ سب اس چکر کے باہر سے کچھ نہ کچھ لاتے ہیں: تازہ انسانی ڈیٹا، محفوظ رکھا گیا اصل ڈیٹا، تصدیق کار (verifiers)، انسانی چھانٹی (curation)۔
University of Vermont کے کمپیوٹر سائنسدان Nam Le نے اس بات کی نشاندہی کی ہے کہ یہ تجزیے کن چیزوں کو بلا سوال مان لیتے ہیں۔ یہ تجزیے تازہ ڈیٹا کو ایک مقررہ ذخیرہ (archive) سمجھتے ہیں، جو جتنی مقدار میں چاہیے دستیاب ہو، اور فرض کرتے ہیں کہ جس دنیا کو بیان کیا جا رہا ہے وہ ساکن ہے۔ دونوں باتیں درست نہیں: تازہ تحریر لوگ لکھتے ہیں، جو چیزیں خود معلوم کرنے کے بجائے بڑھتی ہوئی حد تک ماڈلز سے پوچھتے ہیں؛ اور دنیا بدلتی رہتی ہے۔
ایک پرانا تضاد
یہ دونوں مسائل ایک پرانے نظریے کے مرکز میں ہیں۔ 1988 میں Rogers نے اس چیز کو بیان کیا جسے اب Rogers کا تضاد (Rogers’ paradox) کہا جاتا ہے: ایک ایسی آبادی میں جہاں نقل اس لیے پھیلتی ہے کہ وہ انفرادی طور پر سیکھنے سے سستی ہے، آخرکار ہر کوئی اس آبادی سے ذرا بھی بہتر حالت میں نہیں ہوتا جس نے کبھی نقل نہیں کی۔ نقلیں باسی ہو جاتی ہیں، اور کسی نہ کسی کو سیکھنے کی قیمت ادا کرتے رہنا پڑتا ہے۔
ثقافتی ارتقا پر بعد کے کام نے اس خیال کو نکھارا۔ ایک تنقیدی (critical) سیکھنے والا نقل کرتا ہے، نقل کو دنیا سے پرکھتا ہے اور اگر وہ ناکام ہو تو خود سیکھتا ہے؛ ایسے سیکھنے والے سب کا فائدہ بڑھاتے ہیں۔ ایک مطابقت پسند (conformist) سیکھنے والا وہ نقل کرتا ہے جو عام ہو، جو سستا تو ہے لیکن نایاب اقسام کو گھسا دیتا ہے۔
Le کی دلیل یہ ہے کہ کسی ماڈل کو دوسرے ماڈل کی پیداوار پر تربیت دینا ٹھیک اسی معنی میں سماجی سیکھنا (social learning) ہے، اس لیے یہ نظریہ اس پر لاگو ہونا چاہیے۔ اپنی سادہ ترین صورت میں، یہ نظریہ ایک سطری اصول دیتا ہے کہ جب کسی سلسلۂ نسل (lineage) کے تربیتی ڈیٹا کا ایک حصہ تازہ ہو تو وہ سلسلہ کتنا علم برقرار رکھتا ہے۔
Darwin اور Moby-Dick، بار بار نقل
اسے جانچنے کے لیے، Le نے Project Gutenberg کی دو کتابوں، Darwin کی On the Origin of Species اور Melville کی Moby-Dick، پر چھوٹے لسانی ماڈلز کے سلسلے تربیت دیے۔ ہر نسل نے پچھلی نسل کی پیدا کردہ تحریر سے سیکھا، جس میں کتاب کی کچھ تازہ تحریر ملائی گئی تھی۔
صرف اپنی ہی پیداوار پر پالے جانے پر، لفظ کی سطح پر کام کرنے والے ماڈلز (word-level models) نے بارہ نسلوں میں ہر پانچ میں سے چار نایاب الفاظ کھو دیے۔ ابتدائی نسل کا ایک نمونہ اب بھی کچھ یوں ہے: “i cannot see that a genus become fitted for most justly celebrated elder huber”؛ بارہویں نسل تک یہ بن گیا: “struggle of the on that may inheritable detected i hybrids, kept.”
نمایاں پہلو پیش گوئی ہے۔ Le نے اصول کے واحد پیرامیٹر — اس بات کا امکان کہ نقل کیا گیا علم کا کوئی ٹکڑا ہر نسل میں کھو جائے — کو صرف اس سلسلے پر فٹ کیا جو مکمل طور پر اپنی ہی پیداوار پر پلا تھا، پھر اسی پیرامیٹر کو، بغیر کسی تبدیلی کے، 10%، 30% یا 50% تازہ ڈیٹا والے سلسلوں کی پیش گوئی کے لیے استعمال کیا۔ ان سلسلوں نے کتنے نایاب الفاظ برقرار رکھے، اس بارے میں پیش گوئی 3 فیصدی پوائنٹس کے اندر درست نکلی۔ علم کی ایک دوسری قسم (نازک بمقابلہ پائیدار) شامل کرنے پر، یہ اصول ایک چھوٹے ٹرانسفارمر (transformer) اور ایک پہلے سے تربیت یافتہ (pretrained) لسانی ماڈل، OPT-125m، کے لیے بھی درست رہا۔
جب دنیا بدلتی ہے
اس کے بعد، خود “دنیا” کو بدلنے دیا گیا: دونوں کتابوں میں سرکتی ہوئی ایک کھڑکی، تاکہ نیا ذخیرۂ الفاظ آتا رہے اور پرانے الفاظ نکلتے رہیں۔ یہ کھڑکی جتنی تیزی سے سرکتی، اپنی ہی نقل کرنے والے سلسلے کو اتنے ہی زیادہ تازہ ڈیٹا کی ضرورت پڑتی۔ ایک مکمل طور پر تازہ مجموعۂ متن (corpus) جتنا احاطہ کرتا، اس کا 80% برقرار رکھنے کے لیے تازہ حصے کو تقریباً 30% سے بڑھ کر تقریباً 45% تک جانا پڑا۔ مقالے کی پیش گوئی ہے کہ جیسے جیسے مصنوعی (synthetic) تحریر جمع ہوتی جائے گی، تیزی سے بدلنے والے شعبے سب سے پہلے بگڑیں گے۔
پہلے سے تربیت یافتہ ماڈل کا برتاؤ مختلف تھا: اس کا علم برقرار رہا، چاہے دنیا بدلے یا نہ بدلے۔ Le کی تشریح یہ ہے کہ اس کے پہلے سے تربیت یافتہ وزن (weights)، جو ہر نسل کو بغیر کسی تبدیلی کے وراثت میں ملتے ہیں، ایسا علم ہیں جو کبھی نقل کی زنجیر سے نہیں گزرتا۔ ایک انتباہ کے ساتھ: یہاں بدلتی ہوئی تحریر وہ تھی جسے ماڈل پیشگی تربیت (pretraining) کے دوران پہلے ہی دیکھ چکا تھا۔
انسان اس چکر میں
پھر وہ حصہ آتا ہے جو مقالے کو اس کا عنوان دیتا ہے۔ Le نے ایک ماڈل بنایا جس میں لوگ یا تو کوئی حقیقت ایک قیمت ادا کر کے خود معلوم کر سکتے ہیں، یا مفت میں AI سے پوچھ سکتے ہیں اور صرف اتنی ہی بار درست ہو سکتے ہیں جتنی بار AI درست ہو۔ لوگ جو کچھ لکھتے ہیں وہ اگلے ماڈل کا تربیتی ڈیٹا بن جاتا ہے، ساتھ میں کچھ ایسی تحریر بھی جو ماڈل خود لکھتا ہے۔
توازن (equilibrium) کی تصویر بے رحمانہ حد تک واضح ہے:
- AI آخرکار بس اتنی بار درست ہوتی ہے کہ اس سے پوچھنا ٹھیک اتنا ہی فائدہ دیتا ہے جتنا خود معلوم کرنا، جب خود معلوم کرنے کی لاگت بھی شمار کی جائے — اس کی جسامت یا ساخت (architecture) چاہے جو بھی ہو؛
- مجموعی طور پر لوگ AI کے بغیر والی حالت سے ذرا بھی بہتر نہیں ہوتے: Rogers کا تضاد، انسانوں اور مشینوں دونوں کے لیے ایک ساتھ؛
- تربیتی تحریر کا جتنا زیادہ حصہ ماڈلز خود لکھتے ہیں، اتنے ہی زیادہ لوگوں کو خود سیکھتے رہنا پڑتا ہے — جب آدھی تحریر ماڈل کی لکھی ہو تو دگنی تعداد کو۔ Le کا نتیجہ یہ ہے کہ تازہ ڈیٹا کی قیمت انسانی محنت سے ادا ہوتی ہے۔
نکلنے کا ایک راستہ موجود ہے۔ اگر لوگ AI کے جواب کو دنیا سے پرکھیں اور غلط ہونے پر دوبارہ سیکھیں، تو تضاد ٹوٹ جاتا ہے: سمولیشن میں، اوسط فائدہ 0.93 پر ٹھہرتا ہے، جبکہ AI کے بغیر یہ 0.70 ہے۔ اس نقطۂ نظر سے، وہ اوزار جو تصدیق کو سستا بناتے ہیں محض ایک سہولت نہیں، بلکہ وہی چیز ہیں جو پورے نظام کو منہدم ہونے سے بچاتی ہے۔
چھلنیاں جو حالات بدتر کر دیتی ہیں
یہی عدسہ ان چھلنیوں (filters) کی بھی درجہ بندی کرتا ہے جو مصنوعی ڈیٹا کو صاف کرنے کے لیے استعمال ہوتی ہیں۔ ان نمونوں کو رکھنا جنہیں کوئی ماڈل سب سے زیادہ قرینِ قیاس سمجھے، مطابقت پسند نقل ہے، اور تجربات میں اس نے نایاب الفاظ کے ضیاع کو تیز کر دیا: پہلے سے تربیت یافتہ ماڈل نے ان میں سے 5% برقرار رکھے، جبکہ آدھے نمونے بے ترتیب طور پر رکھنے پر 57% برقرار رہے۔ صرف وہی چھلنیاں تنقیدی سیکھنے والوں کی طرح کام کرتی ہیں جو تحریر کو دنیا سے پرکھتی ہیں۔ یہ سب چھوٹے ماڈلز کے ساتھ دکھایا گیا، جن میں سب سے بڑے کے 125 ملین پیرامیٹر تھے، اور Le نے اسے بڑے پیمانے پر جانچنے کو سب سے اہم کھلا سوال قرار دیا ہے۔
