যখন এআই এআই-কে নকল করে, কাউকে না কাউকে শিখে যেতেই হয়
একটি জেনারেটিভ মডেলকে (generative model) আগের একটি মডেলের আউটপুটে প্রশিক্ষণ দিন, তার মান পড়ে যায়। ধারাবাহিক প্রজন্মে বিরলতম বিষয়বস্তু সাধারণ বিষয়বস্তুর আগে হারিয়ে যায়, আর মডেল যা তৈরি করে তা সংকীর্ণ হয়ে আসে। এই মডেল ধস (model collapse) এখন ভালোভাবে অধ্যয়ন করা হয়েছে — তার প্রতিকারগুলোও। কার্যকর সব প্রতিকারই লুপের বাইরে থেকে কিছু একটা নিয়ে আসে: তাজা মানব-ডেটা, ধরে রাখা আসল ডেটা, যাচাইকারী (verifiers), মানুষের হাতে বাছাই (human curation)।
ইউনিভার্সিটি অব ভারমন্টের কম্পিউটার বিজ্ঞানী নাম লে (Nam Le) দেখিয়ে দিয়েছেন, ওই বিশ্লেষণগুলো কী ধরে নেয়। সেগুলো তাজা ডেটাকে একটি স্থির সংগ্রহ (archive) হিসেবে দেখে, যা যত পরিমাণ দরকার তত পাওয়া যায়, আর ধরে নেয় যে যে-জগতের বর্ণনা দেওয়া হচ্ছে তা স্থির হয়ে আছে। দুটির কোনোটিই সত্য নয়: তাজা টেক্সট লেখে মানুষ, যারা ক্রমেই নিজে খুঁজে বের করার বদলে মডেলদের জিজ্ঞেস করছে; আর জগৎ বদলাতেই থাকে।
একটি পুরোনো প্যারাডক্স
দুটি বিষয়ই একটি পুরোনো তত্ত্বের কেন্দ্রে রয়েছে। 1988-এ রজার্স যা বর্ণনা করেছিলেন, তাকে এখন বলা হয় রজার্সের প্যারাডক্স (Rogers’ paradox): এমন একটি জনগোষ্ঠীতে, যেখানে নকল করা ছড়িয়ে পড়ে কারণ ব্যক্তিগতভাবে তা শেখার চেয়ে সস্তা, শেষ পর্যন্ত সবার অবস্থা এমন একটি জনগোষ্ঠীর চেয়ে ভালো হয় না, যেখানে কেউ কখনো নকল করেনি। নকল বাসি হয়ে যায়, আর কাউকে না কাউকে শেখার দাম দিয়ে যেতেই হয়।
সাংস্কৃতিক বিবর্তন নিয়ে পরবর্তী কাজ ধারণাটিকে আরও সূক্ষ্ম করেছে। একজন সমালোচনামূলক (critical) শিক্ষার্থী নকল করে, নকলটিকে জগতের সঙ্গে মিলিয়ে দেখে, আর তা ব্যর্থ হলে নিজে শেখে; এমন শিক্ষার্থীরা সবার প্রাপ্তি বাড়ায়। একজন অনুবর্তী (conformist) শিক্ষার্থী যা প্রচলিত তা-ই নকল করে, যা সস্তা কিন্তু বিরল রূপগুলোকে ক্ষইয়ে দেয়।
লে-র যুক্তি হলো, একটি মডেলকে আরেকটি মডেলের আউটপুটে প্রশিক্ষণ দেওয়া ঠিক এই অর্থেই সামাজিক শিক্ষণ (social learning), তাই তত্ত্বটি এখানে খাটা উচিত। এর সরলতম রূপে, তত্ত্বটি এক লাইনের একটি নিয়ম দেয়: প্রশিক্ষণ ডেটার একটি অংশ তাজা হলে একটি বংশধারা (lineage) কতটা জ্ঞান ধরে রাখে।
ডারউইন আর মোবি-ডিক, বারবার নকল
এটি পরীক্ষা করতে লে প্রজেক্ট গুটেনবার্গের (Project Gutenberg) দুটি বই দিয়ে ছোট ভাষা মডেলের বংশধারা প্রশিক্ষণ দিয়েছেন: ডারউইনের অন দ্য অরিজিন অব স্পিসিস (On the Origin of Species) আর মেলভিলের মোবি-ডিক (Moby-Dick)। প্রতিটি প্রজন্ম শিখেছে আগের প্রজন্মের তৈরি টেক্সট থেকে, যার সঙ্গে মেশানো ছিল বই থেকে কিছু তাজা টেক্সট।
কেবল নিজেদের আউটপুট খেয়ে, শব্দ-স্তরের মডেলগুলো বারো প্রজন্মে প্রতি পাঁচটি বিরল শব্দের চারটি হারিয়েছে। শুরুর প্রজন্মের একটি নমুনা এখনো পড়া যায় এভাবে: “i cannot see that a genus become fitted for most justly celebrated elder huber”; বারোতম প্রজন্মে এসে: “struggle of the on that may inheritable detected i hybrids, kept.”
চমকপ্রদ অংশটি হলো পূর্বাভাস। লে নিয়মটির একমাত্র প্যারামিটার — প্রতি প্রজন্মে নকল করা কোনো জ্ঞানের টুকরো হারিয়ে যাওয়ার সম্ভাবনা — নির্ধারণ (fit) করেছেন কেবল পুরোপুরি নিজের আউটপুটে চলা বংশধারাটি থেকে, তারপর সেটিকে অপরিবর্তিত রেখে 10%, 30% বা 50% তাজা ডেটাসহ বংশধারাগুলোর পূর্বাভাস দিয়েছেন। সেগুলো কতগুলো বিরল শব্দ ধরে রেখেছে, তার সঙ্গে পূর্বাভাস মিলেছে 3 শতাংশ বিন্দুর মধ্যে। জ্ঞানের দ্বিতীয় একটি শ্রেণি যোগ করলে — ভঙ্গুর বনাম টেকসই — নিয়মটি একটি ছোট ট্রান্সফরমার (transformer) এবং একটি প্রাক-প্রশিক্ষিত ভাষা মডেল, OPT-125m-এর ক্ষেত্রেও খেটেছে।
যখন জগৎ সরে যায়
এরপর “জগৎ”-কেই বদলানো হলো: দুটি বইয়ের মধ্য দিয়ে সরে চলা একটি জানালা, ফলে নতুন শব্দভান্ডার আসতেই থাকল আর পুরোনো শব্দ বিদায় নিতে থাকল। জানালা যত দ্রুত সরেছে, নিজেকে নকল করা একটি বংশধারার তত বেশি তাজা ডেটা লেগেছে। পুরোপুরি তাজা একটি কর্পাস (corpus) যতটা জুড়ে থাকত তার 80% ধরে রাখতে, তাজা অংশকে বাড়াতে হয়েছে প্রায় 30% থেকে প্রায় 45%-এ। পেপারটির পূর্বাভাস, কৃত্রিম (synthetic) টেক্সট জমতে থাকলে দ্রুত বদলায় এমন ক্ষেত্রগুলোর মানই সবার আগে পড়বে।
প্রাক-প্রশিক্ষিত মডেলটি অন্যরকম আচরণ করেছে: জগৎ সরুক বা না সরুক, এর জ্ঞান টিকে ছিল। লে-র ব্যাখ্যা হলো, এর প্রাক-প্রশিক্ষিত ওজনগুলো (weights), যা প্রতি প্রজন্মে অপরিবর্তিত অবস্থায় উত্তরাধিকারসূত্রে আসে, এমন জ্ঞান যা কখনো নকলের শৃঙ্খলের মধ্য দিয়ে যায় না। একটি সতর্কতাসহ: এখানে সরে চলা টেক্সটটি ছিল এমন টেক্সট, যা মডেলটি প্রাক-প্রশিক্ষণের সময় আগেই দেখেছিল।
লুপের ভেতরে মানুষ
এরপর আসে সেই অংশ, যা পেপারটিকে তার শিরোনাম দিয়েছে। লে এমন একটি মডেল তৈরি করেছেন, যেখানে মানুষ হয় খরচ করে নিজে কোনো তথ্য খুঁজে বের করতে পারে, নয়তো বিনা খরচে এআই-কে জিজ্ঞেস করতে পারে এবং ঠিক ততবারই সঠিক হয়, যতবার এআই সঠিক। মানুষ যা লেখে তা-ই হয়ে ওঠে পরবর্তী মডেলের প্রশিক্ষণ ডেটা, মডেলের নিজের লেখা কিছু টেক্সটসহ।
ভারসাম্য অবস্থাটি (equilibrium) কঠোর:
- এআই শেষ পর্যন্ত ঠিক ততবারই সঠিক হয়, যতবার হলে তাকে জিজ্ঞেস করা ঠিক ততটাই লাভজনক হয়, যতটা নিজে খুঁজে বের করা, খুঁজে বের করার খরচ হিসাবে ধরলে — এর আকার বা গঠনশৈলী (architecture) যা-ই হোক;
- সামগ্রিকভাবে মানুষের অবস্থা এআই না থাকার চেয়ে একটুও ভালো হয় না: রজার্সের প্যারাডক্স, মানুষ ও যন্ত্রের জন্য একসঙ্গে;
- প্রশিক্ষণ টেক্সটের যত বেশি অংশ মডেলরা নিজেরা লেখে, তত বেশি মানুষকে নিজে নিজে শিখে যেতে হয় — অর্ধেক টেক্সট মডেলের লেখা হলে দ্বিগুণ মানুষকে। লে-র উপসংহার: তাজা ডেটার দাম মেটানো হয় মানুষের পরিশ্রমে।
একটি বেরোনোর পথ আছে। মানুষ যদি এআই-এর উত্তর জগতের সঙ্গে মিলিয়ে দেখে এবং ভুল হলে নতুন করে শেখে, তবে প্যারাডক্সটি ভেঙে যায়: সিমুলেশনে গড় প্রাপ্তি স্থির হয় 0.93-এ, যেখানে এআই ছাড়া তা 0.70। এই দৃষ্টিতে, যাচাইকে সস্তা করে তোলে এমন সরঞ্জাম কেবল সুবিধার ব্যাপার নয়, বরং সেগুলোই পুরো ব্যবস্থাকে ধসে পড়া থেকে রক্ষা করে।
যে ফিল্টার পরিস্থিতি আরও খারাপ করে
একই দৃষ্টিভঙ্গি কৃত্রিম ডেটা পরিষ্কার করতে ব্যবহৃত ফিল্টারগুলোকেও আলাদা করে চিনিয়ে দেয়। একটি মডেলের কাছে সবচেয়ে বিশ্বাসযোগ্য (plausible) মনে হওয়া নমুনাগুলো রেখে দেওয়া হলো অনুবর্তী নকল, আর পরীক্ষাগুলোতে এটি বিরল শব্দ হারানোর গতি বাড়িয়ে দিয়েছে: প্রাক-প্রশিক্ষিত মডেলটি সেগুলোর 5% ধরে রেখেছে, যেখানে অর্ধেক নমুনা এলোমেলোভাবে রাখলে ধরে রেখেছে 57%। কেবল যেসব ফিল্টার টেক্সটকে জগতের সঙ্গে মিলিয়ে দেখে, সেগুলোই সমালোচনামূলক শিক্ষার্থীর মতো কাজ করে। এর সবকিছু দেখানো হয়েছে ছোট মডেল দিয়ে, যার বৃহত্তমটির প্যারামিটার 125 মিলিয়ন, আর লে বড় মাপে এটি পরীক্ষা করাকে প্রধান অমীমাংসিত প্রশ্ন হিসেবে চিহ্নিত করেছেন।
