কম্পিউটিং ও এআইপ্রিপ্রিন্টপরীক্ষাপড়তে ৪ মিনিট

একটি ভাষা মডেল নিজের ওয়েট নিজেই নতুন করে লেখে

একটি ভাষা মডেলকে একবার প্রশিক্ষণ দেওয়া হয়, স্থির করে রাখা হয়, তারপর চালু করা হয়। একে আরও ভালো করতে সাধারণত দরকার হয় আরেকটি প্রশিক্ষণ — বড় বড় কম্পিউটিং ক্লাস্টার, একটি প্রশিক্ষণ-পাইপলাইন আর সেগুলো চালাতে জানা মানুষ। ব্যবহারকারী যা বদলাতে পারেন, সেই প্রম্পট, কাজ বদলালেই হারিয়ে যায়। UIUC, CMU, Rutgers, Princeton আর Stanford-এর Jiajun Fan, Ge Liu ও সহকর্মীরা ভিন্ন একটি প্রশ্ন করেছেন: একটি মডেল কি নিজের ওয়েট নতুন করে লিখতে পারে — সেই বহু বিলিয়ন সংখ্যা, যা মডেলটিকে সংজ্ঞায়িত করে — কেবল যুক্তি দিয়ে, কোনো প্রশিক্ষণ ছাড়াই?

তাঁদের উত্তর, তাঁরা লিখেছেন, হ্যাঁ, “আমাদের জানামতে প্রথমবারের মতো”। তাঁরা এর নাম দিয়েছেন আত্ম-পুনর্লিখন (self-rewriting)।

নিজের ওয়েট নিয়ে একটি সেশন

পরীক্ষাগুলোতে ব্যবহার করা হয়েছে উন্মুক্ত মডেলের একটিই পরিবার, Qwen3.5, চারটি আকারে: 2, 4, 9 ও 27 বিলিয়ন প্যারামিটার। প্রতিটি মডেল নিজের ওয়েট নিয়ে একটি সেশন পায়। মডেলটি পায় অনুশীলনের গণিত-সমস্যায় তার নম্বর দেওয়া উত্তরগুলো আর একটি Python পরিবেশ, যেখানে এটি নিজের ওয়েট-ম্যাট্রিক্সগুলো পড়তে ও ওভাররাইট করতে পারে। এটি নিজেকে সীমিত সংখ্যকবার চালাতেও পারে — 20টি ফরওয়ার্ড পাস (forward passes) — একই র‍্যান্ডম সিড (random seeds) ব্যবহার করে সম্পাদনাসহ ও সম্পাদনা ছাড়া সমস্যার উত্তর দিতে, অথবা নিজের হিডেন স্টেট (hidden states) পড়তে।

যা এটি পারে না, তা হলো প্রশিক্ষণ। পরিবেশটি গ্রেডিয়েন্টের যেকোনো গণনা আর যেকোনো অপটিমাইজার প্রত্যাখ্যান করে, এতে কোনো GPU নেই, নেটওয়ার্কে প্রবেশাধিকারও নেই, আর এমন সম্পাদনা আটকে দেয় যা কেবল একটি গোটা ম্যাট্রিক্সের স্কেল বদলায়। মডেলটি যে মানই বদলায়, তার প্রতিটি লেখা হয় তার নিজের যুক্তি দিয়ে। তারপর ফলাফল যাচাই করা হয় এমন সমস্যায়, যা সেশনগুলো কখনো দেখেনি।

ভাঙা ম্যাট্রিক্সের খোঁজ

প্রথম পরীক্ষায় দলটি 27 বিলিয়ন প্যারামিটারের মডেলটিকে দিয়েছে নিজেরই একটি ক্ষতিগ্রস্ত কপি: 64টির মধ্যে 30 নম্বর স্তরে একটি ম্যাট্রিক্সের আটটি সারি নয়েজ (noise) দিয়ে ওভাররাইট করা। মডেলটিকে শুধু বলা হয়েছিল যে কিছু মান নষ্ট হয়ে গেছে। কপিটি একটি সমস্যাও সমাধান করতে পারেনি।

এর সেশনটি পড়লে মনে হয় ডিবাগিং। এটি প্রথমে সন্দেহ করেছিল শুরুর দিকের স্তরগুলোকে — ভুল, আর এর নিজের পরীক্ষাই তা বলে দিয়েছে। তারপর এটি প্রতিটি আউটপুট-ম্যাট্রিক্সের সবচেয়ে বড় ওয়েটকে সাধারণ ওয়েটের সঙ্গে তুলনা করে খুঁজে পেয়েছে অপরাধীকে: “স্তর 30-এর down_proj-এ একটি চরম 1397x আউটলায়ার (outlier) আছে”। এর সমাধান ছিল কোমল: সেই ম্যাট্রিক্স আর আরও 19টিতে, নিজের ম্যাট্রিক্সের মধ্যমার 15 গুণের বেশি যেকোনো ওয়েটকে ছেঁটে সেই মাত্রায় বেঁধে দেওয়া। এটি আসল মানগুলো ফিরিয়ে আনেনি, যা এটি কখনো দেখেইনি; এটি এলোমেলো মানগুলোকে ছেঁটেছে। 200টি সংরক্ষিত (held-out) গণিত-সমস্যায় কপিটি 0% থেকে 33%-এ উঠেছে। আরও চমকপ্রদ, শুধু লেখা থেকে খুঁজে পাওয়া মেরামতটি ছবিতেও কাজ করেছে: আগে কখনো না-দেখা ছয়টি ছবি-ভিত্তিক বেঞ্চমার্ক জুড়ে কপিটি 7.3% থেকে 70.2%-এ উঠেছে, যা অক্ষত মডেলের নির্ভুলতার 83%।

নিজেকে থামতে শেখানো

নিজের অক্ষত ওয়েটের ওপর 27B মডেলটি শুরু করেছে একটি রোগনির্ণয় দিয়ে: এর বেশির ভাগ উত্তরের টোকেন ফুরিয়ে যাচ্ছিল, অথচ যেগুলো শেষ হয়েছিল তাদের প্রায় সবই ছিল সঠিক। এর নিজের ভাষায়: “আমার যুক্তি ঠিক আছে, কিন্তু আমি খুব বেশি কথা বলি অথবা দক্ষতার সঙ্গে সিদ্ধান্তে পৌঁছাতে পারি না।”

তাই এটি শেষ হওয়া উত্তর আর চলতেই থাকা উত্তরে নিজের হিডেন স্টেট তুলনা করেছে, দুটিকে আলাদা করে এমন দিকটি খুঁজে পেয়েছে, আর একটি স্তর থেকে সেই দিকের একটি ছোট অংশ সরিয়ে দিয়েছে। এর পরীক্ষাগুলো সম্পাদনাটির পক্ষে রায় দিয়েছে। দ্বিতীয় একটি প্রোটোকলে, মডেলটি জমা দেওয়ার সিদ্ধান্ত নেওয়ার আগে কাঠামোটি প্রতিটি সম্পাদনা সংরক্ষিত সমস্যায় একবার যাচাই করেও দেখেছে। এমন প্রথম আটটি সেশনের, যাদের সবগুলোর ফলাফল জানানো হয়েছে, মডেলটি পাঁচটিতে সরে এসেছে আর তিনটিতে জমা দিয়েছে। তাদের দুটি 490টি নতুন সমস্যায় একে উল্লেখযোগ্যভাবে ভালো করেছে: +6.6 পয়েন্ট (57.2% থেকে 63.8%) আর +4.0 পয়েন্ট। বড় লাভটি এসেছে আশ্চর্যরকম সরল একটি পরিবর্তন থেকে — প্রতিটি লিনিয়ার-অ্যাটেনশন স্তরে (linear-attention layer) একটি সেটিং সামান্য সরানো — যার পর কম উত্তরের টোকেন ফুরিয়েছে। একটি সমস্যায় আসল মডেলটি উত্তর না দিয়ে একটিই বাক্য 549 বার পুনরাবৃত্তি করেছিল; সম্পাদনার পর এটি সঠিক উত্তর দিয়েছে। সবচেয়ে বড় লাভের পেছনের প্রতিটি সেশন একটিমাত্র GPU-তে কয়েক ঘণ্টায় চলেছে।

কেবল সবচেয়ে বড় মডেলটিই পারে

একই কাজ আর একই সরঞ্জাম নিয়ে আকারই সব তফাত গড়ে দিয়েছে। 2 বিলিয়ন প্যারামিটারের মডেলটি কোনো সম্পাদনাই করেনি: এর বেশির ভাগ কোড ব্যর্থ হয়েছে। 4 ও 9 বিলিয়নের মডেলগুলো নিজেদের ওয়েটে এলোমেলো নয়েজ যোগ করে নিজেদের ভেঙে ফেলেছে; 9 বিলিয়নের মডেলটি তো এমন একটি সম্পাদনাও জমা দিয়েছে, যার পর এটি নতুন সমস্যার উত্তরই দিতে পারছিল না। কেবল 27 বিলিয়নের মডেলটিই কাজ করার আগে মেপে দেখেছে আর এর পরীক্ষা যা সমর্থন করেছে, শুধু তা-ই রেখেছে। লেখকদের মতে, এটি একটি মডেল-পরিবারের মধ্যে প্রথম প্রমাণ যে নিজের ওয়েট নির্ণয় ও পুনর্লিখনের ক্ষমতা আকারের সঙ্গে বাড়ে।

দাবিগুলো কিসের ওপর দাঁড়িয়ে

ফলাফলগুলো এসেছে একটিমাত্র মডেল-পরিবার থেকে, আর মূলত গণিত-সমস্যা থেকে। লাভগুলো প্রধানত সারায় কখনো শেষ না হওয়া উত্তরগুলো, আর জমা দেওয়া তিনটি সম্পাদনার একটি কোনো উল্লেখযোগ্য লাভ আনেনি। ক্ষতিতে যা হারিয়েছিল, মেরামতটি তার বেশির ভাগ ফিরিয়ে আনে, সবটা নয়। লেখকেরা এমন এক ভবিষ্যৎ দেখেন, যেখানে একটি মডেল উন্নত করতে লাগবে “একটি প্রশিক্ষণ-পর্ব নয়, বরং একটি কথোপকথন”, আর হয়তো এমন মডেলের দিকে একটি পথ, যারা বারবার নিজেদের উন্নত করে। সেই পথ, তাঁরা জোর দিয়ে বলেন, নিতে হবে মানুষকে প্রক্রিয়ার ভেতরে রেখে (in the loop): একটি মডেল নিজের যে সংস্করণই তৈরি করুক, তার প্রতিটির মূল্যায়ন হবে নিরাপত্তার দিক থেকেও, কাজের দিক থেকেও, আর তা নিশ্চিত করবেন একজন মানুষ।