MODELI YA LUGHA INAANDIKA UPYA UZITO WAKE YENYEWE
Modeli ya lugha hufunzwa mara moja, hugandishwa na kutumwa kazini. Ili kuiboresha, kwa kawaida unahitaji mzunguko mwingine wa mafunzo — makundi makubwa ya kompyuta, mfumo wa mafunzo na watu wanaojua kuvitumia. Kile ambacho mtumiaji anaweza kubadilisha, maelekezo (prompt), hutoweka mara kazi inapobadilika. Jiajun Fan, Ge Liu na wenzao katika UIUC, CMU, Rutgers, Princeton na Stanford waliuliza swali tofauti: je, modeli inaweza kuandika upya uzito wake (weights) — mabilioni ya nambari zinazoifafanua — kwa kutafakari peke yake, bila mafunzo yoyote?
Jibu lao, wanaandika, ni ndiyo, “kwa ufahamu wetu kwa mara ya kwanza”. Wanakiita kujiandika upya (self-rewriting).
Kikao juu ya uzito wake yenyewe
Majaribio yanatumia familia moja ya modeli huria, Qwen3.5, katika ukubwa nne: vigezo bilioni 2, 4, 9 na 27. Kila modeli inapewa kikao juu ya uzito wake yenyewe. Inapokea majibu yake yaliyotiwa alama kwenye matatizo ya mazoezi ya hisabati, pamoja na mazingira ya Python ambamo inaweza kusoma na kuandika juu ya matriki zake za uzito. Inaweza pia kujiendesha yenyewe idadi ndogo ya mara — pasi 20 za mbele (forward passes) — kujibu matatizo ikiwa na uhariri wake na bila uhariri huo, kwa kutumia mbegu zilezile za nasibu (random seeds), au kusoma hali zake zilizofichika (hidden states).
Kile ambacho haiwezi kufanya ni kufanya mafunzo. Mazingira yanakataa ukokotoaji wowote wa gradienti na optimaiza (optimizer) yoyote, hayana GPU wala ufikiaji wa mtandao, na yanazuia uhariri ambao ungebadilisha tu kipimo cha matriki nzima. Kila thamani ambayo modeli inabadilisha imeandikwa na kutafakari kwake yenyewe. Kisha matokeo hukaguliwa kwenye matatizo ambayo vikao havijawahi kuona.
Kupata matriki iliyoharibika
Katika jaribio la kwanza, timu iliipa modeli ya vigezo bilioni 27 nakala yake iliyoharibiwa: safu mlalo nane za matriki moja, katika tabaka la 30 kati ya 64, zilizoandikwa juu kwa kelele (noise). Modeli iliambiwa tu kwamba baadhi ya thamani zilikuwa zimeharibiwa. Nakala hiyo haikutatua chochote.
Kikao chake kinasomeka kama utatuzi wa hitilafu (debugging). Kwanza ilishuku tabaka za mwanzo — ilikosea, na majaribio yake yenyewe yalisema hivyo. Kisha ililinganisha uzito mkubwa zaidi katika kila matriki ya matokeo na ule wa kawaida, na ikampata mhusika: “down_proj ya tabaka la 30 ina thamani iliyojitenga (outlier) iliyokithiri ya 1397x”. Marekebisho yake yalikuwa ya upole: katika matriki hiyo na nyingine 19, ilibana uzito wowote ulio juu ya mara 15 ya wastani wa kati (median) wa matriki yake. Haikurejesha thamani za asili, ambazo haikuwahi kuziona; ilibana zile za nasibu. Kwenye matatizo 200 ya hisabati yaliyohifadhiwa kando (held-out), nakala ilitoka 0% hadi 33%. Cha kushangaza zaidi, marekebisho hayo, yaliyopatikana kwa maandishi pekee, yalifanya kazi pia kwa picha: katika vipimo sita vya picha (benchmarks) ambavyo haikuwahi kuviona, nakala ilipanda kutoka 7.3% hadi 70.2%, ambayo ni 83% ya usahihi wa modeli isiyoharibiwa.
Kujifunza kusimama
Kwenye uzito wake yenyewe usioharibiwa, modeli ya 27B ilianza na utambuzi: majibu yake mengi yaliishiwa na tokeni, ilhali karibu yote yaliyomalizika yalikuwa sahihi. Kwa maneno yake yenyewe: “hoja zangu ni sahihi lakini ninatumia maneno mengi mno au sifikii hitimisho kwa ufanisi.”
Basi ililinganisha hali zake zilizofichika kwenye majibu yanayomalizika na majibu yanayoendelea bila mwisho, ikapata mwelekeo unaoyatenganisha, na ikaondoa sehemu ndogo yake kutoka tabaka moja. Majaribio yake yaliupendelea uhariri huo. Katika itifaki ya pili, mfumo pia ulikagua kila uhariri mara moja kwenye matatizo yaliyohifadhiwa kando kabla modeli haijachagua kuuwasilisha. Katika vikao vinane vya kwanza vya aina hiyo, vyote vikiwa vimeripotiwa, modeli ilijiondoa katika vitano na ikawasilisha mabadiliko katika vitatu. Mabadiliko mawili kati ya hayo yaliifanya iwe bora zaidi kwa kiasi kikubwa kitakwimu kwenye matatizo mapya 490: alama +6.6 (kutoka 57.2% hadi 63.8%) na alama +4.0. Ongezeko kubwa zaidi lilitokana na badiliko rahisi kwa kushangaza — kusogeza kidogo mpangilio mmoja katika kila tabaka la umakini wa mstari (linear-attention layer) — baada ya hapo majibu machache zaidi yaliishiwa na tokeni. Katika tatizo moja, modeli ya asili ilirudia sentensi moja mara 549 bila kujibu; baada ya uhariri, ilijibu kwa usahihi. Kila kikao kilicholeta maongezeko makubwa zaidi kilichukua saa chache kwenye GPU moja.
Ni modeli kubwa zaidi pekee inayofaulu
Kwa kazi na zana zilezile, ukubwa ulileta tofauti yote. Modeli ya vigezo bilioni 2 haikufanya uhariri wowote: msimbo wake mwingi ulishindwa. Modeli za bilioni 4 na 9 ziliongeza kelele ya nasibu kwenye uzito wao na zikajiharibu zenyewe; modeli ya bilioni 9 hata iliwasilisha uhariri ulioiacha ikishindwa kujibu matatizo mapya. Ni modeli ya bilioni 27 pekee iliyopima kabla ya kutenda na kuhifadhi kile ambacho majaribio yake yaliunga mkono. Kwa waandishi, huu ni ushahidi wa kwanza, ndani ya familia moja ya modeli, kwamba uwezo wa kutambua tatizo na kuandika upya uzito wake yenyewe hukua pamoja na ukubwa.
Madai yanategemea nini
Matokeo yanatoka kwa familia moja ya modeli na hasa kutoka kwa matatizo ya hisabati. Maboresho kwa kiasi kikubwa yanarekebisha majibu yasiyoisha kamwe, na moja kati ya mabadiliko matatu yaliyowasilishwa halikuleta ongezeko kubwa kitakwimu. Marekebisho yanarejesha sehemu kubwa, si yote, ya kile ambacho uharibifu uliondoa. Waandishi wanaona siku zijazo ambapo kuboresha modeli kutahitaji “mazungumzo badala ya mzunguko wa mafunzo”, na pengine njia kuelekea modeli zinazojiboresha zenyewe tena na tena. Njia hiyo, wanasisitiza, inapaswa kufuatwa huku watu wakiwa ndani ya mzunguko: kila modeli ambayo modeli inaitengeneza kutoka kwake yenyewe ikitathminiwa, kwa usalama na pia kwa kazi husika, na kuthibitishwa na mtu.
