Kwamfuta da AIKafin bugawaGwajiKaratun minti 5

WANI SAMFURIN HARSHE YANA SAKE RUBUTA NAUYE-NAUYENSA (WEIGHTS) NA KANSA

Ana horar da samfurin harshe (language model) sau ɗaya, a daskare shi kuma a fitar da shi don amfani. Don inganta shi, a al’ada kana buƙatar wani sabon horo — manyan gungun kwamfutoci, tsarin horo (training pipeline) da mutanen da suka san yadda ake amfani da su. Abin da mai amfani zai iya canzawa, wato umarnin da ake ba samfurin (prompt), yana ɓacewa da zarar aikin ya canza. Jiajun Fan, Ge Liu da abokan aikinsu a UIUC, CMU, Rutgers, Princeton da Stanford sun yi wata tambaya dabam: shin samfuri zai iya sake rubuta nauye-nauyensa (weights) na kansa — biliyoyin lambobin da ke bayyana shi — ta hanyar tunani kaɗai, ba tare da wani horo kwata-kwata ba?

Amsarsu, kamar yadda suka rubuta, ita ce i, “a iya saninmu, a karon farko”. Suna kiran wannan sake rubuta kai (self-rewriting).

Zama a kan nauye-nauyensa na kansa

Gwaje-gwajen suna amfani da iyali guda na buɗaɗɗun samfura, Qwen3.5, a girma huɗu: sigogi biliyan 2, 4, 9 da 27. Kowane samfuri yana samun zama (session) a kan nauye-nauyensa na kansa. Yana karɓar amsoshinsa da aka yi musu maki a kan matsalolin lissafi na atisaye, da muhallin Python wanda a cikinsa zai iya karantawa da sake rubuta matrix ɗin nauye-nauyensa. Zai kuma iya gudanar da kansa sau ƙayyadaddu — wucewa gaba (forward passes) 20 — don amsa matsaloli tare da gyaransa da kuma ba tare da shi ba, ta amfani da tsaban ka-ci-ka-tashi (random seeds) iri ɗaya, ko don karanta yanayoyinsa na ɓoye (hidden states).

Abin da ba zai iya yi ba shi ne horarwa. Muhallin yana ƙin duk wani lissafin gradients da duk wani mai ingantawa (optimizer), ba shi da GPU kuma ba shi da hanyar shiga hanyar sadarwa (network), kuma yana toshe gyare-gyaren da kawai za su sauya girman matrix gaba ɗaya. Kowace ƙima da samfurin ya canza an rubuta ta ne da tunaninsa na kansa. Daga nan ana duba sakamakon a kan matsalolin da zaman ba su taɓa gani ba.

Gano matrix ɗin da ya karye

A gwajin farko, ƙungiyar ta ba samfurin mai sigogi biliyan 27 wani lalataccen kwafin kansa: layuka takwas na matrix ɗaya, a shimfiɗa (layer) ta 30 daga cikin 64, an rubuta hayaniya (noise) a kansu. An gaya wa samfurin kawai cewa wasu ƙimomi sun lalace. Kwafin bai warware komai ba.

Zamansa yana karantuwa kamar gyaran kurakuran shirin kwamfuta (debugging). Da farko ya yi zargin shimfiɗun farko — kuskure ne, kuma gwaje-gwajensa na kansa sun faɗi haka. Sannan ya kwatanta nauyi mafi girma a kowane matrix na fitarwa da na al’ada, kuma ya gano mai laifin: “down_proj na shimfiɗa ta 30 yana da wani matsanancin ɗan waje (outlier) na 1397x”. Gyaransa ya kasance mai laushi: a cikin wannan matrix da wasu 19, a sanya rufi ga duk wani nauyi da ya wuce ninki 15 na tsakiyar ƙima (median) na matrix ɗinsa. Bai maido da ƙimomin asali ba, waɗanda bai taɓa gani ba; ya sanya rufi ga na ka-ci-ka-tashin. A kan matsalolin lissafi 200 da aka ware (held-out), kwafin ya tashi daga 0% zuwa 33%. Abin da ya fi ba da mamaki, gyaran, wanda aka samo a kan rubutu kaɗai, ya kuma yi aiki a kan hotuna: a cikin ma’aunan kwatancen hotuna (benchmarks) shida da bai taɓa gani ba, kwafin ya tashi daga 7.3% zuwa 70.2%, wato 83% na daidaiton samfurin da bai lalace ba.

Koya wa kansa tsayawa

A kan nauye-nauyensa na kansa da ba su lalace ba, samfurin 27B ya fara da wani bincike (diagnosis): yawancin amsoshinsa tokens sun ƙare musu kafin su gama, amma kusan dukkan waɗanda suka kammala daidai ne. A kalamansa: “tunanina yana da inganci amma ina yawan surutu ko ba na kai ga ƙarshe yadda ya kamata.”

Don haka ya kwatanta yanayoyinsa na ɓoye a kan amsoshin da ke kammaluwa da amsoshin da ke ci gaba ba iyaka, ya sami alkiblar da ke raba su, kuma ya cire ɗan ƙaramin kaso nata daga shimfiɗa ɗaya. Gwaje-gwajensa sun goyi bayan gyaran. A cikin tsari na biyu (protocol), tsarin aikin (framework) ya kuma duba kowane gyara sau ɗaya a kan matsalolin da aka ajiye kafin samfurin ya zaɓi miƙa shi. A cikin zama takwas na farko na irin wannan, dukkansu an ba da rahotonsu, samfurin ya janye a guda biyar kuma ya miƙa uku. Biyu daga cikinsu sun sa ya inganta a fili (significantly) a kan sababbin matsaloli 490: maki +6.6 (daga 57.2% zuwa 63.8%) da maki +4.0. Ribar mafi girma ta zo ne daga wani sauyi mai sauƙi abin mamaki — ɗan matsa wani saiti ɗaya a kowace shimfiɗar linear attention (linear-attention layer) — bayan haka amsoshi kaɗan ne tokens suka ƙare musu. A kan wata matsala ɗaya, samfurin na asali ya maimaita jimla ɗaya sau 549 ba tare da amsawa ba; bayan gyaran, ya amsa daidai. Kowane daga cikin zaman da suka kawo riba mafi girma ya gudana cikin ’yan sa’o’i a kan GPU guda ɗaya.

Samfuri mafi girma ne kaɗai ya yi nasara

Da aiki iri ɗaya da kayan aiki iri ɗaya, girma ne ya kawo dukkan bambancin. Samfurin mai sigogi biliyan 2 bai yi wani gyara ba: yawancin lambar shirinsa (code) ta gaza. Samfuran biliyan 4 da 9 sun ƙara hayaniyar ka-ci-ka-tashi a nauye-nauyensu kuma sun lalata kansu; samfurin biliyan 9 har ma ya miƙa wani gyara da ya bar shi ba ya iya amsa sababbin matsaloli. Samfurin biliyan 27 ne kaɗai ya auna kafin ya yi aiki kuma ya riƙe abin da gwaje-gwajensa suka goyi baya. A ganin marubutan, wannan ita ce shaida ta farko, a cikin iyalin samfura guda, cewa iyawar gano matsala da sake rubuta nauye-nauyen kai tana ƙaruwa tare da girma.

Abin da iƙirarin ya dogara a kai

Sakamakon ya zo ne daga iyalin samfura guda ɗaya kuma galibi daga matsalolin lissafi. Ribobin galibi suna gyara amsoshin da ba sa ƙarewa, kuma ɗaya daga cikin gyare-gyare uku da aka miƙa bai kawo wata riba mai ma’ana ba. Gyaran yana maido da yawancin, ba duka ba, na abin da lalacewar ta cire. Marubutan suna hango wata makoma inda inganta samfuri zai buƙaci “tattaunawa maimakon horo”, da kuma wataƙila wata hanya zuwa samfuran da ke inganta kansu sau da yawa a jere. Wannan hanya, suka nace, ya kamata a bi ta tare da mutane a cikin tsarin (in the loop): kowane samfurin da samfuri ya yi daga kansa a tantance shi, don aminci da kuma don aikin, kuma mutum ya tabbatar da shi.