KUSAN KASHI ƊAYA CIKIN UKU NA YANAR GIZO AI CE KE RUBUTA SHI YANZU
Manyan samfuran harshe (large language models) suna koyo ne galibi daga rubutun da aka tattara a yanar gizo. Kuma ƙari da ƙari na wannan rubutu AI ce ke rubuta shi da kanta. Marubutan suna kiransa rubutun AI na “daji” (wild AI text): wanda samfura daban-daban da yawa suka rubuta don masu karatu ’yan adam, aka wallafa a yanar gizo, sannan aka kwashe shi cikin bayanan horo gauraye da rubutun ɗan adam kuma ba tare da alama ba. Ba “rushewar samfuri” (model collapse) ba ne, inda ake sake horar da samfuri a kan abin da shi kansa ya fitar, kuma ba bayanan roba (synthetic data) da aka zaɓa da gangan don taimakawa horo ba ne.
Jenna Russell, Mohit Iyyer da abokan aikinsu a Jami’ar Maryland da kuma a Pangram Labs, kamfanin da ke sayar da na’urar gano rubutun AI, sun shirya auna yawan wannan rubutu da kuma abin da yake yi wa samfuri.
AI nawa ke kan yanar gizo?
Ta amfani da tsarin FineWeb, wanda ke tace babban ma’ajiyar yanar gizo ta Common Crawl, ƙungiyar ta sake gina tarin rubutun har zuwa Yuni 2026: takardu miliyan 96, token biliyan 83, guntayen kalmomi da samfuri ke karantawa. An yi wa kowace takarda alama da na’urar ganowa ta kamfanin, Pangram, wadda adadin kuskuren tabbatarwa (false positives) da aka ba da rahotonsa shi ne 0.05%; a kan takardu 60,000 daga 2021, kafin fitar ChatGPT a ƙarshen 2022, ta yi wa 0.062% kawai alama a matsayin AI.
Kason token da AI ta rubuta cikin rubutun yanar gizo da ya wuce matatun inganci na FineWeb:
- ƙasa da 0.1% a Yuni 2021;
- 10.1% a Yuni 2024, 16.1% a Yuni 2025;
- 27.5% a Yuni 2026, 31.1% a Agusta 2026;
- hasashe: 42.3% a ƙarshen 2027, 50.7% a ƙarshen 2028.
Ƙaruwar ba ta daidaita ba. A 2026 kusan rabin token na koyarwa (tutorial) da na “labarin ilimi” an yi musu alama a matsayin AI, idan aka kwatanta da 9% na labarai da 5% na shafukan yanar gizo na kai-da-kai. Mafi muni, matatun inganci da ake amfani da su don gina saitin horo suna fifita rubutun AI: FineWeb tana riƙe takardun AI sau 2.3 fiye da na ɗan adam, matatar DCLM kuma sau 9.8.
Samfura 800 a gwaji
Ƙungiyar ta yi horon farko (pretraining) na ƙananan samfuran harshe 800, daga parameter miliyan 19.9 zuwa miliyan 973, tana ƙara daga sifili zuwa token 64 na AI a kowane token na ɗan adam zuwa wani ƙayyadajjen tarin rubutun ɗan adam, sannan ta kwatanta kowanne da samfurin guda da aka ba adadin sabbin token na ɗan adam iri ɗaya maimakon haka.
- Rubutun AI ya taimaka ne kawai ga samfuran da ke fama da ƙarancin bayanai, ƙasa da kusan token 10 na ɗan adam a kowane parameter.
- Daga kasafin lissafi mafi dacewa da aka saba na kusan token 20 a kowane parameter, ƙara rubutun AI ya ƙara kuskure a rubutun ɗan adam, yayin da ƙarin rubutun ɗan adam ya ci gaba da rage shi.
- Mafi kyawun kason rubutun AI don hasashen rubutun ɗan adam ya faɗi daga 37% a token 5 a kowane parameter zuwa 1% a 20. Don hasashen rubutun AI, ya kasance sama da 90%.
- Maimaita rubutun ɗan adam iri ɗaya ya fi ƙara sabon rubutun AI: kuskure ya ragu da 2.3% bayan ƙarin zagaye ɗaya, kusan 6.3% bayan takwas.
- Samfuran da aka horar a kan rubutun AI sun fara rubutu kamar AI: kalmomi kamar “delve” da “tapestry” sun tashi daga 0.16 zuwa 0.54 a kowace kalma 1,000.
“Dokokin girma” (scaling laws) da ake da su — dabaru da ke hasashen kuskuren samfuri daga girmansa da bayanansa — suna ɗaukar token na AI kamar na ɗan adam kuma suna kuskure a nan. Marubutan sun gabatar da sabuwar doka mai fa’ida da ke cika (saturate) da kuma lahani da ke ƙaruwa bisa logarithm, ta yadda ƙimar token na AI za ta iya zama mara kyau (negative). Da aka daidaita ta a kan samfura har zuwa parameter miliyan 268, tana hasashen samfura masu girma sau 3.6 da kuskure ƙasa da 41% fiye da mafi kyawun dokar da ake da ita, ko da yake ƙarin bayani (appendix) ya lura cewa fifikonta ba shi da muhimmanci a ƙididdiga a kan saitin gwaji biyu a ƙananan kason AI.
Lissafin rashin tacewa
Bisa ga wannan doka, horo a kan rubutun yanar gizo da ba a tace ba a kason AI na Agusta 2026 yana cin ƙarfin kwamfuta sau 1.6 na horo a kan ɓangarensa na ɗan adam kaɗai — sau 3.0 a kason da aka hasashe na 2028. Kuma ɓarnar tana da sauƙin wucewa ba a gani: rubutun AI ya fi sauƙin hasashe, don haka saitin tabbatarwa (validation set) mai 22.3% na rubutun AI ya ba da rahoton 95.5% na gudanarwar da ke da lahani a matsayin ci gaba. Makin daidaitattun gwaje-gwaje (benchmarks) suma sun tashi kusan daidai da rubutun AI kamar da rubutun ɗan adam.
Marubutan suna ba da shawarar tace rubutun AI idan manufar ita ce rubutun ɗan adam, maimaita bayanan ɗan adam kafin ƙara bayanan AI, da ba da rahoton kurakurai a kan rubutun ɗan adam da na AI daban-daban. Iyakokin gaske ne: samfuran da ba su wuce parameter miliyan 973 ba, Turanci kawai, horon farko kawai, da na’urar ganowa ɗaya, wadda kamfanin marubutan ya ƙera — kuma waɗannan sakamakon suna amfanar kasuwancinsa. Don ba da damar dubawa mai zaman kanta, sun saki tarin rubutun, dukkan samfura 800 da code ɗin.
