Kompyuta na akili bandiaChapisho la awaliJaribioDakika 4 za kusoma

KARIBU THELUTHI YA WAVUTI SASA INAANDIKWA NA AI

Modeli kubwa za lugha hujifunza hasa kutoka kwa maandishi yaliyokusanywa kwenye wavuti. Zaidi na zaidi ya maandishi hayo yenyewe yameandikwa na AI. Waandishi wanayaita maandishi ya AI “ya porini” (wild AI text): yaliyoandikwa na modeli nyingi tofauti kwa ajili ya wasomaji binadamu, yakachapishwa mtandaoni, na kusombwa katika data za mafunzo yakiwa yamechanganyika na maandishi ya binadamu bila lebo. Si “kuporomoka kwa modeli” (model collapse), ambapo modeli hufunzwa upya kwa matokeo yake yenyewe, wala data sintetiki zilizochaguliwa, zinazozalishwa kwa makusudi kusaidia mafunzo.

Jenna Russell, Mohit Iyyer na wenzao katika Chuo Kikuu cha Maryland na katika Pangram Labs, kampuni inayouza kigunduzi cha maandishi ya AI, waliamua kupima kuna kiasi gani cha maandishi haya na yanaifanyia nini modeli.

Kuna AI kiasi gani kwenye wavuti?

Kwa kutumia mfumo wa FineWeb, unaochuja hifadhi kubwa ya wavuti ya Common Crawl, timu ilijenga upya mkusanyiko wa maandishi hadi Juni 2026: nyaraka milioni 96, tokeni bilioni 83, yaani vipande vya maneno ambavyo modeli husoma. Kila nyaraka iliwekwa lebo kwa kigunduzi cha kampuni, Pangram, ambacho kiwango chake kilichoripotiwa cha chanya za uongo ni 0.05%; kwenye nyaraka 60,000 za 2021, kabla ya ChatGPT kuzinduliwa mwishoni mwa 2022, kiliweka alama ya AI kwa 0.062% tu.

Sehemu ya tokeni zilizoandikwa na AI miongoni mwa maandishi ya wavuti yanayopita vichujio vya ubora vya FineWeb:

  • chini ya 0.1% mnamo Juni 2021;
  • 10.1% mnamo Juni 2024, 16.1% mnamo Juni 2025;
  • 27.5% mnamo Juni 2026, 31.1% mnamo Agosti 2026;
  • utabiri: 42.3% mwishoni mwa 2027, 50.7% mwishoni mwa 2028.

Ongezeko halilingani kila mahali. Mnamo 2026 takriban nusu ya tokeni za mafunzo ya hatua kwa hatua (tutorials) na “makala za maarifa” zina lebo ya AI, dhidi ya 9% ya habari na 5% ya blogu binafsi. Mbaya zaidi, vichujio vya ubora vinavyotumika kujenga seti za mafunzo vinapendelea maandishi ya AI: FineWeb huhifadhi nyaraka za AI mara 2.3 zaidi kuliko za binadamu, na kichujio cha DCLM mara 9.8 zaidi.

Modeli 800 zajaribiwa

Timu ilifunza awali modeli ndogo 800 za lugha, kuanzia vigezo milioni 19.9 hadi milioni 973, ikiongeza kuanzia sifuri hadi tokeni 64 za AI kwa kila tokeni ya binadamu kwenye kundi thabiti la maandishi ya binadamu, na kulinganisha kila moja na modeli ileile iliyopewa idadi ileile ya tokeni mpya za binadamu badala yake.

  • Maandishi ya AI yalisaidia tu modeli zenye njaa ya data, chini ya takriban tokeni 10 za binadamu kwa kila kigezo.
  • Kuanzia bajeti ya kawaida iliyo bora kikokotozi ya takriban tokeni 20 kwa kila kigezo, kuongeza maandishi ya AI kuliongeza kosa kwenye maandishi ya binadamu, ilhali maandishi ya ziada ya binadamu yaliendelea kulipunguza.
  • Sehemu bora ya maandishi ya AI kwa kutabiri maandishi ya binadamu ilishuka kutoka 37% kwenye tokeni 5 kwa kila kigezo hadi 1% kwenye 20. Kwa kutabiri maandishi ya AI, ilibaki juu ya 90%.
  • Kurudia maandishi yaleyale ya binadamu kulishinda kuongeza maandishi mapya ya AI: kosa lilikuwa chini kwa 2.3% baada ya mzunguko mmoja wa ziada, takriban 6.3% baada ya minane.
  • Modeli zilizofunzwa kwa maandishi ya AI zilianza kuandika kama AI: maneno kama “delve” na “tapestry” yaliongezeka kutoka 0.16 hadi 0.54 kwa kila maneno 1,000.

“Sheria za upanuzi” (scaling laws) zilizopo — fomula zinazotabiri kosa la modeli kutokana na ukubwa wake na data zake — huichukulia tokeni ya AI kama ya binadamu na hivyo hukosea hapa. Waandishi wanapendekeza sheria mpya yenye faida inayofikia ukomo na madhara yanayokua kilogarithimu, kwa hiyo thamani ya tokeni ya AI inaweza kugeuka kuwa hasi. Ikilinganishwa na modeli zenye hadi vigezo milioni 268, inatabiri modeli kubwa mara 3.6 kwa kosa dogo kwa 41% kuliko sheria bora iliyopo, ingawa kiambatisho kinabainisha kwamba uongozi wake si wa maana kitakwimu kwenye seti mbili za majaribio zenye sehemu ndogo za AI.

Gharama ya kutochuja

Kwa mujibu wa sheria hii, kufunza kwa maandishi ya wavuti yasiyochujwa katika sehemu ya AI ya Agosti 2026 kunagharimu nguvu ya kompyuta mara 1.6 ya kufunza kwa sehemu yake ya binadamu pekee — mara 3.0 katika sehemu iliyotabiriwa kwa 2028. Na madhara ni rahisi kutoyaona: maandishi ya AI ni rahisi kutabiri, kwa hiyo seti ya uthibitishaji yenye maandishi ya AI 22.3% iliripoti 95.5% ya mafunzo yenye madhara kuwa maboresho. Alama za vipimo vya kawaida (benchmarks) pia zilipanda kwa maandishi ya AI karibu sawa na kwa maandishi ya binadamu.

Waandishi wanapendekeza kuchuja maandishi ya AI lengo likiwa ni maandishi ya binadamu, kurudia data za binadamu kabla ya kuongeza data za AI, na kuripoti makosa kwenye maandishi ya binadamu na ya AI kando kando. Mipaka ni halisi: hakuna modeli kubwa kuliko vigezo milioni 973, Kiingereza pekee, mafunzo ya awali pekee, na kigunduzi kimoja tu, kilichotengenezwa na kampuni ya waandishi — ambayo biashara yake inanufaika na hitimisho hizi. Ili kuruhusu uhakiki huru, wanatoa hadharani mkusanyiko wa maandishi, modeli zote 800 na msimbo.