Kompyuta na akili bandiaChapisho la awaliUigajiDakika 4 za kusoma

AI INAPONAKILI AI, LAZIMA MTU AENDELEE KUJIFUNZA

Funza modeli zalishi (generative model) kwa matokeo ya modeli ya awali, nayo huharibika. Katika vizazi vinavyofuatana, maudhui adimu zaidi hupotea kabla ya yale ya kawaida, na kile ambacho modeli huzalisha hupungua upana. Kuporomoka huku kwa modeli (model collapse) sasa kumechunguzwa vizuri — na vivyo hivyo tiba zake. Tiba zote zinazofanya kazi huleta kitu kutoka nje ya mzunguko: data mpya za binadamu, data halisi zilizohifadhiwa, vihakiki (verifiers), uteuzi unaofanywa na binadamu (human curation).

Nam Le, mwanasayansi wa kompyuta katika University of Vermont, anaonyesha kile ambacho uchambuzi huo unachukulia kuwa kweli bila kuhoji. Huchukulia data mpya kama hifadhi isiyobadilika, inayopatikana kwa kiasi chochote kinachohitajika, na hudhani kwamba ulimwengu unaoelezwa umesimama tuli. Hakuna kati ya hayo kilicho kweli: maandishi mapya huandikwa na watu, ambao kwa kuongezeka huziuliza modeli badala ya kujitafutia mambo; na ulimwengu unaendelea kubadilika.

Kitendawili cha zamani

Masuala yote mawili yako katikati ya nadharia ya zamani zaidi. Mwaka 1988, Rogers alieleza kile kinachoitwa sasa kitendawili cha Rogers (Rogers’ paradox): katika jamii ambamo kunakili huenea kwa sababu, kwa mtu binafsi, ni nafuu zaidi kuliko kujifunza, kila mtu huishia bila kuwa katika hali bora kuliko katika jamii ambayo haikuwahi kunakili. Nakala huchakaa, na lazima mtu aendelee kulipa ili kujifunza.

Kazi za baadaye katika mageuzi ya kitamaduni ziliboresha wazo hilo. Mjifunzaji mhakiki (critical) hunakili, hukagua nakala dhidi ya ulimwengu na hujifunza mwenyewe ikiwa nakala imeshindwa; wajifunzaji kama hao huinua faida ya kila mtu. Mjifunzaji mfuata-wengi (conformist) hunakili kilicho cha kawaida, jambo ambalo ni nafuu lakini hufifisha aina adimu.

Hoja ya Le ni kwamba kufunza modeli kwa matokeo ya modeli nyingine ni ujifunzaji wa kijamii kwa maana hii hasa, kwa hiyo nadharia hiyo inapaswa kutumika. Katika umbo lake rahisi zaidi, inatoa kanuni ya mstari mmoja kuhusu kiasi cha maarifa ambacho ukoo (lineage) wa modeli huhifadhi wakati sehemu ya data zake za mafunzo ni mpya.

Darwin na Moby-Dick, vimenakiliwa upya

Ili kuijaribu, Le alifunza koo za modeli ndogo za lugha kwa vitabu viwili kutoka Project Gutenberg, On the Origin of Species cha Darwin na Moby-Dick cha Melville. Kila kizazi kilijifunza kutoka kwa maandishi yaliyozalishwa na kizazi kilichotangulia, yakichanganywa na maandishi mapya kiasi kutoka kitabuni.

Zikilishwa matokeo yao wenyewe tu, modeli za kiwango cha neno (word-level) zilipoteza maneno adimu manne kati ya matano katika vizazi kumi na mbili. Sampuli kutoka kizazi cha mwanzo bado inasomeka “i cannot see that a genus become fitted for most justly celebrated elder huber”; kufikia kizazi cha kumi na mbili, “struggle of the on that may inheritable detected i hybrids, kept.”

Sehemu ya kushangaza ni utabiri. Le alikadiria kigezo kimoja cha kanuni hiyo — uwezekano kwamba kipande cha maarifa kilichonakiliwa hupotea katika kila kizazi — kwa kutumia ukoo uliojilisha wenyewe kikamilifu peke yake, kisha akakitumia, bila kukibadilisha, kutabiri koo zenye data mpya za 10%, 30% au 50%. Utabiri ulilingana na idadi ya maneno adimu ambayo koo hizo zilihifadhi ndani ya pointi 3 za asilimia. Kwa kuongeza kundi la pili la maarifa, dhaifu dhidi ya imara, kanuni hiyo pia ilishikilia kwa transfoma (transformer) ndogo na kwa modeli ya lugha iliyofunzwa awali (pretrained), OPT-125m.

Ulimwengu unaposonga

Kisha, “ulimwengu” wenyewe ulifanywa ubadilike: dirisha linaloteleza kupitia vitabu hivyo viwili, ili msamiati mpya uendelee kuwasili na maneno ya zamani yaendelee kuondoka. Kadiri dirisha lilivyosonga kwa kasi zaidi, ndivyo ukoo unaojinakili ulivyohitaji data mpya zaidi. Ili kuhifadhi 80% ya kile ambacho korasi (corpus) mpya kabisa ingejumuisha, sehemu ya data mpya ilibidi ipande kutoka takriban 30% hadi takriban 45%. Nyanja zinazobadilika haraka, makala inatabiri, zitakuwa za kwanza kuharibika kadiri maandishi bandia (synthetic) yanavyolimbikizana.

Modeli iliyofunzwa awali ilitenda tofauti: maarifa yake yalidumu iwe ulimwengu ulisonga au la. Tafsiri ya Le ni kwamba uzito wake uliofunzwa awali (pretrained weights) — mipangilio ya ndani ambayo ilijifunza kutoka korasi kubwa kabla ya jaribio —, uliorithiwa bila kubadilika kila kizazi, ni maarifa ambayo kamwe hayapiti katika mnyororo wa kunakili. Kwa tahadhari moja: maandishi yanayosonga hapa yalikuwa maandishi ambayo modeli ilikuwa imeshayaona wakati wa mafunzo yake ya awali.

Watu ndani ya mzunguko

Kisha inakuja sehemu inayoipa makala jina lake. Le alijenga modeli ambamo watu wanaweza ama kujitafutia ukweli fulani wenyewe, kwa gharama, au kuiuliza AI bure na kuwa sahihi mara nyingi tu kama AI ilivyo sahihi. Kile ambacho watu huandika huwa data za mafunzo za modeli inayofuata, pamoja na maandishi kiasi ambayo modeli huandika yenyewe.

Usawazisho (equilibrium) unaofikiwa ni wa wazi kabisa:

  • AI huishia kuwa sahihi mara za kutosha tu kiasi kwamba kuiuliza kunalipa sawasawa na kujitafutia mwenyewe, mara gharama ya kujitafutia inapohesabiwa — bila kujali ukubwa au usanifu wake;
  • watu kwa ujumla hawako katika hali bora kuliko bila AI: kitendawili cha Rogers, kwa binadamu na mashine pamoja;
  • kadiri modeli zinavyoandika sehemu kubwa zaidi ya maandishi ya mafunzo zenyewe, ndivyo watu wengi zaidi wanavyolazimika kuendelea kujifunza wenyewe — mara mbili ya idadi hiyo wakati nusu ya maandishi yameandikwa na modeli. Data mpya, Le anahitimisha, hulipiwa kwa juhudi za binadamu.

Kuna njia ya kutoka. Ikiwa watu watakagua jibu la AI dhidi ya ulimwengu na kujifunza upya linapokuwa si sahihi, kitendawili huvunjika: katika uigaji, faida ya wastani — kile ambacho mtu hupata kwa kila ukweli, 1 kwa jibu sahihi ukiondoa gharama ya kujitafutia — hutulia kwenye 0.93, dhidi ya 0.70 bila AI. Zana zinazofanya uhakiki kuwa nafuu, kwa mtazamo huu, si urahisi tu bali ndizo zinazozuia mfumo mzima usiporomoke.

Vichujio vinavyozidisha tatizo

Lenzi hiyohiyo hupanga vichujio vinavyotumika kusafisha data bandia. Kuhifadhi sampuli ambazo modeli inaziona kuwa zinazowezekana zaidi ni kunakili kwa kufuata wengi, na katika majaribio kuliharakisha upotevu wa maneno adimu: modeli iliyofunzwa awali ilihifadhi 5% yake, dhidi ya 57% wakati nusu ya sampuli zilihifadhiwa kwa nasibu. Ni vichujio tu vinavyokagua maandishi dhidi ya ulimwengu ndivyo vinavyotenda kama wajifunzaji wahakiki. Haya yote yalionyeshwa kwa modeli ndogo, kubwa zaidi ikiwa na vigezo milioni 125, na Le anataja kuyajaribu kwa kiwango kikubwa kama swali kuu lililo wazi.