The Knowledge Frontier

Kompyuta na akili bandiaChapisho la awaliJaribioDakika 4 za kusoma

JE, AI INAWEZA KUENDESHA DUKA LA MTAANI?

“Mawakala” wa AI (agents) — modeli za lugha zinazotenda kupitia zana katika hatua nyingi — wanazidi kujaribiwa kwenye kazi ndefu, ikiwemo kuendesha biashara. Lakini kulingana na timu katika BITS Pilani nchini India na Chuo Kikuu cha Minnesota, majaribio yaliyopo yana maeneo yasiyoonekana yanayofanana: yako kwa Kiingereza (moja liko kwa Kichina), yamewekwa katika biashara ya rejareja ya Magharibi, na yanampa wakala mmoja mtazamo wa moja kwa moja wa biashara.

Maisha halisi nchini India yanaonekana tofauti. Sehemu kubwa ya rejareja yake inapitia maduka madogo ya bidhaa mchanganyiko, maduka ya kirana, yanayohudumiwa na watu kadhaa wanaozungumza na wateja na wasambazaji kwa Kiingereza, Kihindi na Kihinglish, mchanganyiko wa hizo mbili. Kwa hiyo timu ilijenga KiranaBench, kirana iliyoigwa.

Duka lenye kazi nne na ubongo mmoja

Modeli moja ya AI inacheza nafasi zote nne, kila moja ikiwa na zana zake na saa yake:

  • meneja anaagiza kutoka kwa wasambazaji, anaweka bei na anaamua lini kufunga — lakini haoni duka na anajua kuhusu siku hiyo tu kupitia ripoti za wengine;
  • keshia anashughulikia bili, kujadiliana bei na mkopo kwenye “khata” ya duka, daftari la madeni la wateja;
  • msaidizi anapokea mizigo inayoletwa na kuhamisha bidhaa kati ya stoo na rafu;
  • munshi, mtunza hesabu, anaandika ripoti ya kila usiku.

Kila kitendo kinagharimu dakika za siku ya kazi: kuhesabu stoo kunachukua 25, kwa hiyo msaidizi anayehesabu hawezi kujaza rafu wakati huo huo. Takriban wateja 289 wa kawaida kwa siku huchukua bidhaa kutoka rafuni, vikapu vyao vikitolewa kutoka utafiti wa kitaifa wa matumizi ya kaya wa India. Takriban wengine 65 wanakuja kaunta na kuzungumza, na wanakumbuka jinsi walivyohudumiwa. Wasambazaji wanajibu barua pepe kwa lugha zao — na kukataa zile wasizoweza kusoma. Kodi, umeme na mishahara vinagharimu rupia 4,157 kwa siku. Kila kitu kinachohusu pesa kinakokotolewa na msimbo, kwa hiyo hakuna modeli inayoweza kuripoti alama vibaya.

Mwezi wa biashara

Timu ilijaribu modeli nne zilizo wazi kutoka kwa wasanidi wanne — Qwen3.8-27B, Gemma 4 31B, gpt-oss-20b na LFM2.5-8B — kila moja kwa miezi mitatu iliyoigwa ya siku 30. Alama ni faida: thamani halisi mwishoni ukitoa thamani halisi mwanzoni. Maduka mawili yanayofuata hati yaliweka kipimo:

  • mwenye duka mwenye busara anayefuata kanuni alipata takriban rupia 103,000;
  • duka lisilosimamiwa na mtu yeyote lilipoteza takriban rupia 115,000.

Modeli:

  • Qwen3.8 ilipata wastani wa takriban rupia 13,700 — karibu moja ya nane ya mwenye duka anayefuata hati;
  • Gemma 4 ilikuwa na wastani wa hasara ndogo, lakini miezi yake mitatu ilianzia +37,226 (uendeshaji bora kuliko yote, karibu theluthi moja ya mwenye duka) hadi −40,762;
  • LFM2.5 ilipoteza takriban 127,000 na gpt-oss takriban 193,000 — zote mbaya kuliko duka lisilosimamiwa katika kila mwezi.

“Kuendesha duka vibaya kunagharimu zaidi kuliko kutoliendesha,” waandishi wanabainisha: modeli inayoendelea kuagiza inaendelea kulipia bidhaa ambazo haiwezi kuuza.

Lugha isiyo sahihi

Kuandika Kiingereza kwa wasambazaji wanaozungumza Kiingereza karibu kulitatuliwa: modeli tatu hazikushindwa kamwe. Kihindi na Kihinglish lilikuwa jambo jingine. Gemma 4 ilirudishiwa 42% ya barua pepe zake za Kihindi na 38% ya zile za Kihinglish kwa kuwa hazisomeki; Qwen3.8 ilipoteza 19% ya barua pepe zake za Kihinglish. Katika kila kitu ilichotuma, gpt-oss ilipoteza 46%, ikishindwa hata kwa Kiingereza. LFM2.5, ambayo wasanidi wake hawaorodheshi lugha yoyote ya Kihindi, ilishindwa kila barua pepe ya Kihindi na Kihinglish. Kaunta, kinyume chake, wateja walihudumiwa karibu sawa vizuri katika lugha zote tatu.

Wafanyakazi wanaosema hiki na kufanya kile

Kwa kuwa meneja anaona duka kupitia ripoti tu, timu ilizikagua dhidi ya droo halisi ya pesa. Qwen na Gemma ziliripoti mauzo kwa usahihi kila siku. gpt-oss ilikosea katika 6% ya siku, LFM2.5 katika 27%, kwa hadi takriban rupia 16,000. Kila moja ya siku 360 zilizoigwa ilikaguliwa, na kila hasara inafuatiliwa hadi kitendo kilichotajwa:

  • gpt-oss ilielekeza maelfu ya ujumbe kwa wasambazaji wasiokuwepo, ingawa kila barua iliyorudishwa iliorodhesha wale halisi;
  • msaidizi wake aliripoti malipo ya rupia 10,000 ambayo hayakuwahi kufanyika — hakuna nafasi hata moja iliyokuwa na zana ya kuyafanya — na mtunza hesabu wake mwenyewe alimpinga usiku ule;
  • oda ile ile ya jumla ilienda kwa wasambazaji wawili, na wote wawili walilipwa;
  • msaidizi wa Gemma aliandika kwamba alikuwa “anapokea bidhaa zote zilizoletwa” huku mwito wake wa zana ukibakiza sifuri ya kila moja, na gari la maziwa likaondoka;
  • LFM2.5 iliamua siku ya 1 kwamba mfumo wa ujumbe wa duka ulikuwa umeharibika, na katika siku nyingi zilizofuata kitendo chake pekee kilikuwa kwenda nyumbani wakati wa kufungua.

Modeli hiyo ya mwisho, waandishi wanabainisha, ina alama ya juu kabisa ya matumizi ya zana kati ya zile nne kama ilivyoripotiwa na msanidi wake — jaribio la kikao kimoja ambalo halikutabiri mwezi mmoja kaunta.

Kipimo, si mpinzani

Mwenye duka anayefuata hati anasoma bidhaa moja kwa moja na kumwandikia kila msambazaji kwa lugha yake, mambo mawili ambayo modeli lazima ziyasimamie kupitia wafanyakazi na tafsiri. Pengo hilo, waandishi wanasisitiza, linapima umbali kutoka kwa duka linaloendeshwa vizuri, si shindano la ana kwa ana. Hitimisho lao bado ni la wazi: mawakala wa sasa wa modeli za lugha “bado hawaaminiki kuendesha biashara ndogo nchini India kwa uhuru” — na kila kosa walilopata lilikuja na jina, siku na saa.