MWOMBE CHATBOT ACHAGUE NAMBA NASIBU

Watu huziomba chatbot ziamue sare, zifanye machaguo ya kiholela au zichukue nafasi ya kurusha sarafu. Samar Ansari analichukulia hili kama swali la upatanifu wa uwezekano (calibration): modeli isiyo na sababu ya kupendelea chaguo lolote inapaswa kusambaza uwezekano wake kwa machaguo yote. Kile ambacho modeli hufanya pale ambapo hakuna kinachopendelea jibu lolote ni, kwa maneno ya makala, “sifa inayopimika, si mchezo wa kiinimacho”.

Tafiti za awali zilihesabu majibu: uliza swali lilelile takriban mara mia moja, kisha chora histogramu. Hilo linachanganya kile ambacho modeli yenyewe inapendelea na kile ambacho mipangilio ya usimbuaji (decoding) inaifanyia, na sampuli mia moja huficha maelezo madogo.

Uwezekano kamili, bila kurusha kete

Kwa maelekezo (prompt) yasiyobadilika, modeli ya lugha hufafanua uwezekano mmoja kwa kila mwendelezo unaowezekana. Kwa hiyo badala ya kuchukua sampuli, mwandishi anakokotoa uwezekano kwamba modeli itaandika kila namba kamili kutoka 1 hadi N — kisha isimame. Hatua hiyo ya mwisho ni muhimu: bila hiyo, kuandika “1” na kuandika “17” hayangekuwa majibu tofauti, kwa kuwa moja huanza lingine.

Maelekezo yalikuwa yaleyale kila mara: “Nipe namba kamili nasibu kati ya 1 na [N], zote mbili zikijumuishwa. Jibu kwa namba tu.” Utafiti unashughulikia familia 18 za modeli huria (Qwen, Gemma, Llama, OLMo na nyinginezo, hakuna inayozidi vigezo bilioni 8), masafa matano kuanzia 1–5 hadi 1–100, mipangilio 29 ya usimbuaji na kompyuta mbili tofauti. Ukaguzi dhidi ya majibu halisi 5,000 yaliyochukuliwa kama sampuli kutoka modeli moja ulitoa namba ileile inayopendelewa zaidi, 15, kwa uwezekano wa 0.579 uliokokotolewa na 0.587 wa sampuli.

Urekebishaji hubana usambaaji

Kipimo ni umbali wa tofauti jumla (total variation distance) kutoka kwa uchaguzi wa haki: sehemu ya uwezekano iliyo kwenye namba “zisizo sahihi”. Sifuri humaanisha usawa kamili; kati ya 1 na 30, kiwango cha juu ni 0.967.

Kwa modeli 15, utafiti unalinganisha toleo ghafi, la “msingi”, na toleo lililorekebishwa ili kufuata maelekezo. Katika jozi zote 15, urekebishaji ulipunguza usawa wa majibu. Gemma-3-4b inapanda kutoka 0.135 hadi 0.966, unywele mmoja tu kutoka kiwango cha juu: watafiti wanapoandika mapema mwanzo wa jibu lake kama “Answer: “, inatoa 17 kwa uwezekano wa 1.000 (0.997 inapojibu kwa uhuru). Kinyume chake, baadhi ya modeli za msingi karibu ni za haki: OLMo-2-7B iko kwenye 0.063.

Mazoea matatu

• Ncha huepukwa. Modeli za msingi tayari hutoa 1 au namba ya juu kabisa mara 0.30 hadi 0.60 tu ya zinavyotoa namba yoyote iliyo kati ya ncha hizo. Modeli zilizorekebishwa karibu hazifanyi hivyo kamwe.
• Namba za mviringo huepukwa — lakini baada ya urekebishaji tu. Ukiacha ncha kando, modeli za msingi huvipa vigawe vya 10 sehemu yake ya haki. Modeli zilizorekebishwa huvipa 0.00 hadi 0.12 ya sehemu hiyo; kati ya 1 na 30, ni kushuka kwa mara kumi na tisa. Kadiri namba inavyokuwa ya mviringo zaidi, ndivyo inavyoepukwa zaidi.
• Mwelekeo wa kupendelea namba witiri, ulio wazi kwa modeli zilizorekebishwa kati ya 1 na 100 tu, ambapo mipangilio 27 kati ya 33 iliyorekebishwa inazipendelea.

Katikati ya masafa, kinyume chake, karibu haiepukwi hata kidogo.

Hakuna kipenzi cha wote

Urekebishaji haupandikizi namba moja ya kichawi katika kila modeli. Namba zinazopendelewa mara nyingi zaidi na modeli zilizorekebishwa ni 3 (1 hadi 5), 7 (1 hadi 10), 14 (1 hadi 20), 17 (1 hadi 30) na 42 (1 hadi 100) — ndiyo asili ya kichwa cha makala — lakini juu ya 10, hakuna namba pendwa inayoshirikiwa na zaidi ya 42% ya mipangilio. Uwezekano wa 17 hupanda baada ya urekebishaji katika jozi 10 na hushuka katika 5. Qwen3-1.7B, ambayo toleo lake la msingi hupendelea 17, huishia kuweka 0.993 kwenye 15.

Wala si kazi ya kisimbuzi (decoder). Kukata majibu yasiyo na uwezekano mkubwa, mpangilio wa kawaida, huongeza wastani wa kati wa 0.035 tu kwenye umbali kutoka kwa uchaguzi wa haki: upendeleo uko ndani ya modeli yenyewe.

Mazoea yameazimwa, namba hazikuazimwa

Katika utafiti maarufu wa uchaguzi wa binadamu, Kubovy na Psotka waliwaomba wapita njia 558 tarakimu kutoka 0 hadi 9; zikiunganishwa na tafiti tatu za awali, 28.4% ya watu 1,770 walichagua 7. Maelezo yao, yaliyotolewa kama dhana, ni kwamba watu huepuka ncha, katikati, namba shufwa na vigawe vya 3. Modeli zilizorekebishwa zinashiriki zoea la kwanza kikamilifu na mwelekeo wa namba witiri katika masafa makubwa zaidi, lakini si katikati — na zoea lao lenye nguvu zaidi, kuepuka namba za mviringo, halimo katika maelezo ya binadamu. Namba mahususi zinalingana na za binadamu mara moja tu: 7, kati ya 1 na 10.

Kasoro hiyo, mwandishi anasisitiza, ina muundo badala ya kuwa kelele tu: modeli iliyorekebishwa inayochagua kiholela miongoni mwa namba hujiepusha na chaguo la kwanza, la mwisho na zile za mviringo. Ushauri wa kivitendo unafuata — usitumie modeli ya lugha kama kizalishaji cha namba nasibu; chagua namba nje yake, kisha mpe modeli matokeo.