GPT-5 HUTAMBUA MAANDISHI YAKE YENYEWE VIZURI KULIKO SISI

Katika jaribio la asili la Turing, mhoji binadamu hubadilishana jumbe zilizoandikwa na kujaribu kutofautisha mwanamume na mwanamke. Wakati fulani mwanamume hubadilishwa na mashine. Ikiwa mhoji bado hawezi kutofautisha mashine na mwanamke, mashine inasemekana kuwa imefaulu. Turing alilikusudia kama jaribio la kifalsafa la kufikirika, lakini kwa miongo kadhaa limetumika kama kipimo cha akili bandia — na madai ya hivi karibuni kwamba programu-soga kama ChatGPT hatimaye zimelifaulu yamefufua swali la zamani: kufaulu kunathibitisha nini hasa?

Njia mbili za kumdanganya mwamuzi

Timu iliyoongozwa na Cristina Becchio wa Kituo cha Matibabu cha Chuo Kikuu cha Hamburg-Eppendorf inabainisha kwamba mhoji aliyedanganywa anaweza kumaanisha mambo mawili tofauti kabisa.

Kushindwa kwa usimbaji. Majibu ya mashine yanapishana kwa karibu sana na yale ya binadamu hivi kwamba maandishi hayabebi tena kidokezo chochote kuhusu chanzo chake. Hakuna mtazamaji, hata awe stadi kiasi gani, ambaye angeweza kushinda bahati. Hilo lingekuwa tokeo zito.
Kushindwa kwa usomaji. Vidokezo vimo kwenye maandishi, lakini mhoji havitambui. Mwamuzi mwingine — wa bandia, kwa mfano — angeweza kufaulu. Hapo jaribio linasema mengi zaidi kuhusu mwamuzi kuliko kuhusu mashine.

Jaribio la kawaida huchanganya hayo mawili pamoja. Waandishi wanaongeza ngazi ya tatu, usomaji wa usomaji (meta-readout): je, mwamuzi anaweza kusema kwa usahihi ni vidokezo vipi vilivyoongoza uamuzi wake mwenyewe?

Hadithi za ajabu, majibu mawili

Ili kutenganisha ngazi hizi, timu ililigeuza jaribio la Turing: binadamu na mifumo ya akili bandia wote walikaa kwenye kiti cha mhoji. Nyenzo zilitoka kwenye jaribio la Strange Stories (Hadithi za Ajabu), seti ya matukio manane mafupi ya kijamii — udanganyifu, kejeli, ushawishi, kutoelewana — kila moja likimalizika kwa swali kuhusu kile ambacho mhusika anafikiri au kwa nini anatenda hivyo. Binadamu na miundo ya GPT walikuwa wameyajibu, na majibu sahihi tu ndiyo yaliyobakizwa, ili mwamuzi asiweze kuifichua mashine kupitia hoja zenye kasoro.

Kila mhoji aliona hadithi na majibu mawili kwayo, moja la binadamu na moja la akili bandia, kisha alilazimika kuchagua ama lile la binadamu ama lile la akili bandia, kukadiria kiwango chake cha kujiamini na kueleza chaguo lake kwa maandishi. Katika mfululizo wa kwanza wa tafiti, majibu ya GPT-4 yalihukumiwa na binadamu na GPT-4; katika wa pili, majibu ya GPT-5 yalihukumiwa na binadamu na GPT-5. Kwa jumla, watu 3,824 walishiriki kupitia jukwaa la Prolific, kila mmoja akitoa uamuzi mmoja tu, wakilinganishwa na idadi sawa ya mizunguko ya miundo.

Utendaji ulipimwa kwa kipimo kiitwacho unyeti (sensitivity), d′: sifuri humaanisha kubahatisha, thamani kubwa zaidi humaanisha utofautishaji bora, na thamani hasi humaanisha mwamuzi hukosea kwa utaratibu.

Watu wanateleza, GPT-5 inanoa

Dhidi ya GPT-4, binadamu walifanya vizuri kiasi, wakiwa na d′ ya 1.36 walipoombwa kupata jibu la akili bandia na 1.10 walipoombwa kupata lile la binadamu. GPT-4 kama mwamuzi ilikuwa dhaifu zaidi, na katika kazi ya “pata la binadamu” alama yake ilikuwa hasi, −1.11: ilinyooshea kidole jibu lisilo sahihi mara nyingi kuliko lile sahihi.

Dhidi ya GPT-5, binadamu wa mfululizo wa pili walishuka hadi 0.77 na 0.27 — bado juu ya bahati, lakini kwa shida tu katika kazi ya binadamu. GPT-5 kama mwamuzi ilifanya kinyume chake, ikifikia 2.09 na 2.01, juu kabisa ya binadamu katika kazi zote mbili.

Vidokezo havikutoweka kamwe

Je, kushuka huko kwa binadamu kulikuwa kushindwa kwa usimbaji? Ili kuhakikisha, watafiti walipima sifa 12 za kila jibu — urefu, maelezo, makosa ya uchapaji, urudiaji, uakifishaji, usomekaji, mtindo wa kiuchanganuzi au wa kimazungumzo, na nyinginezo — na kufunza muundo rahisi wa kitakwimu kukisia chanzo kutokana nazo. Ulichagua chanzo sahihi katika 98.3% ya visa kwa majibu ya GPT-4 (“usahihi uliosawazishwa” wa 0.983, unaochukua wastani wa mafanikio yake katika mipangilio yote miwili ya majibu) na bado 92.5% kwa GPT-5. GPT-5 inasikika zaidi kama binadamu, lakini taarifa bado ipo.

Kilichobadilika ni vidokezo vipi vinavyoibeba. GPT-4 ilijifichua hasa kupitia majibu marefu zaidi, makosa machache ya uchapaji na urudiaji zaidi. Kwa GPT-5 pengo la urefu lilipungua sana, huku uakifishaji mzito zaidi na makosa machache ya uchapaji zikawa ishara bainifu. Waamuzi binadamu waliendelea kutegemea urefu — mazoea, wanapendekeza waandishi, yaliyorekebishwa kwa programu-soga za awali. Watu walioripoti kutumia programu-soga mara kwa mara walikuwa wamejirekebisha kwa kiasi fulani: katika kazi ya “pata la akili bandia” walipima uakifishaji na makosa ya uchapaji ipasavyo. GPT-5, kwa upande wake, ilihusisha uakifishaji mzito na urudiaji na akili bandia na makosa ya uchapaji na binadamu, ikilingana na tofauti halisi karibu kikamilifu.

Vidokezo sahihi, mwelekeo usio sahihi

Ngazi ya mwisho ililinganisha kile ambacho waamuzi waliandika katika maelezo yao na kile ambacho chaguo zao zilikitegemea kwa kweli. Hapa mpangilio wa ubora unageuka. Maelezo ya binadamu yalilingana na chaguo zao vizuri zaidi kwa kulinganisha (ulinganifu wa takriban 0.63 katika mfululizo wa GPT-4, kwenye kipimo ambapo 1 humaanisha kwamba maelezo na chaguo vinaelekea upande mmoja). GPT-5 ilitaja sifa nyingi ilizozitumia kweli, lakini ilikosea mwelekeo wa baadhi yake: katika kazi zote mbili, ilisema mtindo wa kiuchanganuzi zaidi, usomekaji wa juu zaidi na maelezo mengi zaidi viliashiria akili bandia, ilhali chaguo zake zilihusisha vyote vitatu na majibu ya binadamu. Maelezo yake yalilingana na upimaji wake halisi kwa kiwango kidogo zaidi kuliko yale ya binadamu.

Waandishi hawalitafsiri hili kama ubunifu mtupu wa baadaye, kwa kuwa maelezo ya GPT-5 yalibaki juu ya bahati katika vipimo vyote viwili; kutolingana kumebanwa kwenye sifa chache tu. Wanaonya kwamba pengo hilo la mahali fulani linaweza kujenga dhana potofu ya ulinganifu kwa watumiaji wanaotegemea maelezo ya muundo.

Utafiti unahusu miundo miwili ya OpenAI, kila mmoja ukihukumu majibu ya kizazi chake chenyewe, katika hadithi fupi nane. Kwenye kipimo hicho cha ulinganifu, GPT-5 ilipata 0.297 katika kazi moja na 0.296 katika nyingine, chini sana ya binadamu — sifa zilezile tatu zikiwa zimegeuzwa mara zote mbili.