GPT-5 YA FI MU GANE RUBUTUNSA NA KANSA

A asalin gwajin Turing, wani mai tambayoyi ɗan Adam yana musayar saƙonni a rubuce kuma yana ƙoƙarin bambance namiji da mace. A wani lokaci sai a maye gurbin namijin da na’ura. Idan mai tambayoyin har yanzu bai iya bambance na’urar da matar ba, sai a ce na’urar ta ci jarrabawar. Turing ya yi niyyar shi ne a matsayin gwajin tunani na falsafa, amma tsawon shekaru da dama ya zama mizanin auna basirar ƙirƙira (artificial intelligence) — kuma iƙirarin baya-bayan nan cewa manhajojin hira (chatbots) kamar ChatGPT sun ci shi a ƙarshe sun farfaɗo da wata tsohuwar tambaya: me cin jarrabawar yake tabbatarwa a zahiri?

Hanyoyi biyu na yaudarar alƙali

Wata ƙungiya da Cristina Becchio ke jagoranta a University Medical Center Hamburg-Eppendorf ta nuna cewa mai tambayoyin da aka yaudara zai iya nufin abubuwa biyu mabambanta sosai.

• Gazawa a matakin ƙunshewa (encoding). Amsoshin na’urar sun yi kama da na ɗan Adam ƙwarai har rubutun ba ya ɗauke da wata alama game da tushensa. Babu wani mai lura, ko yaya ƙwarewarsa, da zai iya fin sa’a. Wannan zai zama sakamako mai ƙarfi.
• Gazawa a matakin karantawa (readout). Alamomin suna cikin rubutun, amma mai tambayoyin bai kama su ba. Wani alƙali dabam — na ƙirƙira, misali — zai iya yin nasara. A nan gwajin yana faɗin abu game da alƙalin fiye da game da na’urar.

Gwajin na gargajiya yana haɗa waɗannan biyun wuri ɗaya. Marubutan sun ƙara mataki na uku, karantawa a kan karantawa (meta-readout): shin alƙali zai iya faɗin daidai irin alamomin da suka jagoranci shawararsa?

Labarai masu ban mamaki, amsoshi biyu

Don raba waɗannan matakai, ƙungiyar ta juya gwajin Turing: ɗan Adam da tsarin AI duka sun zauna a kujerar mai tambayoyi. Kayan gwajin sun fito ne daga gwajin Strange Stories (Labarai Masu Ban Mamaki), wani tarin gajerun yanayin zamantakewa guda takwas — yaudara, habaici, rarrashi, rashin fahimta — kowanne yana ƙarewa da tambaya kan abin da wani hali ke tunani ko dalilin da ya sa yake yin wani abu. Mutane da samfuran GPT sun riga sun amsa su, kuma amsoshi daidai kawai aka ajiye, don kada alƙali ya iya tona asirin na’ura ta hanyar kuskuren tunani.

Kowane mai tambayoyi ya ga labari da amsoshi biyu gare shi, ɗaya ta ɗan Adam ɗaya kuma ta AI, sannan dole ya zaɓi ko dai ta ɗan Adam ko ta AI, ya kimanta tabbacinsa kuma ya yi bayanin zaɓinsa a rubuce. A jerin bincike na farko, mutane da GPT-4 ne suka yi hukunci a kan amsoshin GPT-4; a na biyu, mutane da GPT-5 ne suka yi hukunci a kan amsoshin GPT-5. Gaba ɗaya, mutane 3,824 ne suka shiga ta dandalin Prolific, kowannensu ya ba da hukunci guda ɗaya, kuma an yi daidai adadinsu na gudanar da samfuran.

An auna ƙwazo da wani ma’auni da ake kira kaifin bambancewa (sensitivity), d′: sifili yana nufin hasashe kawai, mafi girma yana nufin bambancewa mafi kyau, kuma ƙima ƙasa da sifili tana nufin alƙalin yana kuskure akai-akai.

Mutane sun ja da baya, GPT-5 ya ƙara kaifi

A gaban GPT-4, mutane sun yi ƙoƙari sosai, da d′ na 1.36 idan aka ce su nemo amsar AI da 1.10 idan aka ce su nemo ta ɗan Adam. GPT-4 a matsayin alƙali ya fi rauni, kuma a aikin “nemo ɗan Adam” makinsa ya kasance ƙasa da sifili, a −1.11: ya fi nuna amsar da ba daidai ba fiye da wadda take daidai.

A gaban GPT-5, mutanen jeri na biyu sun ragu zuwa 0.77 da 0.27 — har yanzu sama da sa’a, amma da ƙyar a aikin ɗan Adam. GPT-5 a matsayin alƙali ya yi akasin haka, ya kai 2.09 da 2.01, sama da mutane nesa ba kusa ba a ayyukan biyu.

Alamomin ba su taɓa ɓacewa ba

Shin faɗuwar mutane gazawa ce a matakin ƙunshewa? Don tabbatarwa, masu binciken sun auna siffofi 12 na kowace amsa — tsawo, cikakken bayani, kurakuran rubutu, maimaitawa, alamomin rubutu (punctuation), sauƙin karantawa, salon nazari ko na hira, da sauransu — kuma suka horar da wani sauƙaƙan samfurin ƙididdiga don hasashen tushen daga gare su. Ya zaɓi tushen da ya dace a kashi 98.3% na lokuta ga amsoshin GPT-4 (“daidaitaccen daidaito”, balanced accuracy, na 0.983, wanda ke ɗaukar matsakaicin nasararsa a kan duka tsare-tsaren jera amsoshin biyu) kuma har yanzu kashi 92.5% ga GPT-5. GPT-5 yana jin kamar ɗan Adam fiye da da, amma bayanin har yanzu yana nan.

Abin da ya canza shi ne alamomin da ke ɗauke da wannan bayani. GPT-4 ya tona kansa ne galibi ta hanyar amsoshi masu tsawo, ƙarancin kurakuran rubutu da ƙarin maimaitawa. Da GPT-5 bambancin tsawo ya ragu sosai, yayin da alamomin rubutu masu yawa da ƙarancin kurakuran rubutu suka zama alamomin da ke tona asiri. Alƙalai ’yan Adam sun ci gaba da dogara ga tsawo — wata ɗabi’a, a cewar marubutan, da aka gina a kan manhajojin hira na farko. Mutanen da suka ce suna yawan amfani da manhajojin hira sun ɗan sabunta tunaninsu: a aikin “nemo AI” sun ba alamomin rubutu da kurakuran rubutu nauyin da ya dace. GPT-5 kuwa ya danganta alamomin rubutu masu yawa da maimaitawa da AI, kurakuran rubutu kuma da ɗan Adam, abin da ya yi daidai da ainihin bambance-bambancen kusan ba tare da kuskure ba.

Alamomi daidai, alkibla ba daidai ba

Mataki na ƙarshe ya kwatanta abin da alƙalai suka rubuta a bayaninsu da abin da zaɓuɓɓukansu suka dogara da shi a zahiri. A nan matsayin ya juye. Bayanan mutane sun yi daidai da zaɓuɓɓukansu da ɗan kyau idan aka kwatanta (daidaito na kusan 0.63 a jerin GPT-4, a kan ma’aunin da 1 ke nufin bayanai da zaɓuɓɓuka suna nuna alkibla ɗaya). GPT-5 ya ambaci yawancin siffofin da ya yi amfani da su da gaske, amma ya yi kuskure a alkiblar wasu daga cikinsu: a ayyukan biyu, ya ce salon nazari mafi ƙarfi, sauƙin karantawa mafi girma da ƙarin cikakken bayani suna nuni ga AI, alhali zaɓuɓɓukansa sun danganta dukansu ukun da amsoshin ɗan Adam. Bayanansa sun yi daidai da ainihin yadda ya auna abubuwa ƙasa da yadda na mutane suka yi nesa ba kusa ba.

Marubutan ba sa ɗaukar wannan a matsayin ƙirƙira zalla bayan abin ya faru, tun da bayanan GPT-5 sun ci gaba da kasancewa sama da sa’a a ma’aunan biyu; rashin daidaiton ya taƙaita ne ga ’yan siffofi kaɗan. Sun yi gargaɗin cewa irin wannan giɓi na wuri ɗaya zai iya haifar da ruɗin daidaito ga masu amfani da ke dogara ga bayanan samfuri.

Binciken ya shafi samfura biyu na OpenAI, kowanne yana hukunci a kan amsoshin zamaninsa, a kan gajerun labarai takwas. A kan wannan ma’aunin daidaito, GPT-5 ya samu 0.297 a aiki ɗaya da 0.296 a ɗayan, ƙasa sosai da na mutane — tare da siffofi uku ɗin nan da aka juya a dukan lokutan biyu.