GPT-5 KENDİ YAZISINI BİZDEN DAHA İYİ TANIYOR

Özgün Turing testinde, insan bir sorgulayıcı yazılı mesajlar alıp verir ve bir erkeği bir kadından ayırt etmeye çalışır. Bir noktada erkeğin yerine bir makine geçer. Sorgulayıcı makineyi kadından hâlâ ayırt edemiyorsa, makinenin testi geçtiği söylenir. Turing bunu felsefi bir düşünce deneyi olarak tasarlamıştı, ama onlarca yıldır yapay zekâ için bir ölçüt işlevi gördü — ve ChatGPT gibi sohbet robotlarının sonunda testi geçtiğine dair son iddialar eski bir soruyu yeniden canlandırdı: testi geçmek aslında neyi kanıtlar?

Bir hakemi kandırmanın iki yolu

Hamburg-Eppendorf Üniversite Tıp Merkezi’nden (University Medical Center Hamburg-Eppendorf) Cristina Becchio’nun liderliğindeki bir ekip, kandırılmış bir sorgulayıcının birbirinden çok farklı iki anlama gelebileceğine dikkat çekiyor.

Kodlama başarısızlığı (encoding). Makinenin cevapları insan cevaplarıyla o kadar örtüşür ki metin artık kaynağı hakkında hiçbir ipucu taşımaz. Ne kadar becerikli olursa olsun hiçbir gözlemci şans düzeyini aşamaz. Bu güçlü bir sonuç olurdu.
Okuma başarısızlığı (readout). İpuçları metnin içindedir, ama sorgulayıcı onları yakalayamaz. Başka bir hakem — örneğin yapay bir hakem — başarılı olabilir. Bu durumda test makineden çok hakem hakkında bilgi verir.

Klasik test bu ikisini birbirine karıştırır. Yazarlar üçüncü bir düzey ekliyor: üst-okuma (meta-readout), yani bir hakem kendi kararını hangi ipuçlarının yönlendirdiğini doğru söyleyebilir mi?

Tuhaf öyküler, iki cevap

Bu düzeyleri ayırmak için ekip Turing testini tersine çevirdi: sorgulayıcı koltuğuna hem insanlar hem de yapay zekâ sistemleri oturdu. Malzeme Strange Stories (Tuhaf Öyküler) testinden geldi; bu, aldatma, ironi, ikna ve yanlış anlama içeren sekiz kısa sosyal senaryodan oluşan bir set ve her biri bir karakterin ne düşündüğüne ya da neden öyle davrandığına dair bir soruyla bitiyor. İnsanlar ve GPT modelleri bu soruları yanıtlamıştı ve yalnızca doğru cevaplar tutuldu; böylece bir hakem makineyi hatalı akıl yürütmesinden yakalayamayacaktı.

Her sorgulayıcı bir öykü ve ona verilmiş, biri insandan biri yapay zekâdan gelen iki cevap gördü; ardından ya insan cevabını ya da yapay zekâ cevabını seçmesi, ne kadar emin olduğunu derecelendirmesi ve seçimini yazılı olarak açıklaması gerekti. Birinci çalışma serisinde GPT-4’ün cevaplarını insanlar ve GPT-4 değerlendirdi; ikincisinde GPT-5’in cevaplarını insanlar ve GPT-5 değerlendirdi. Toplamda Prolific platformu üzerinden 3.824 kişi katıldı; her biri tek bir yargı verdi ve bunlarla eşit sayıda model çalıştırması eşleştirildi.

Performans, duyarlılık (sensitivity) adı verilen d′ ölçüsüyle puanlandı: sıfır tahmin etmek anlamına gelir, daha yüksek değer daha iyi ayırt etmek demektir, negatif bir değer ise hakemin sistematik olarak yanıldığını gösterir.

İnsanlar geriliyor, GPT-5 keskinleşiyor

GPT-4’e karşı insanlar oldukça iyi iş çıkardı: yapay zekâ cevabını bulmaları istendiğinde d′ değerleri 1,36, insan cevabını bulmaları istendiğinde 1,10 oldu. Hakem olarak GPT-4 daha zayıftı ve “insanı bul” görevinde puanı negatifti, −1,11: yanlış cevabı doğru cevaptan daha sık gösterdi.

GPT-5’e karşı ikinci serideki insanlar 0,77 ve 0,27’ye geriledi — hâlâ şans düzeyinin üstünde, ama insan görevinde ancak kıl payı. Hakem olarak GPT-5 ise tam tersini yaptı ve 2,09 ile 2,01’e ulaşarak her iki görevde de insanların çok üzerine çıktı.

İpuçları hiç kaybolmadı

İnsanlardaki gerileme bir kodlama başarısızlığı mıydı? Bunu sınamak için araştırmacılar her cevabın 12 özelliğini ölçtü — uzunluk, ayrıntı, yazım hataları, tekrar, noktalama, okunabilirlik, analitik ya da sohbet havasında üslup ve diğerleri — ve bu özelliklerden kaynağı tahmin etmesi için basit bir istatistiksel model eğitti. Model, GPT-4 cevapları için doğru kaynağı %98,3 oranında buldu (iki cevap sıralamasındaki başarısının ortalamasını alan 0,983’lük bir “dengeli doğruluk”, balanced accuracy) ve GPT-5 için de hâlâ %92,5 oranında. GPT-5 kulağa daha insansı geliyor, ama bilgi hâlâ orada.

Değişen şey, bu bilgiyi hangi ipuçlarının taşıdığıydı. GPT-4 kendini esas olarak daha uzun cevaplarla, daha az yazım hatasıyla ve daha fazla tekrarla ele veriyordu. GPT-5’te uzunluk farkı belirgin biçimde küçüldü; bunun yerine daha yoğun noktalama ve daha az yazım hatası ele veren işaretler hâline geldi. İnsan hakemler uzunluğa dayanmayı sürdürdü — yazarlara göre bu, önceki sohbet robotlarına göre ayarlanmış bir alışkanlık. Sohbet robotlarını sık kullandığını belirten kişiler kısmen güncellenmişti: “yapay zekâyı bul” görevinde noktalamaya ve yazım hatalarına doğru ağırlığı verdiler. GPT-5 ise yoğun noktalamayı ve tekrarı yapay zekâyla, yazım hatalarını da insanlarla ilişkilendirdi ve gerçek farklarla neredeyse kusursuz biçimde örtüştü.

Doğru ipuçları, yanlış yönler

Son düzey, hakemlerin açıklamalarında yazdıklarını seçimlerinin gerçekte neye dayandığıyla karşılaştırdı. Burada sıralama tersine dönüyor. İnsanların açıklamaları seçimleriyle görece iyi örtüşüyordu (GPT-4 serisinde yaklaşık 0,63’lük bir uyum; bu ölçekte 1, açıklamalarla seçimlerin aynı yönü gösterdiği anlamına geliyor). GPT-5 gerçekten kullandığı özelliklerin çoğunu saydı, ama bazılarının yönünü yanlış belirtti: her iki görevde de daha analitik bir üslubun, daha yüksek okunabilirliğin ve daha fazla ayrıntının yapay zekâya işaret ettiğini söyledi; oysa seçimleri bu üçünü de insan cevaplarıyla ilişkilendiriyordu. Açıklamaları, gerçek ağırlıklandırmasıyla insanlarınkinden çok daha az örtüşüyordu.

Yazarlar bunu sırf sonradan uydurulmuş bir şey olarak yorumlamıyor, çünkü GPT-5’in açıklamaları her iki ölçüde de şans düzeyinin üstünde kaldı; uyumsuzluk birkaç özellikle sınırlı. Böylesine yerel bir uyumsuzluğun, bir modelin açıklamalarına güvenen kullanıcılarda bir uyum yanılsaması yaratabileceği konusunda uyarıyorlar.

Çalışma, her biri kendi kuşağının cevaplarını değerlendiren iki OpenAI modelini ve sekiz kısa öyküyü kapsıyor. O uyum ölçeğinde GPT-5 bir görevde 0,297, diğerinde 0,296 puan aldı; bu, insanlarınkinin anlamlı ölçüde altında — ve her iki seferde de aynı üç özellik tersine çevrilmiş durumda.