GPT-5 MENGENALI TULISANNYA SENDIRI LEBIH BAIK DARIPADA KITA

Dalam uji Turing yang asli, seorang interogator manusia bertukar pesan tertulis dan mencoba membedakan seorang pria dari seorang wanita. Pada suatu saat, sang pria digantikan oleh mesin. Jika interogator tetap tidak bisa membedakan mesin dari wanita itu, mesin dikatakan lulus. Turing memaksudkannya sebagai eksperimen pikiran filosofis, tetapi selama puluhan tahun uji ini menjadi tolok ukur kecerdasan buatan — dan klaim-klaim terbaru bahwa chatbot seperti ChatGPT akhirnya lulus uji ini menghidupkan kembali pertanyaan lama: apa sebenarnya yang dibuktikan oleh kelulusan itu?

Dua cara menipu hakim

Sebuah tim yang dipimpin Cristina Becchio di University Medical Center Hamburg-Eppendorf menunjukkan bahwa interogator yang tertipu bisa berarti dua hal yang sangat berbeda.

• Kegagalan pengodean. Jawaban mesin begitu bertumpang tindih dengan jawaban manusia sehingga teks tak lagi membawa petunjuk apa pun tentang sumbernya. Tak ada pengamat, seterampil apa pun, yang bisa mengalahkan peluang acak. Itu akan menjadi hasil yang kuat.
• Kegagalan pembacaan. Petunjuknya ada di dalam teks, tetapi interogator tidak menangkapnya. Hakim lain — misalnya hakim buatan — mungkin berhasil. Uji ini lalu lebih banyak bercerita tentang hakimnya daripada tentang mesinnya.

Uji klasik mencampuradukkan keduanya. Para penulis menambahkan tingkat ketiga, meta-pembacaan: bisakah seorang hakim dengan benar menyebutkan petunjuk mana yang memandu keputusannya sendiri?

Cerita aneh, dua jawaban

Untuk memisahkan tingkat-tingkat ini, tim membalik uji Turing: manusia dan sistem AI sama-sama duduk di kursi interogator. Bahannya berasal dari tes Strange Stories, seperangkat delapan skenario sosial pendek — penipuan, ironi, bujukan, salah paham — yang masing-masing diakhiri dengan pertanyaan tentang apa yang dipikirkan seorang tokoh atau mengapa ia bertindak. Manusia dan model GPT telah menjawabnya, dan hanya jawaban yang benar yang dipertahankan, sehingga hakim tak bisa membongkar mesin lewat penalaran yang keliru.

Setiap interogator melihat sebuah cerita dan dua jawaban untuknya, satu dari manusia dan satu dari AI, lalu harus memilih jawaban manusia atau jawaban AI, menilai tingkat keyakinannya, dan menjelaskan pilihannya secara tertulis. Dalam rangkaian studi pertama, jawaban GPT-4 dinilai oleh manusia dan oleh GPT-4; dalam rangkaian kedua, jawaban GPT-5 dinilai oleh manusia dan oleh GPT-5. Secara keseluruhan, 3.824 orang ikut serta melalui platform Prolific, masing-masing memberikan satu penilaian, diimbangi dengan jumlah putaran model yang sama.

Kinerja diukur dengan ukuran yang disebut sensitivitas, d′: nol berarti menebak, makin tinggi berarti makin baik dalam membedakan, dan nilai negatif berarti hakim secara sistematis salah.

Manusia tergelincir, GPT-5 makin tajam

Melawan GPT-4, manusia tampil cukup baik, dengan d′ sebesar 1,36 saat diminta menemukan jawaban AI dan 1,10 saat diminta menemukan jawaban manusia. GPT-4 sebagai hakim lebih lemah, dan dalam tugas “temukan manusia” skornya negatif, yaitu −1,11: ia lebih sering menunjuk jawaban yang salah daripada yang benar.

Melawan GPT-5, manusia dalam rangkaian kedua tergelincir ke 0,77 dan 0,27 — masih di atas peluang acak, tetapi nyaris tidak dalam tugas menemukan manusia. GPT-5 sebagai hakim justru sebaliknya, mencapai 2,09 dan 2,01, jauh di atas manusia dalam kedua tugas.

Petunjuknya tak pernah lenyap

Apakah kemerosotan manusia itu kegagalan pengodean? Untuk memeriksanya, para peneliti mengukur 12 ciri dari setiap jawaban — panjang, kerincian, salah ketik, redundansi, tanda baca, keterbacaan, nada analitis atau percakapan, dan lain-lain — lalu melatih model statistik sederhana untuk menebak sumber jawaban dari ciri-ciri itu. Model itu menebak sumber dengan benar 98,3% dari waktu untuk jawaban GPT-4 (“akurasi seimbang” sebesar 0,983, yang merata-ratakan keberhasilannya atas kedua urutan jawaban) dan masih 92,5% untuk GPT-5. GPT-5 terdengar lebih manusiawi, tetapi informasinya masih ada.

Yang berubah adalah petunjuk mana yang membawanya. GPT-4 terutama ketahuan lewat jawaban yang lebih panjang, lebih sedikit salah ketik, dan lebih banyak pengulangan. Dengan GPT-5, selisih panjang menyusut tajam, sementara tanda baca yang lebih padat dan lebih sedikit salah ketik menjadi tanda pengenalnya. Para hakim manusia tetap bersandar pada panjang jawaban — kebiasaan yang, menurut para penulis, terkalibrasi pada chatbot-chatbot sebelumnya. Orang yang melaporkan sering memakai chatbot sudah sebagian memperbarui kebiasaannya: dalam tugas “temukan AI”, mereka memberi bobot yang benar pada tanda baca dan salah ketik. GPT-5, sementara itu, mengaitkan tanda baca yang padat dan redundansi dengan AI serta salah ketik dengan manusia, nyaris sempurna sesuai dengan perbedaan yang sebenarnya.

Petunjuk benar, arah salah

Tingkat terakhir membandingkan apa yang ditulis para hakim dalam penjelasan mereka dengan apa yang sebenarnya menjadi dasar pilihan mereka. Di sini peringkatnya berbalik. Penjelasan manusia relatif cocok dengan pilihan mereka (keselarasan sekitar 0,63 dalam rangkaian GPT-4, pada skala di mana 1 berarti penjelasan dan pilihan menunjuk ke arah yang sama). GPT-5 menyebut banyak ciri yang memang dipakainya, tetapi salah arah untuk beberapa di antaranya: dalam kedua tugas, ia mengatakan bahwa nada yang lebih analitis, keterbacaan yang lebih tinggi, dan kerincian yang lebih banyak menunjukkan AI, padahal pilihan-pilihannya mengaitkan ketiganya dengan jawaban manusia. Penjelasannya jauh kurang cocok dengan pembobotan yang sebenarnya dibandingkan penjelasan manusia.

Para penulis tidak membacanya sebagai karangan murni setelah kejadian, karena penjelasan GPT-5 tetap di atas peluang acak pada kedua ukuran; ketidakcocokannya terbatas pada beberapa ciri. Mereka memperingatkan bahwa celah yang terlokalisasi seperti itu bisa menimbulkan ilusi keselarasan bagi pengguna yang mengandalkan penjelasan sebuah model.

Studi ini mencakup dua model OpenAI, masing-masing menilai jawaban dari generasinya sendiri, pada delapan cerita pendek. Pada skala keselarasan itu, GPT-5 mendapat skor 0,297 dalam satu tugas dan 0,296 dalam tugas lainnya, secara signifikan di bawah manusia — dengan tiga ciri yang sama terbalik pada kedua kesempatan.