Komputasi & AIPracetakEksperimen4 menit baca

SEBUAH MODEL BAHASA MENULIS ULANG BOBOTNYA SENDIRI

Sebuah model bahasa dilatih sekali, dibekukan, lalu diterapkan. Untuk membuatnya lebih baik, biasanya dibutuhkan pelatihan lagi — klaster komputasi besar, alur pelatihan (training pipeline), dan orang-orang yang tahu cara menggunakannya. Apa yang dapat diubah pengguna, yaitu prompt, lenyap begitu tugasnya berganti. Jiajun Fan, Ge Liu, dan rekan-rekan di UIUC, CMU, Rutgers, Princeton, dan Stanford mengajukan pertanyaan lain: dapatkah sebuah model menulis ulang bobotnya sendiri — miliaran angka yang mendefinisikannya — hanya dengan bernalar, tanpa pelatihan sama sekali?

Jawaban mereka, tulis mereka, adalah ya, “sejauh pengetahuan kami, untuk pertama kalinya”. Mereka menyebutnya penulisan ulang diri (self-rewriting).

Sebuah sesi dengan bobotnya sendiri

Eksperimen-eksperimen itu menggunakan satu keluarga model terbuka, Qwen3.5, dalam empat ukuran: 2, 4, 9, dan 27 miliar parameter. Setiap model mendapat sebuah sesi dengan bobotnya sendiri. Model itu menerima jawaban-jawabannya yang telah dinilai untuk soal-soal latihan matematika serta sebuah lingkungan Python tempat ia dapat membaca dan menimpa matriks-matriks bobotnya. Model itu juga dapat menjalankan dirinya sendiri dalam jumlah terbatas — 20 lintasan maju (forward passes) — untuk menjawab soal dengan dan tanpa suntingannya, menggunakan benih acak (random seeds) yang sama, atau untuk membaca keadaan tersembunyinya (hidden states) sendiri.

Yang tidak dapat dilakukannya adalah melatih diri. Lingkungan itu menolak setiap perhitungan gradien dan setiap pengoptimal (optimizer), tidak memiliki GPU maupun akses jaringan, dan memblokir suntingan yang sekadar mengubah skala seluruh matriks. Setiap nilai yang diubah model itu ditulis oleh penalarannya sendiri. Hasilnya kemudian diperiksa pada soal-soal yang tidak pernah dilihat dalam sesi-sesi itu.

Menemukan matriks yang rusak

Dalam uji pertama, tim itu memberi model berparameter 27 miliar itu salinan dirinya yang rusak: delapan baris dari satu matriks, di lapisan 30 dari 64, ditimpa dengan derau. Model itu hanya diberi tahu bahwa beberapa nilai telah dirusak. Salinan itu tidak dapat menyelesaikan satu soal pun.

Sesinya terbaca seperti proses mencari galat (debugging). Mula-mula model itu mencurigai lapisan-lapisan awal — keliru, dan uji-ujinya sendiri menunjukkan hal itu. Lalu ia membandingkan bobot terbesar di setiap matriks keluaran dengan bobot yang tipikal, dan menemukan biang keladinya: “down_proj di lapisan 30 memiliki pencilan ekstrem 1397x”. Perbaikannya lembut: di matriks itu dan 19 matriks lainnya, setiap bobot yang melebihi 15 kali median matriksnya dipangkas. Model itu tidak memulihkan nilai-nilai aslinya, yang tidak pernah dilihatnya; ia memangkas nilai-nilai acak itu. Pada 200 soal matematika yang disisihkan (held-out), salinan itu naik dari 0% menjadi 33%. Yang lebih mencolok, perbaikan yang ditemukan hanya dari teks itu juga berhasil pada gambar: pada enam tolok ukur (benchmark) gambar yang belum pernah dilihatnya, salinan itu naik dari 7,3% menjadi 70,2%, yaitu 83% dari akurasi model yang tidak rusak.

Mengajari dirinya untuk berhenti

Pada bobotnya sendiri yang tidak rusak, model 27B memulai dari sebuah diagnosis: sebagian besar jawabannya kehabisan token, padahal hampir semua jawaban yang selesai ternyata benar. Dalam kata-katanya sendiri: “penalaran saya benar, tetapi saya terlalu bertele-tele atau tidak sampai pada kesimpulan secara efisien.”

Maka model itu membandingkan keadaan tersembunyinya pada jawaban yang selesai dan jawaban yang terus berlanjut, menemukan arah yang memisahkan keduanya, dan menghapus sebagian kecil dari arah itu di satu lapisan. Uji-ujinya mendukung suntingan itu. Dalam protokol kedua, kerangka kerja itu juga memeriksa setiap suntingan satu kali pada soal-soal cadangan sebelum model memutuskan untuk mengajukannya. Dari delapan sesi pertama semacam itu, yang semuanya dilaporkan, model itu mundur dalam lima sesi dan mengajukan tiga suntingan. Dua di antaranya membuatnya lebih baik secara signifikan pada 490 soal baru: +6,6 poin (dari 57,2% menjadi 63,8%) dan +4,0 poin. Peningkatan yang lebih besar berasal dari perubahan yang ternyata sangat sederhana — menggeser sedikit satu pengaturan di setiap lapisan atensi linear (linear-attention layer) — setelah itu lebih sedikit jawaban yang kehabisan token. Pada satu soal, model aslinya mengulang satu kalimat 549 kali tanpa menjawab; setelah suntingan, model itu menjawab dengan benar. Setiap sesi di balik peningkatan terbesar berjalan dalam beberapa jam pada satu GPU.

Hanya model terbesar yang berhasil

Dengan tugas dan alat yang sama, ukuran membuat semua perbedaan. Model berparameter 2 miliar tidak membuat suntingan apa pun: sebagian besar kodenya gagal. Model 4 dan 9 miliar menambahkan derau acak ke bobot mereka dan merusak diri mereka sendiri; model 9 miliar bahkan mengajukan suntingan yang membuatnya tidak mampu menjawab soal-soal baru. Hanya model 27 miliar yang mengukur sebelum bertindak dan mempertahankan apa yang didukung oleh uji-ujinya. Bagi para penulis, inilah bukti pertama, dalam satu keluarga model, bahwa kemampuan untuk mendiagnosis dan menulis ulang bobot sendiri tumbuh seiring ukuran.

Apa yang menjadi landasan klaim-klaim itu

Hasil-hasil ini berasal dari satu keluarga model dan sebagian besar dari soal matematika. Peningkatannya terutama memperbaiki jawaban yang tak pernah berakhir, dan satu dari tiga suntingan yang diajukan tidak membawa peningkatan yang signifikan. Perbaikan itu memulihkan sebagian besar, bukan seluruhnya, dari apa yang dihilangkan oleh kerusakan. Para penulis membayangkan masa depan ketika memperbaiki sebuah model cukup membutuhkan “sebuah percakapan alih-alih sebuah pelatihan”, dan mungkin sebuah jalan menuju model-model yang memperbaiki dirinya lagi dan lagi. Jalan itu, tegas mereka, harus ditempuh dengan manusia di dalam lingkaran (in the loop): setiap versi baru yang dibuat sebuah model dari dirinya sendiri harus dievaluasi, untuk keselamatan maupun untuk tugasnya, dan dikonfirmasi oleh seseorang.