Bilişim ve yapay zekâÖn baskıDeney3 dk okuma

BİR DİL MODELİ KENDİ AĞIRLIKLARINI YENİDEN YAZIYOR

Bir dil modeli bir kez eğitilir, dondurulur ve kullanıma sunulur. Onu daha iyi yapmak için normalde bir eğitim daha gerekir — büyük hesaplama kümeleri, bir eğitim altyapısı ve bunları kullanmayı bilen insanlar. Kullanıcının değiştirebildiği şey, yani istem (prompt), görev değişince ortadan kalkar. UIUC, CMU, Rutgers, Princeton ve Stanford’dan Jiajun Fan, Ge Liu ve meslektaşları farklı bir soru sordu: bir model, hiç eğitim olmadan, yalnızca akıl yürüterek kendi ağırlıklarını yeniden yazabilir mi — onu tanımlayan milyarlarca sayıyı?

Yazarlara göre yanıt evet, “bildiğimiz kadarıyla ilk kez”. Buna kendini yeniden yazma (self-rewriting) diyorlar.

Kendi ağırlıkları üzerinde bir oturum

Deneyler tek bir açık model ailesini, Qwen3.5’i, dört boyutta kullanıyor: 2, 4, 9 ve 27 milyar parametre. Her model, kendi ağırlıkları üzerinde çalışacağı bir oturum alıyor. Alıştırma niteliğindeki matematik problemlerine verdiği notlandırılmış yanıtları ve ağırlık matrislerini okuyup üzerlerine yazabileceği bir Python ortamını alıyor. Kendini sınırlı sayıda — 20 ileri geçiş — çalıştırabiliyor da: aynı rastgele tohumlarla, problemleri düzenlemeli ve düzenlemesiz yanıtlamak ya da kendi gizli durumlarını okumak için.

Yapamadığı şey ise eğitimdir. Ortam her türlü gradyan hesaplamasını ve her türlü optimize ediciyi reddediyor, GPU’su ve ağ erişimi yok, ve bütün bir matrisi yalnızca yeniden ölçeklemekten ibaret düzenlemeleri engelliyor. Modelin değiştirdiği her değer kendi akıl yürütmesiyle yazılıyor. Sonuçlar daha sonra oturumların hiç görmediği problemler üzerinde denetleniyor.

Bozuk matrisi bulmak

İlk testte ekip, 27 milyar parametreli modele kendisinin hasarlı bir kopyasını verdi: 64 katmandan 30. katmandaki bir matrisin sekiz satırının üzerine gürültü yazılmıştı. Modele yalnızca bazı değerlerin bozulduğu söylendi. Kopya hiçbir problemi çözemiyordu.

Oturumu bir hata ayıklama süreci gibi okunuyor. Önce erken katmanlardan şüphelendi — yanlıştı, ve kendi testleri de bunu söyledi. Sonra her çıkış matrisindeki en büyük ağırlığı tipik olanla karşılaştırdı ve suçluyu buldu: “30. katmanın down_proj’unda 1397x’lik aşırı bir aykırı değer var”. Düzeltmesi yumuşaktı: o matriste ve 19 diğerinde, matrisinin medyanının 15 katının üzerindeki her ağırlığı bu sınıra indirdi. Hiç görmediği özgün değerleri geri yüklemedi; rastgele olanları sınırladı. Ayrılmış (hiç görülmemiş) 200 matematik probleminde kopyanın başarısı %0’dan %33’e çıktı. Daha çarpıcısı, yalnızca metin üzerinde bulunan onarım görüntülerde de işe yaradı: hiç görmediği altı görüntü kıyaslama testinde kopya %7,3’ten %70,2’ye yükseldi; bu, hasarsız modelin doğruluğunun %83’ü.

Kendine durmayı öğretmek

Kendi hasarsız ağırlıkları üzerinde 27B model bir teşhisle işe başladı: yanıtlarının çoğu token’ları tükendiği için yarıda kalıyordu, ama tamamlananların neredeyse hepsi doğruydu. Kendi sözleriyle: “akıl yürütmem sağlam ama fazla laf kalabalığı yapıyorum ya da sonuçlara verimli biçimde varamıyorum.”

Bunun üzerine, biten yanıtlardaki ve uzayıp giden yanıtlardaki gizli durumlarını karşılaştırdı, ikisini ayıran yönü buldu ve bu yönün küçük bir payını tek bir katmandan çıkardı. Testleri düzenlemeden yana çıktı. İkinci bir protokolde çerçeve, model bir düzenlemeyi sunmayı seçmeden önce her düzenlemeyi ayrılmış problemler üzerinde bir kez de denetledi. Tamamı raporlanan bu türden ilk sekiz oturumda model beşinde geri çekildi ve üçünde düzenlemesini sundu. Bunlardan ikisi onu 490 yeni problemde anlamlı ölçüde daha iyi yaptı: +6,6 puan (%57,2’den %63,8’e) ve +4,0 puan. Daha büyük kazanç şaşırtıcı derecede basit bir değişiklikten geldi — her doğrusal dikkat katmanında tek bir ayarı hafifçe kaydırmak — ve ardından daha az yanıt token’ları tükendiği için yarıda kaldı. Bir problemde özgün model, yanıt vermeden tek bir cümleyi 549 kez tekrarlamıştı; düzenlemeden sonra doğru yanıt verdi. En büyük kazançların ardındaki her oturum, tek bir GPU üzerinde birkaç saatte tamamlandı.

Bunu yalnızca en büyük model başarıyor

Aynı görev ve aynı araçlarla, her şeyi boyut belirledi. 2 milyar parametreli model hiçbir düzenleme yapmadı: kodunun çoğu çalışmadı. 4 ve 9 milyarlık modeller ağırlıklarına rastgele gürültü ekleyip kendilerini bozdu; 9 milyarlık model, onu yeni problemleri yanıtlayamaz hâle getiren bir düzenlemeyi bile sundu. Yalnızca 27 milyarlık model harekete geçmeden önce ölçtü ve testlerinin desteklediğini korudu. Yazarlara göre bu, tek bir model ailesi içinde, kendi ağırlıklarını teşhis edip yeniden yazma yeteneğinin boyutla birlikte arttığının ilk kanıtı.

İddialar neye dayanıyor

Sonuçlar tek bir model ailesinden ve çoğunlukla matematik problemlerinden geliyor. Kazançlar esas olarak hiç bitmeyen yanıtları düzeltiyor ve sunulan üç düzenlemeden biri anlamlı bir kazanç getirmedi. Onarım, hasarın götürdüğünün tamamını değil, çoğunu geri kazandırıyor. Yazarlar, bir modeli iyileştirmenin “bir eğitim değil, bir sohbet” gerektireceği bir gelecek görüyor; belki de kendilerini tekrar tekrar iyileştiren modellere giden bir yol. Yazarların ısrarla vurguladığı gibi, bu yol döngüde insanlarla birlikte yürünmeli: bir modelin kendinden ürettiği her model, görev kadar güvenlik açısından da değerlendirilmeli ve bir insan tarafından onaylanmalı.