計算機科学・AIプレプリント実験1分で読めます

言語モデルが自分自身の重みを書き換える

言語モデルは一度訓練され、凍結され、展開される。よりよくするには、ふつうもう一度の訓練が必要だ。大規模な計算クラスター、訓練パイプライン、そしてそれらを使いこなせる人々である。ユーザーが変えられるもの、つまりプロンプトは、タスクが変われば消えてしまう。UIUC、CMU、ラトガース大学、プリンストン大学、スタンフォード大学のJiajun Fan、Ge Liuらは、別の問いを立てた。モデルは、自らを定義する数十億個の数値である自分自身の重みを書き換えることを、訓練をまったく行わずに推論だけでできるのだろうか。

著者らによれば、答えはイエスであり、それは「私たちの知る限り初めて」のことだという。著者らはこれを自己書き換え(self-rewriting)と呼ぶ。

自分自身の重みについてのセッション

実験では、オープンなモデルの1つのファミリーであるQwen3.5を、20億、40億、90億、270億パラメータの4つのサイズで用いる。各モデルは、自分自身の重みについてのセッションを与えられる。モデルは、練習用の数学問題に対する自分の採点済みの答えと、重み行列を読んだり上書きしたりできるPython環境を受け取る。また、限られた回数(20回のフォワードパス)だけ自分自身を実行し、同じ乱数シードを使って編集ありと編集なしで問題に答えたり、自分の隠れ状態を読んだりすることもできる。

できないのは訓練だ。この環境は勾配の計算もオプティマイザも一切受け付けず、GPUもネットワーク接続もなく、行列全体を単にスケーリングし直すだけの編集はブロックされる。モデルが変更する値はすべて、モデル自身の推論によって書かれる。結果はその後、セッションで一度も見なかった問題で確認される。

壊れた行列を見つける

最初のテストで、チームは270億パラメータのモデルに損傷した自分のコピーを渡した。64層のうち第30層にある1つの行列の8行が、ノイズで上書きされていた。モデルには、いくつかの値が破損しているとだけ伝えられた。このコピーは1問も解けなかった。

そのセッションはデバッグの記録のように読める。モデルはまず初期の層を疑ったが、それは誤りで、自分のテストもそう示した。次に、各出力行列の最大の重みを典型的な重みと比べ、犯人を見つけた。「第30層のdown_projに1397xという極端な外れ値がある」。修正は穏やかなものだった。その行列とほかの19個の行列で、その行列の中央値の15倍を超える重みに上限をかけたのだ。モデルは元の値を復元したわけではない。元の値は一度も見ていないからだ。上限をかけたのはランダムな値である。セッションで使われなかった200問の数学問題で、コピーの正答率は0%から33%に上がった。さらに目を引くのは、テキストだけで見つけた修復が画像にも効いたことだ。一度も見たことのない6つの画像ベンチマークで、コピーの正答率は7.3%から70.2%に上がった。これは、損傷していないモデルの正答率の83%にあたる。

止まることを自分に教える

損傷していない自分自身の重みでは、27Bのモデルはある診断から出発した。答えの大半はトークンを使い果たしていたが、最後まで終わった答えはほぼすべて正しかった。モデル自身の言葉ではこうだ。「私の推論は健全だが、冗長すぎるか、効率よく結論に収束していない」。

そこでモデルは、最後まで終わる答えと延々と続く答えとで自分の隠れ状態を比べ、両者を分ける方向を見つけ、1つの層からその方向の成分をわずかに取り除いた。自分のテストは、この編集を支持する結果を示した。第2のプロトコルでは、モデルが提出を決める前に、フレームワークが各編集を予備の問題で一度確認もした。こうした最初の8回のセッション(すべて報告されている)で、モデルは5回で取り下げ、3回で提出した。そのうち2回は、490問の新しい問題でモデルを有意に改善した。+6.6ポイント(57.2%から63.8%へ)と+4.0ポイントである。大きいほうの改善は、意外なほど単純な変更から生まれた。すべての線形アテンション層で1つの設定を少しだけ動かしたのだ。その後、トークンを使い果たす答えは減った。ある問題では、元のモデルは答えないまま同じ1文を549回繰り返していたが、編集後は正しく答えた。最大の改善をもたらした各セッションは、1台のGPUで数時間で実行された。

うまくいくのは最大のモデルだけ

同じタスクと同じツールでも、サイズがすべてを分けた。20億パラメータのモデルは何も編集しなかった。そのコードの大半が失敗したのだ。40億と90億のモデルは重みにランダムなノイズを加え、自分自身を壊した。90億のモデルは、新しい問題に答えられなくなる編集を提出までした。行動する前に測定し、テストが支持したものだけを残したのは、270億のモデルだけだった。著者らにとって、これは1つのモデルファミリーの中で、自分自身の重みを診断して書き換える能力がサイズとともに高まることを示す最初の証拠である。

主張の根拠

結果は1つのモデルファミリーから、それも主に数学問題から得られたものだ。改善は主に、いつまでも終わらない答えを直すものだった。また、提出された3つの編集のうち1つは、有意な改善をもたらさなかった。修復は、損傷によって失われたものの大半を取り戻すが、すべてではない。著者らは、モデルの改善に「訓練ではなく対話」が必要になる未来を見据えており、モデルが何度も繰り返し自らを改善していく道筋もありうると考えている。その道は人間が関与する形(in the loop)で進むべきだと、著者らは強く主張する。モデルが自分自身からつくるすべてのモデルを、タスクについてだけでなく安全性についても評価し、人間が確認するということだ。