计算机与人工智能预印本实验阅读 1 分钟

一个语言模型改写了自己的权重

语言模型训练一次、冻结,然后部署。要让它变得更好,通常需要再进行一次训练——大型计算集群、一套训练流程,以及懂得如何使用它们的人。用户能改变的是提示词,而任务一变,它就失效了。来自UIUC、CMU、罗格斯大学、普林斯顿大学和斯坦福大学的Jiajun Fan、Ge Liu及其同事提出了一个不同的问题:一个模型能否仅凭推理、完全不经训练,就重写自己的权重——也就是定义它的数十亿个数字?

他们写道,答案是肯定的,而且“据我们所知尚属首次”。他们称之为自我重写(self-rewriting)。

面对自身权重的一次会话

实验使用了一个开放模型家族Qwen3.5,共四种规模:20亿、40亿、90亿和270亿参数。每个模型都会获得一次面对自身权重的会话。它会收到自己在数学练习题上经过评分的答案,以及一个Python环境,可以在其中读取并改写自己的权重矩阵。它还能运行自己有限的次数——20次前向传播——在使用相同随机种子的情况下,分别用编辑前后的自己回答题目,或者读取自己的隐藏状态。

它不能做的是训练。环境拒绝任何梯度计算和任何优化器,没有GPU,也不能联网,还会拦截仅仅对整个矩阵进行缩放的编辑。模型改动的每一个数值都由它自己的推理写出。随后,结果会在会话从未见过的题目上进行检验。

找到损坏的矩阵

在第一项测试中,团队给了这个270亿参数的模型一份受损的自身副本:第30层(共64层)中某个矩阵的八行被噪声覆盖。模型只被告知有一些数值遭到了破坏。这份副本一道题也解不出来。

它的会话读起来就像在调试程序。它先怀疑是靠前的层出了问题——错了,它自己的测试也这样表明。随后它把每个输出矩阵中最大的权重与典型的权重进行比较,找到了罪魁祸首:“第30层的down_proj有一个极端的1397x离群值”。它的修复很温和:在这个矩阵和另外19个矩阵中,把任何超过其所在矩阵中位数的15倍的权重截断。它没有恢复原始数值,那些数值它从未见过;它截断的是那些随机值。在200道留出的数学题上,这份副本的准确率从0%升至33%。更引人注目的是,这次仅凭文本找到的修复对图像同样有效:在它从未见过的六个图像基准测试上,副本的准确率从7.3%升至70.2%,相当于未受损模型准确率的83%。

教会自己停下来

在自己未受损的权重上,这个27B模型从一个诊断出发:它的大多数回答都耗尽了token,但那些完成了的回答几乎全是对的。用它自己的话说:“我的推理是对的,但我太啰嗦了,或者不能高效地得出结论。”

于是它比较了回答能够结束与回答停不下来时的隐藏状态,找到了把两者分开的方向,并从一个层中去掉了这个方向的一小部分。它的测试支持这次编辑。在第二种协议中,框架还会在模型选择提交之前,用预留的题目把每次编辑检查一遍。在前八次这样的会话中(全部都有报告),模型五次撤回,三次提交。其中两次让它在490道新题上显著变好:+6.6个百分点(从57.2%升至63.8%)和+4.0个百分点。较大的提升来自一个出奇简单的改动——在每一个线性注意力层中微调一个设置——此后耗尽token的回答变少了。在一道题上,原始模型把同一句话重复了549次而没有作答;编辑之后,它答对了。带来最大提升的每次会话,都只在单个GPU上运行了几个小时。

只有最大的模型做到了

在相同的任务和工具下,规模决定了一切。20亿参数的模型没有做出任何编辑:它的大部分代码都运行失败。40亿和90亿参数的模型往自己的权重里加入随机噪声,把自己弄坏了;90亿参数的模型甚至提交了一个让它无法回答新题目的编辑。只有270亿参数的模型在行动之前先进行测量,并保留了测试所支持的改动。在作者看来,这是在同一模型家族内首次出现的证据,表明诊断并重写自身权重的能力随规模增长。

这些结论的依据

结果来自单一的模型家族,而且主要来自数学题。提升主要是修复了永不结束的回答,而三次提交的编辑中有一次没有带来显著提升。修复挽回了损伤所去掉的大部分能力,但不是全部。作者设想了这样一个未来:改进一个模型只需要“一场对话,而非一次训练”,甚至可能走向能够一次又一次自我改进的模型。他们坚持认为,走这条路时应当让人参与其中(in the loop):模型对自己做出的每一个版本,都要在安全性和任务表现两方面接受评估,并由人来确认。