当AI照抄AI,总得有人继续学习
用较早一个模型的输出去训练一个生成式模型,它就会退化。一代又一代下来,最罕见的内容先于常见内容消失,模型产出的东西也越来越窄。这种模型崩溃(model collapse)如今已被深入研究——它的治疗方法也是如此。所有有效的补救办法,都是从这个循环之外引入一些东西:新鲜的人类数据、保留下来的真实数据、验证器、人工筛选。
佛蒙特大学的计算机科学家Nam Le指出了这些分析视为理所当然的东西。它们把新鲜数据当作一个固定的档案库,需要多少就有多少;它们还假定被描述的世界静止不动。这两点都不成立:新鲜文本是由人写的,而人们越来越多地向模型提问,而不是自己去查明;世界也在不断变化。
一个古老的悖论
这两个问题都处在一个更早的理论的核心。1988年,罗杰斯(Rogers)描述了如今所说的罗杰斯悖论(Rogers’ paradox):在一个群体中,照抄之所以蔓延,是因为对个人来说它比学习更便宜,但最终每个人都不会比一个从不照抄的群体过得更好。抄来的东西会过时,总得有人不断付出代价去学习。
文化演化领域后来的研究完善了这一观点。批判性学习者先照抄,再拿抄来的东西与现实世界对照,如果不成立就自己去学习;这样的学习者能提高所有人的收益。从众学习者则照抄常见的东西,这很便宜,却会侵蚀罕见的变体。
Le的论点是,用另一个模型的输出训练模型,恰恰就是这种意义上的社会学习,因此这一理论应当适用。在最简单的形式下,它给出了一条只有一行的规则:当训练数据中有一部分是新鲜数据时,一个模型谱系能保留多少知识。
达尔文和《白鲸》,一抄再抄
为了检验这一点,Le用古腾堡计划(Project Gutenberg)中的两本书训练了若干小型语言模型谱系:达尔文的《物种起源》和梅尔维尔的《白鲸》。每一代都从上一代生成的文本中学习,并掺入一些来自原书的新鲜文本。
只用自己的输出来训练时,词级模型在十二代内丢掉了五分之四的罕见词。起始一代的一段样本读起来仍是“i cannot see that a genus become fitted for most justly celebrated elder huber”;到了第十二代,则变成了“struggle of the on that may inheritable detected i hybrids, kept.”
引人注目的是预测部分。Le只在完全自我喂养的谱系上拟合了这条规则唯一的参数——一条被照抄的知识在每一代丢失的概率——然后原封不动地用它去预测新鲜数据占10%、30%或50%的谱系。它对这些谱系保留了多少罕见词的预测,与实际结果相差在3个百分点以内。再加上第二类知识——脆弱的与持久的之分——这条规则对一个小型Transformer和一个预训练语言模型OPT-125m也同样成立。
当世界在变
接下来,“世界”本身被设定为不断变化:一个在两本书中滑动的窗口,于是新词汇不断涌入,旧词不断离开。世界变得越快,一个自我照抄的谱系就需要越多的新鲜数据。要保住完全新鲜的语料所能覆盖内容的80%,新鲜数据的比例必须从约30%提高到约45%。论文预测,随着合成文本不断累积,变化迅速的领域将最先退化。
预训练模型的表现则不同:无论世界变不变,它的知识都保持得很好。在Le看来,它的预训练权重每一代都原封不动地继承下来,是从不经过照抄链条的知识。但有一个前提:这里不断变化的文本,是该模型在预训练期间已经见过的文本。
循环中的人
接下来是论文标题所指的部分。Le构建了一个模型,其中人们要么付出一定代价自己查明一个事实,要么免费向AI提问,而答对的概率只与AI的准确率相同。人们写下的内容,连同模型自己写的一部分文本,成为下一个模型的训练数据。
均衡结果十分严峻:
- AI最终答对的频率恰好足以让向它提问的收益与自己查明完全相同(把自己查明的代价计算在内)——无论它的规模或架构如何;
- 就整体而言,人们并没有比没有AI时过得更好:这是罗杰斯悖论,适用于人类与机器的整体;
- 训练文本中由模型自己写的部分越多,就越需要人们继续自己学习——当一半文本由模型写成时,需要的人数是原来的两倍。Le的结论是,新鲜数据是用人类的努力换来的。
出路是存在的。如果人们拿AI的回答与现实世界对照,并在它出错时重新学习,悖论就会被打破:在模拟中,平均收益稳定在0.93,而没有AI时为0.70。按照这种观点,让核查变得廉价的工具不是一种便利,而是防止整个系统崩溃的关键。
适得其反的过滤器
同样的视角也可以用来甄别那些用于清洗合成数据的过滤器。保留模型认为最可信的样本,就是从众式的照抄;在实验中,它加速了罕见词的丢失:预训练模型只保留了5%的罕见词,而随机保留一半样本时则为57%。只有拿文本与现实世界对照的过滤器,才像批判性学习者那样起作用。所有这些都是用小型模型展示的,最大的模型有1.25亿个参数;Le指出,在大规模上检验这些结论是关键的悬而未决的问题。
