计算机与人工智能预印本数据分析阅读 1 分钟

AI改变了科学的一些用词,科学本身——还没有

自2022年底大语言模型向公众开放以来,研究人员一直用它们来写作、编辑和检索文献。已有研究认为,它们为科学家个人带来了生产力和知名度上的实实在在的收益。但人们对整个科学的担忧也在增长:以质量为代价换取生产力的“AI悖论”(AI paradox),泛滥成灾的“AI垃圾内容”(AI slop),以及一种逐渐蔓延、会收窄思想范围的单一文化(monoculture)。

新泽西理工学院的Ron Bekkerman、Nichole Li、Bahareh Kargar和Mark Somers着手衡量是否有什么东西发生了断裂——不是与理想化的过去相比,而是与早已在进行中的趋势相比。

十年的全文

他们的语料库包含2015年至2025年间发表的约250万篇全文论文,涵盖五个学科:计算机科学、数学和物理学(来自arXiv),以及健康与生命科学(来自PubMed Central)。他们没有只看摘要,而是分析了整篇论文,沿着一个层层递进的问题阶梯展开:用了哪些词,语言有多丰富、多专业,主题有多多样,论文是如何构建的,以及由谁撰写。

方法自始至终相同:比较每个趋势在2022年前后的走势,寻找断裂。

升起又落下的词

团队从最常见的20,000个英语单词出发,将其归并为14,484个基本形式,发现有796个词在2022年后激增,199个词减少,另有71个词先升后降。上升的是语言模型偏爱的、经过润色的分析性词语,比如“establish”(确立)和“underscore”(强调);下降的是朴素的词,比如“good”(好)和“happen”(发生)。著名的“delve”(深入探究)呈现出先升后降的模式:它在2023年之前几乎不见踪影,2024年达到顶峰,2025年急剧下降——作者认为,这是因为模型得到了更新,读者也变得更加警惕。

信号在计算机科学中最强,在数学中最弱,因为数学写作受到形式化符号的约束。而且它并不局限于摘要:激增的词在论文正文中同样出现。

科学语言没有被稀释

然而,涉及的词——略多于一千个——在数以千万计的不同词语构成的词汇中只是沧海一粟。以50个词的滑动窗口测量的词汇多样性,在任何学科中都没有在2022年出现显著的斜率变化。而科学术语的密度在全部五个领域中都在持续上升。用作者的话说,“科学论文随着时间推移显得越来越科学”。

主题:两次虚惊

论文是否越来越多地谈论同样的东西?在物理学和数学中,主题多样性保持平稳。在计算机科学中,它几乎呈直线下降——但这种下降早在2022年之前就开始了,因为该领域向深度学习和生成式AI汇聚,而且自2021年以来甚至略有放缓。

健康与生命科学在2022年后确实出现了更急剧的下降。但论文之间的相似性很大程度上来自它们的格式:随着生物医学文献向统一格式靠拢,论文中出现了关于许可协议、声明和贡献者角色的标准段落。过滤掉105个这类模板化短语后,大部分下降就消失了。

按模板搭建的论文

计算机科学论文的结构(基于近438,000篇论文的研究)变化很大——但变化是平稳的。只有一到三节的论文从17%降到4%,而有八节或更多的论文从5%升到30%。引言的平均长度从2,141个词缩短到1,236个词,而参考文献列表的长度几乎翻了一番。这些趋势都没有在2022年出现断裂。

团队更大,论文更多——大体照旧

各学科的合著团队在2022年之前就一直在扩大,之后只是继续扩大。有一个例外很突出:来自亚洲的计算机科学团队在2022年后扩大得更快。计算机科学和物理学的论文数量在2022年后也增长得更快,作者将此与语言模型联系起来。2023年生物医学论文产出的跃升,更可能是对2022年新冠时期的扰乱所造成的低谷的反弹。

还没有

在整个科学的尺度上,作者几乎没有找到“AI悖论”的证据。他们告诫不要把少数几个时髦词当作一场革命的证据,并认为政策——关于使用声明、关于同行评审——才是管理这种张力的合适工具。不过,他们的安慰是有时限的。这项研究只涵盖2022年后的三年,测量的是写作的可观察特征,而且作者认为“LLM渗透研究过程的速度”令人担忧。