計算機科学・AIプレプリントデータ解析1分で読めます

AIが変えたのは科学の言葉の一部で、科学そのものではない——まだ

2022年末に大規模言語モデルが一般に利用できるようになって以来、研究者たちはそれを使って文章を書き、推敲し、文献を検索してきた。いくつかの研究は、個々の科学者にとって生産性と注目度の両面で実際の利益があったとしている。だが、科学全体については懸念が高まっている。生産性が質を犠牲にして得られる「AIパラドックス」(AI paradox)、「AIスロップ」(AI slop)の氾濫、そしてアイデアの幅を狭めかねない、じわじわと広がるモノカルチャーだ。

ニュージャージー工科大学のRon Bekkerman、Nichole Li、Bahareh Kargar、Mark Somersは、何かが壊れたのかどうかを測ろうとした——理想化された過去と比べてではなく、すでに進行していた傾向と比べてだ。

10年分の全文

研究チームのコーパスには、2015年から2025年までに発表された約250万本の全文論文が含まれる。分野は5つで、コンピュータ科学、数学、物理学(arXivから)と、健康科学と生命科学(PubMed Centralから)だ。アブストラクトだけを見るのではなく、論文全体を分析した。段階的に並べた問いに沿って、どの単語が使われているか、言語がどれほど豊かで専門的か、トピックがどれほど多様か、論文がどのように組み立てられているか、そして誰が書いているかを調べたのだ。

方法は一貫して同じだ。それぞれの傾向を2022年の前と後で比べ、断絶がないかを探す。

増えては減った単語

英語で最もよく使われる20,000語から出発し、それを14,484の基本形にまとめたうえで、研究チームは2022年以降に急増した796語、減少した199語、そして増えたあとで落ち込んだ71語を見つけた。増えたのは、言語モデルが好む洗練された分析的な単語で、「establish」(確立する)や「underscore」(強調する)などだ。減ったのは「good」や「happen」のような平易な単語である。有名な「delve」(掘り下げる)は、増えてから落ち込むパターンを示す。2023年以前にはほとんど見られなかったが、2024年にピークに達し、2025年には急減した——著者らの見立てでは、モデルが更新され、読者が警戒するようになったためだ。

シグナルはコンピュータ科学で最も強く、数学で最も弱い。数学の文章は、形式的な記法によって抑えられているからだ。しかも、それはアブストラクトに限られない。急増した単語は論文の本文にも現れている。

科学の言葉は薄まっていない

とはいえ、該当する単語——千語を少し超える程度——は、数千万種類の異なる単語からなる語彙の中の一滴にすぎない。50語のスライディングウィンドウで測った語彙の多様性には、どの分野でも2022年に有意な傾きの変化は見られない。そして科学用語の密度は、5つの分野すべてで上がり続けている。著者らの言葉を借りれば、「科学論文は時とともに、より科学的に見えるようになっている」。

トピック:2つの誤った警報

論文はますます同じことを語るようになっているのか。物理学と数学では、トピックの多様性は横ばいだ。コンピュータ科学では、ほぼ一直線に下がっている——だがその低下は2022年よりずっと前に始まっていた。分野が深層学習と生成AIに収束していったためであり、2021年以降はむしろわずかに緩やかになっている。

健康科学と生命科学では、2022年以降に確かにより急な低下が見られた。だが、論文どうしの類似の多くは、その書式から来ていた。ライセンス、申告、著者の貢献の役割(contributor roles)についての定型的なブロックだ。生物医学の文献が、統一された書式へと移行したためである。そうした定型句を105個取り除くと、低下の大部分は消えた。

テンプレートどおりに組み立てられる論文

438,000本近くを対象に調べたコンピュータ科学の論文の構成は、大きく変わった——だが、着実にだ。節が1〜3個しかない論文は17%から4%に減り、8個以上ある論文は5%から30%に増えた。序論は平均2,141語から1,236語に縮み、参考文献リストの長さはほぼ2倍になった。これらの傾向は、どれも2022年に途切れてはいない。

チームは大きく、論文は多く——おおむね以前どおり

共著者のチームはどの分野でも2022年以前から大きくなっており、そのまま大きくなり続けた。目立つ例外が一つある。アジアのコンピュータ科学のチームは、2022年以降に拡大が速まった。論文の数も、2022年以降、コンピュータ科学と物理学で増加が速まった。著者らはこれを言語モデルと結びつけている。2023年の生物医学分野の論文数の急増は、COVID期の混乱によって2022年に落ち込んだことからの反動である可能性が高い。

まだ変わってはいない

著者らは、科学全体の規模では「AIパラドックス」の証拠をほとんど見いだしていない。一握りの流行語を革命の証拠として読み取ることに警鐘を鳴らし、緊張関係を管理するための適切な手段は、申告や査読に関する政策だと主張する。ただし、その安心には期限がある。この研究がカバーするのは2022年以降の3年間だけで、測っているのは文章の観察可能な特徴だ。そして著者らは、「LLMが研究プロセスに浸透していく速さ」を懸念すべきものだと見ている。