ウェブの3分の1近くは今やAIが書いている
大規模言語モデルは主に、ウェブ上で集めたテキストから学習する。そのテキストの中で、AI自身が書いたものがますます増えている。著者らはそれを**「野生の」AIテキストと呼ぶ。多くの異なるモデルによって人間の読者向けに書かれ、オンラインで公開され、人間のテキストと混ざり、ラベルのないまま訓練データに取り込まれるテキストのことだ。モデルが自分自身の出力で再訓練される「モデル崩壊」とも、訓練を助けるために意図的に作られる厳選された合成データ**とも違う。
メリーランド大学と、AIテキスト検出器を販売する企業パングラム・ラボ(Pangram Labs)のジェナ・ラッセル(Jenna Russell)、モヒット・アイヤー(Mohit Iyyer)らは、こうしたテキストがどれだけあり、それがモデルに何をもたらすのかを測定しようとした。
ウェブにはどれだけAIがあるのか
チームは、ウェブの巨大なアーカイブであるCommon Crawlをフィルタリングする FineWeb のパイプラインを使い、2026年6月までのコーパスを再構築した。9600万件の文書、830億トークンである。トークンとは、モデルが読み込む単語の断片のことだ。各文書には、同社の検出器パングラムでラベルをつけた。報告されている偽陽性率は0.05%で、2022年末のChatGPT公開以前の2021年の文書6万件に対しては、AIと判定したのはわずか0.062%だった。
FineWebの品質フィルターを通過したウェブテキストのうち、AIが書いたトークンの割合は次のとおりだ。
- 2021年6月には0.1%未満
- 2024年6月に10.1%、2025年6月に16.1%
- 2026年6月に27.5%、2026年8月に31.1%
- 予測:2027年末に42.3%、2028年末に50.7%
増え方は一様ではない。2026年には、チュートリアルや「知識記事」のトークンの約半分にAIのラベルがついているのに対し、ニュースでは9%、個人ブログでは5%だ。さらに悪いことに、訓練セットの構築に使われる品質フィルターはAIテキストを優遇する。FineWebはAIの文書を人間の文書の2.3倍の頻度で残し、DCLMフィルターでは9.8倍の頻度で残す。
800個のモデルで試す
チームは、パラメータ数1990万から9億7300万までの小規模な言語モデルを800個事前学習させた。固定した人間のテキストに、人間のトークン1個あたり0〜64個のAIトークンを加え、それぞれを、代わりに同じ数の新しい人間のトークンを与えた同じモデルと比べた。
- AIテキストが役立ったのは、データに飢えたモデルだけだった。パラメータあたり人間のトークンが約10個未満の場合である。
- 通常の計算最適な予算であるパラメータあたり約20トークンからは、AIテキストを加えると人間のテキストに対する誤差が増えた。一方、人間のテキストを追加すると誤差は下がり続けた。
- 人間のテキストを予測するのに最適なAIテキストの割合は、パラメータあたり5トークンでの**37%から、20トークンでは1%**に下がった。AIテキストを予測する場合は、**90%**を超えたままだった。
- 新しいAIテキストを加えるより、同じ人間のテキストを繰り返すほうがよかった。1回余分に繰り返すと誤差は2.3%、8回では約6.3%低くなった。
- AIテキストで訓練したモデルはAIのような書き方をし始めた。「delve」や「tapestry」といった言葉の頻度は、1,000語あたり0.16から0.54に増えた。
モデルの誤差をその規模とデータ量から予測する既存の「スケーリング則」は、AIのトークンを人間のトークンと同じように扱うため、この点を誤る。著者らは、利益が飽和し、害が対数的に増える新しい法則を提案している。この法則では、AIトークンの価値がマイナスに転じうる。パラメータ数2億6800万までのモデルで当てはめると、3.6倍大きいモデルを、既存の最良の法則より誤差41%少なく予測する。ただし付録では、AIの割合が低い2つのテストセットでは、その優位性は有意ではないと記されている。
フィルタリングしないことの代償
この法則によれば、2026年8月のAI割合のままフィルタリングしていないウェブテキストで訓練すると、その人間の部分だけで訓練する場合の1.6倍の計算能力がかかる。2028年に予測される割合では3.0倍だ。しかも、その損害は見逃しやすい。AIテキストは予測しやすいので、AIテキストを22.3%含む検証セットでは、有害な訓練の95.5%が改善として報告された。標準的なベンチマークのスコアも、人間のテキストの場合とほぼ同じだけAIテキストで上昇した。
著者らは、目標が人間のテキストである場合はAIテキストをフィルタリングすること、AIデータを加える前に人間のデータを繰り返すこと、人間のテキストとAIテキストに対する誤差を別々に報告することを推奨している。限界は現実のものだ。モデルは9億7300万パラメータ以下、英語のみ、事前学習のみ、そして検出器は1つだけで、それは著者らの会社が作ったものだ。この結論はその会社の事業に有利に働く。独立した検証を可能にするため、彼らはコーパス、800個のモデルすべて、そしてコードを公開している。
