計算機科学・AIプレプリントシミュレーション1分で読めます

AIがAIをまねるとき、誰かが学び続けなければならない

生成モデルを、それ以前のモデルの出力で訓練すると、モデルは劣化する。世代を重ねるにつれ、最も珍しい内容がありふれた内容より先に消え、モデルが生み出すものは狭まっていく。このモデル崩壊は今ではよく研究されており、その治療法も同様だ。効果のある対策はすべて、ループの外から何かを持ち込む。新鮮な人間のデータ、保持しておいた実データ、検証器、人間によるキュレーションである。

バーモント大学の計算機科学者Nam Leは、そうした分析が当然の前提としていることを指摘する。それらの分析は、新鮮なデータを、必要なだけいくらでも手に入る固定された保管庫として扱い、記述される世界は静止していると仮定している。どちらも正しくない。新鮮な文章を書くのは人間であり、その人間はますます、自分で調べる代わりにモデルに尋ねるようになっている。そして世界は変わり続ける。

古いパラドックス

この2つの問題は、より古い理論の核心にある。1988年、Rogersは、今ではロジャーズのパラドックス(Rogers’ paradox)と呼ばれるものを記述した。真似ることが個人にとって学ぶより安上がりなために真似が広まる集団では、結局誰もが、一度も真似をしなかった集団と比べて少しも得をしていない。写しは古び、誰かが学ぶためのコストを払い続けなければならない。

その後の文化進化の研究が、この考えを洗練させた。批判的な学習者は、真似をし、その写しを世界と照らし合わせ、うまくいかなければ自分で学ぶ。そうした学習者は全員の利得を引き上げる。同調的な学習者はありふれたものを真似る。これは安上がりだが、珍しい変異を削り取っていく。

Leの主張はこうだ。あるモデルを別のモデルの出力で訓練することは、まさにこの意味での社会学習であり、したがってこの理論が当てはまるはずだ。最も単純な形では、この理論は、訓練データの一部が新鮮なときに系譜がどれだけの知識を保つかについて、1行の規則を与える。

写し直されたダーウィンと『白鯨』

これを検証するため、Leは、プロジェクト・グーテンベルクの2冊の本、ダーウィンの『種の起源』とメルヴィルの『白鯨』で、小さな言語モデルの系譜を訓練した。各世代は、前の世代が生成した文章に、本から取った新鮮な文章をいくらか混ぜたものから学んだ。

自分の出力だけを与えられると、単語レベルのモデルは12世代で珍しい単語の5分の4を失った。最初の世代のサンプルは、まだ「i cannot see that a genus become fitted for most justly celebrated elder huber」と読めるが、12世代目には「struggle of the on that may inheritable detected i hybrids, kept.」となる。

注目すべきなのは予測だ。Leは、規則の唯一のパラメータ、つまり真似された知識の断片が各世代で失われる確率を、完全に自分の出力だけで訓練された系譜のみで当てはめ、それを変えずに、新鮮なデータが10%、30%、50%の系譜の予測に使った。予測は、それらの系譜が保った珍しい単語の数と3パーセントポイント以内で一致した。知識に第2の種類を加え、壊れやすい知識と持続する知識を区別すると、この規則は小さなTransformerと、事前学習済み言語モデルOPT-125mでも成り立った。

世界が動くとき

次に、「世界」そのものを変化させた。2冊の本の中をスライドしていく窓によって、新しい語彙が次々に現れ、古い単語が去っていくようにしたのだ。世界の動きが速いほど、自分を写し続ける系譜はより多くの新鮮なデータを必要とした。完全に新鮮なコーパスがカバーする範囲の80%を保つには、新鮮なデータの割合を約30%から約45%に引き上げる必要があった。論文の予測では、合成テキストが蓄積するにつれて最初に劣化するのは、変化の速い分野だ。

事前学習済みモデルのふるまいは違った。その知識は、世界が動いても動かなくても保たれた。Leの解釈では、毎世代そのまま受け継がれる事前学習済みの重みは、真似の連鎖を一度も通らない知識なのだ。ただし注意点がある。ここで動いていく文章は、そのモデルが事前学習の間にすでに見ていた文章だった。

ループの中の人間

そして、論文のタイトルの由来となる部分が来る。Leは、人々が事実をコストを払って自分で調べるか、無料でAIに尋ね、AIが正しいのと同じ頻度でだけ正しくなるかを選べるモデルを作った。人々が書くものは、モデル自身が書いたいくらかの文章とともに、次のモデルの訓練データになる。

均衡は厳しい。

  • AIは、規模やアーキテクチャにかかわらず、自分で調べるコストを勘定に入れると、尋ねることが自分で調べるのとちょうど同じだけ割に合う頻度でだけ正しい状態に落ち着く。
  • 人々は全体として、AIがない場合と比べて少しも得をしていない。人間と機械をあわせたロジャーズのパラドックスである。
  • 訓練テキストのうちモデル自身が書く部分が多いほど、多くの人が自分で学び続けなければならない。テキストの半分がモデルによって書かれるなら、その数は2倍になる。Leの結論では、新鮮なデータは人間の労力で支払われている。

抜け道はある。人々がAIの答えを世界と照らし合わせ、間違っていれば学び直すなら、パラドックスは崩れる。シミュレーションでは、平均利得は0.93に落ち着き、AIがない場合は0.70である。この見方では、検証を安くする道具は便利さのためのものではなく、システム全体の崩壊を防ぐものなのだ。

かえって悪化させるフィルター

同じレンズで、合成データの清掃に使われるフィルターも分類できる。モデルが最ももっともらしいと判断したサンプルを残すのは同調的な真似であり、実験では珍しい単語の喪失を速めた。事前学習済みモデルが保った珍しい単語は5%で、サンプルの半分を無作為に残した場合は57%だった。世界と照らし合わせて文章を確かめるフィルターだけが、批判的な学習者のようにふるまう。これらはすべて小さなモデルで示されたもので、最大のものでもパラメータは1億2500万個だ。Leは、大規模での検証を主要な未解決の問題として挙げている。