KETIKA AI MENYALIN AI, HARUS ADA YANG TERUS BELAJAR
Latih sebuah model generatif dengan keluaran model sebelumnya, dan model itu merosot. Dari generasi ke generasi, konten yang paling langka menghilang lebih dulu daripada yang umum, dan apa yang dihasilkan model makin menyempit. Keruntuhan model (model collapse) ini kini telah banyak diteliti — begitu pula obat-obatnya. Semua obat yang berhasil membawa masuk sesuatu dari luar lingkaran: data manusia yang segar, data nyata yang dipertahankan, verifikator, kurasi oleh manusia.
Nam Le, seorang ilmuwan komputer di University of Vermont, menunjukkan apa yang diterima begitu saja oleh analisis-analisis itu. Analisis tersebut memperlakukan data segar sebagai arsip tetap, tersedia dalam jumlah berapa pun yang dibutuhkan, dan mengasumsikan bahwa dunia yang digambarkan diam di tempat. Keduanya tidak benar: teks segar ditulis oleh manusia, yang makin sering bertanya kepada model alih-alih mencari tahu sendiri; dan dunia terus berubah.
Sebuah paradoks lama
Kedua persoalan itu berada di jantung sebuah teori yang lebih tua. Pada 1988, Rogers menggambarkan apa yang kini disebut paradoks Rogers: dalam sebuah populasi tempat kebiasaan menyalin menyebar karena secara individual lebih murah daripada belajar, semua orang pada akhirnya tidak lebih baik daripada dalam populasi yang tidak pernah menyalin. Salinan menjadi basi, dan harus ada yang terus membayar untuk belajar.
Karya-karya selanjutnya dalam evolusi budaya menyempurnakan gagasan itu. Pembelajar yang kritis menyalin, memeriksa salinan itu terhadap dunia, dan belajar sendiri jika salinan itu gagal; pembelajar semacam itu menaikkan imbalan semua orang. Pembelajar yang konformis menyalin apa yang umum, yang murah tetapi mengikis varian-varian langka.
Argumen Le adalah bahwa melatih sebuah model dengan keluaran model lain merupakan pembelajaran sosial persis dalam pengertian ini, sehingga teori itu semestinya berlaku. Dalam bentuknya yang paling sederhana, teori itu memberikan aturan satu baris tentang seberapa banyak pengetahuan yang dipertahankan sebuah garis keturunan (lineage) model ketika sebagian data latihnya segar.
Darwin dan Moby-Dick, disalin ulang
Untuk mengujinya, Le melatih garis-garis keturunan model bahasa kecil dengan dua buku dari Project Gutenberg, On the Origin of Species karya Darwin dan Moby-Dick karya Melville. Setiap generasi belajar dari teks yang dihasilkan generasi sebelumnya, dicampur dengan sejumlah teks segar dari buku itu.
Hanya diberi keluaran mereka sendiri, model-model tingkat kata (word-level) kehilangan empat dari lima kata langka dalam dua belas generasi. Sebuah sampel dari generasi awal masih berbunyi “i cannot see that a genus become fitted for most justly celebrated elder huber”; pada generasi kedua belas, “struggle of the on that may inheritable detected i hybrids, kept.”
Bagian yang mencolok adalah prediksinya. Le mencocokkan satu-satunya parameter aturan itu — peluang bahwa sepotong pengetahuan yang disalin hilang pada setiap generasi — hanya pada garis keturunan yang sepenuhnya diberi makan keluarannya sendiri, lalu menggunakannya, tanpa diubah, untuk memprediksi garis keturunan dengan 10%, 30%, atau 50% data segar. Prediksi itu cocok dengan banyaknya kata langka yang dipertahankan garis-garis keturunan tersebut dengan selisih tidak lebih dari 3 poin persentase. Dengan kelas pengetahuan kedua, rapuh versus tahan lama, aturan itu juga berlaku untuk sebuah transformer kecil dan untuk sebuah model bahasa yang telah dilatih sebelumnya (pretrained), OPT-125m.
Ketika dunia bergerak
Selanjutnya, “dunia” itu sendiri dibuat berubah: sebuah jendela yang bergeser menyusuri kedua buku, sehingga kosakata baru terus berdatangan dan kata-kata lama terus pergi. Semakin cepat jendela itu bergerak, semakin banyak data segar yang dibutuhkan oleh garis keturunan yang menyalin dirinya sendiri. Untuk mempertahankan 80% dari apa yang akan dicakup oleh korpus yang sepenuhnya segar, porsi data segar harus naik dari sekitar 30% menjadi sekitar 45%. Bidang-bidang yang cepat berubah, menurut prediksi makalah itu, akan menjadi yang pertama merosot seiring menumpuknya teks sintetis.
Model yang telah dilatih sebelumnya berperilaku berbeda: pengetahuannya bertahan, baik dunia bergerak maupun tidak. Tafsiran Le adalah bahwa bobot hasil prapelatihannya, yang diwariskan tanpa perubahan pada setiap generasi, merupakan pengetahuan yang tidak pernah melewati rantai penyalinan. Dengan satu catatan: teks yang bergerak di sini adalah teks yang sudah pernah dilihat model itu selama prapelatihan.
Manusia di dalam lingkaran
Lalu tibalah bagian yang memberi makalah itu judulnya. Le membangun sebuah model tempat orang dapat mencari tahu sebuah fakta sendiri, dengan suatu biaya, atau bertanya kepada AI secara gratis dan hanya benar sesering AI itu benar. Apa yang ditulis orang menjadi data latih model berikutnya, bersama sejumlah teks yang ditulis oleh model itu sendiri.
Kesetimbangannya gamblang:
- AI pada akhirnya benar cukup sering sehingga bertanya kepadanya memberi imbalan yang tepat sama dengan mencari tahu sendiri, setelah biaya mencari tahu diperhitungkan — apa pun ukuran atau arsitekturnya;
- manusia secara keseluruhan tidak lebih baik daripada tanpa AI: paradoks Rogers, bagi manusia dan mesin bersama-sama;
- semakin banyak teks latih yang ditulis oleh model-model itu sendiri, semakin banyak orang yang harus terus belajar sendiri — dua kali lebih banyak ketika separuh teks ditulis oleh model. Data segar, simpul Le, dibayar dengan usaha manusia.
Ada jalan keluar. Jika orang memeriksa jawaban AI terhadap dunia dan belajar ulang ketika jawaban itu salah, paradoks itu patah: dalam simulasi, imbalan rata-rata menetap pada 0,93, dibandingkan 0,70 tanpa AI. Alat-alat yang membuat verifikasi menjadi murah, dalam pandangan ini, bukanlah sekadar kemudahan, melainkan hal yang menjaga seluruh sistem agar tidak runtuh.
Filter yang memperburuk keadaan
Lensa yang sama memilah filter-filter yang dipakai untuk membersihkan data sintetis. Mempertahankan sampel-sampel yang dianggap paling masuk akal oleh sebuah model adalah penyalinan konformis, dan dalam eksperimen hal itu mempercepat hilangnya kata-kata langka: model yang telah dilatih sebelumnya mempertahankan 5% di antaranya, dibandingkan 57% ketika separuh sampel dipertahankan secara acak. Hanya filter yang memeriksa teks terhadap dunia yang bertindak seperti pembelajar kritis. Semua ini ditunjukkan dengan model-model kecil, yang terbesar dengan 125 juta parameter, dan Le menyebut pengujiannya dalam skala besar sebagai pertanyaan terbuka yang utama.
