KHI AI CHÉP LẠI AI, PHẢI CÓ NGƯỜI TIẾP TỤC HỌC
Hãy huấn luyện một mô hình sinh trên đầu ra của một mô hình trước đó, và nó sẽ xuống cấp. Qua các thế hệ nối tiếp, nội dung hiếm nhất biến mất trước nội dung phổ biến, và những gì mô hình tạo ra ngày càng hẹp lại. Hiện tượng sụp đổ mô hình (model collapse) này nay đã được nghiên cứu kỹ — và các cách chữa nó cũng vậy. Mọi biện pháp có hiệu quả đều đưa vào một thứ gì đó từ bên ngoài vòng lặp: dữ liệu mới do con người tạo ra, dữ liệu thật được giữ lại, các bộ kiểm chứng, sự tuyển chọn của con người.
Nam Le, một nhà khoa học máy tính tại Đại học Vermont, chỉ ra điều mà các phân tích đó mặc nhiên coi là hiển nhiên. Chúng coi dữ liệu mới như một kho lưu trữ cố định, có sẵn với bất kỳ số lượng nào cần đến, và chúng giả định rằng thế giới được mô tả đứng yên. Cả hai đều không đúng: văn bản mới do con người viết ra, những người ngày càng hỏi các mô hình thay vì tự tìm hiểu; và thế giới không ngừng thay đổi.
Một nghịch lý cũ
Cả hai vấn đề đều nằm ở trung tâm của một lý thuyết cũ hơn. Năm 1988, Rogers đã mô tả điều mà nay được gọi là nghịch lý Rogers: trong một quần thể nơi việc sao chép lan rộng vì đối với từng cá nhân nó rẻ hơn học hỏi, rốt cuộc không ai khá hơn so với trong một quần thể chưa bao giờ sao chép. Các bản sao trở nên lỗi thời, và phải có ai đó tiếp tục trả giá để học hỏi.
Các công trình sau này trong ngành tiến hóa văn hóa đã tinh chỉnh ý tưởng này. Một người học có phản biện (critical) sao chép, kiểm tra bản sao đối chiếu với thế giới và tự học nếu bản sao sai; những người học như vậy nâng lợi ích của tất cả mọi người. Một người học theo số đông (conformist) sao chép những gì phổ biến, cách này rẻ nhưng làm xói mòn các biến thể hiếm.
Lập luận của Le là việc huấn luyện một mô hình trên đầu ra của một mô hình khác chính là học hỏi xã hội theo đúng nghĩa này, nên lý thuyết hẳn phải áp dụng được. Ở dạng đơn giản nhất, nó cho ra một quy tắc dài một dòng về lượng tri thức mà một dòng mô hình giữ lại được khi một phần dữ liệu huấn luyện của nó là dữ liệu mới.
Darwin và Moby-Dick, chép đi chép lại
Để kiểm tra điều đó, Le đã huấn luyện các dòng mô hình ngôn ngữ nhỏ trên hai cuốn sách từ Dự án Gutenberg, Nguồn gốc các loài (On the Origin of Species) của Darwin và Moby-Dick của Melville. Mỗi thế hệ học từ văn bản do thế hệ trước tạo ra, trộn lẫn với một ít văn bản mới lấy từ cuốn sách.
Chỉ được nuôi bằng chính đầu ra của mình, các mô hình ở cấp độ từ đã mất bốn trên năm từ hiếm trong mười hai thế hệ. Một mẫu từ thế hệ xuất phát vẫn còn đọc là “i cannot see that a genus become fitted for most justly celebrated elder huber”; đến thế hệ thứ mười hai, nó thành “struggle of the on that may inheritable detected i hybrids, kept.”
Phần đáng chú ý là dự đoán. Le khớp tham số duy nhất của quy tắc — xác suất một mẩu tri thức được sao chép bị mất ở mỗi thế hệ — chỉ trên dòng hoàn toàn tự nuôi, rồi dùng nó, không thay đổi, để dự đoán các dòng có 10%, 30% hoặc 50% dữ liệu mới. Nó khớp với số từ hiếm mà các dòng này giữ được với sai lệch trong vòng 3 điểm phần trăm. Với một loại tri thức thứ hai, dễ mất so với bền vững, quy tắc cũng đúng đối với một transformer nhỏ và đối với một mô hình ngôn ngữ đã được tiền huấn luyện, OPT-125m.
Khi thế giới chuyển động
Tiếp theo, chính “thế giới” được làm cho thay đổi: một cửa sổ trượt dọc theo hai cuốn sách, nên từ vựng mới liên tục xuất hiện và các từ cũ liên tục rời đi. Nó chuyển động càng nhanh, một dòng tự sao chép càng cần nhiều dữ liệu mới. Để giữ được 80% những gì một kho văn bản hoàn toàn mới bao phủ, tỉ lệ dữ liệu mới phải tăng từ khoảng 30% lên khoảng 45%. Bài báo dự đoán rằng các lĩnh vực thay đổi nhanh sẽ là những lĩnh vực xuống cấp đầu tiên khi văn bản tổng hợp tích tụ lại.
Mô hình đã được tiền huấn luyện hành xử khác: tri thức của nó đứng vững dù thế giới có chuyển động hay không. Cách lý giải của Le là các trọng số tiền huấn luyện của nó, được thừa hưởng nguyên vẹn qua mọi thế hệ, là tri thức không bao giờ đi qua chuỗi sao chép. Với một lưu ý: văn bản chuyển động ở đây là văn bản mà mô hình đã thấy trong quá trình tiền huấn luyện.
Con người trong vòng lặp
Rồi đến phần đặt tên cho bài báo. Le xây dựng một mô hình trong đó con người có thể tự tìm hiểu một sự thật, với một cái giá, hoặc hỏi AI miễn phí và chỉ đúng thường xuyên bằng AI. Những gì con người viết ra trở thành dữ liệu huấn luyện cho mô hình kế tiếp, cùng với một ít văn bản do chính mô hình viết.
Trạng thái cân bằng thật khắc nghiệt:
- AI rốt cuộc chỉ đúng vừa đủ thường xuyên để việc hỏi nó mang lại lợi ích đúng bằng việc tự tìm hiểu, khi đã tính đến chi phí của việc tự tìm hiểu — bất kể kích thước hay kiến trúc của nó;
- xét chung, con người không khá hơn so với khi không có AI: nghịch lý Rogers, cho cả con người lẫn máy móc;
- các mô hình tự viết càng nhiều văn bản huấn luyện, càng phải có nhiều người tiếp tục tự học — gấp đôi khi một nửa văn bản do mô hình viết. Le kết luận rằng dữ liệu mới được trả giá bằng công sức của con người.
Có một lối thoát. Nếu con người kiểm tra câu trả lời của AI đối chiếu với thế giới và học lại khi nó sai, nghịch lý bị phá vỡ: trong mô phỏng, lợi ích trung bình ổn định ở mức 0,93, so với 0,70 khi không có AI. Theo cách nhìn này, các công cụ giúp việc kiểm chứng trở nên rẻ không phải là một tiện ích, mà là thứ giữ cho cả hệ thống không sụp đổ.
Những bộ lọc làm mọi thứ tệ hơn
Cùng lăng kính đó phân loại các bộ lọc dùng để làm sạch dữ liệu tổng hợp. Giữ lại những mẫu mà một mô hình thấy hợp lý nhất là sao chép theo số đông, và trong các thí nghiệm, nó đã đẩy nhanh việc mất các từ hiếm: mô hình đã được tiền huấn luyện giữ được 5% số từ đó, so với 57% khi một nửa số mẫu được giữ lại ngẫu nhiên. Chỉ những bộ lọc kiểm tra văn bản đối chiếu với thế giới mới hành xử như những người học có phản biện. Tất cả những điều này được chứng minh với các mô hình nhỏ, mô hình lớn nhất có 125 triệu tham số, và Le nêu việc kiểm tra nó ở quy mô lớn là câu hỏi mở then chốt.
