GẦN MỘT PHẦN BA WEB GIỜ DO AI VIẾT
Các mô hình ngôn ngữ lớn chủ yếu học từ văn bản thu thập trên web. Ngày càng nhiều văn bản trong số đó lại do chính AI viết. Các tác giả gọi nó là văn bản AI “hoang dã”: được nhiều mô hình khác nhau viết cho người đọc, đăng trực tuyến, và bị cuốn vào dữ liệu huấn luyện lẫn với văn bản người và không có nhãn. Nó không phải “sụp đổ mô hình” (model collapse), khi một mô hình được huấn luyện lại trên chính đầu ra của nó, cũng không phải dữ liệu tổng hợp được tuyển chọn, tạo ra có chủ đích để hỗ trợ huấn luyện.
Jenna Russell, Mohit Iyyer và các đồng nghiệp tại Đại học Maryland và tại Pangram Labs, một công ty bán bộ phát hiện văn bản AI, bắt tay đo xem có bao nhiêu văn bản như vậy và nó tác động gì đến một mô hình.
Trên web có bao nhiêu AI?
Dùng quy trình FineWeb, vốn lọc kho lưu trữ web khổng lồ Common Crawl, nhóm đã dựng lại kho ngữ liệu đến tháng 6 năm 2026: 96 triệu tài liệu, 83 tỷ token, tức các mảnh từ mà một mô hình đọc. Mỗi tài liệu được gán nhãn bằng bộ phát hiện của công ty, Pangram, với tỷ lệ dương tính giả được báo cáo là 0,05%; trên 60.000 tài liệu từ năm 2021, trước khi ChatGPT ra mắt vào cuối năm 2022, nó chỉ đánh dấu 0,062% là AI.
Tỷ lệ token do AI viết trong văn bản web vượt qua các bộ lọc chất lượng của FineWeb:
- dưới 0,1% vào tháng 6 năm 2021;
- 10,1% vào tháng 6 năm 2024, 16,1% vào tháng 6 năm 2025;
- 27,5% vào tháng 6 năm 2026, 31,1% vào tháng 8 năm 2026;
- dự báo: 42,3% vào cuối năm 2027, 50,7% vào cuối năm 2028.
Mức tăng không đồng đều. Năm 2026, khoảng một nửa số token thuộc bài hướng dẫn và “bài viết kiến thức” bị gán nhãn AI, so với 9% ở tin tức và 5% ở blog cá nhân. Tệ hơn, các bộ lọc chất lượng dùng để xây dựng bộ dữ liệu huấn luyện lại ưu ái văn bản AI: FineWeb giữ lại tài liệu AI thường xuyên gấp 2,3 lần tài liệu người, và bộ lọc DCLM là 9,8 lần.
800 mô hình được đưa ra thử thách
Nhóm đã tiền huấn luyện 800 mô hình ngôn ngữ nhỏ, từ 19,9 triệu đến 973 triệu tham số, thêm từ không đến 64 token AI cho mỗi token người vào một khối văn bản người cố định, và so sánh mỗi mô hình với cùng mô hình đó khi được cho cùng số lượng token người mới thay vào.
- Văn bản AI chỉ giúp các mô hình đói dữ liệu, dưới khoảng 10 token người cho mỗi tham số.
- Từ ngân sách tối ưu tính toán thông thường khoảng 20 token cho mỗi tham số, thêm văn bản AI làm tăng sai số trên văn bản người, trong khi thêm văn bản người vẫn tiếp tục làm giảm nó.
- Tỷ lệ văn bản AI tốt nhất để dự đoán văn bản người giảm từ 37% ở mức 5 token cho mỗi tham số xuống 1% ở mức 20. Để dự đoán văn bản AI, nó vẫn ở trên 90%.
- Lặp lại cùng văn bản người hiệu quả hơn thêm văn bản AI mới: sai số thấp hơn 2,3% sau một lượt thêm, khoảng 6,3% sau tám lượt.
- Các mô hình huấn luyện trên văn bản AI bắt đầu viết giống AI: những từ như “delve” và “tapestry” tăng từ 0,16 lên 0,54 trên mỗi 1.000 từ.
Các “định luật co giãn” (scaling laws) hiện có — những công thức dự đoán sai số của một mô hình từ kích thước và dữ liệu của nó — coi một token AI như một token người và vì thế sai ở điểm này. Các tác giả đề xuất một định luật mới với lợi ích bão hòa và tác hại tăng theo logarit, nên giá trị của một token AI có thể trở thành âm. Được khớp trên các mô hình đến 268 triệu tham số, nó dự đoán các mô hình lớn hơn 3,6 lần với sai số thấp hơn 41% so với định luật tốt nhất hiện có, dù phụ lục ghi nhận rằng ưu thế của nó không có ý nghĩa thống kê trên hai bộ kiểm tra có tỷ lệ AI thấp.
Cái giá của việc không lọc
Theo định luật này, huấn luyện trên văn bản web chưa lọc ở tỷ lệ AI của tháng 8 năm 2026 tốn sức mạnh tính toán gấp 1,6 lần so với chỉ huấn luyện trên phần văn bản người của nó — gấp 3,0 lần ở tỷ lệ dự báo cho năm 2028. Và thiệt hại rất dễ bị bỏ qua: văn bản AI dễ dự đoán hơn, nên một bộ kiểm định chứa 22,3% văn bản AI đã báo cáo 95,5% số lần chạy có hại là cải thiện. Điểm trên các bộ đánh giá chuẩn cũng tăng với văn bản AI gần ngang với văn bản người.
Các tác giả khuyến nghị lọc văn bản AI khi mục tiêu là văn bản người, lặp lại dữ liệu người trước khi thêm dữ liệu AI, và báo cáo sai số trên văn bản người và văn bản AI riêng biệt. Các giới hạn là có thật: không mô hình nào lớn hơn 973 triệu tham số, chỉ tiếng Anh, chỉ tiền huấn luyện, và một bộ phát hiện duy nhất, do chính công ty của các tác giả làm ra — công ty mà những kết luận này có lợi cho việc kinh doanh. Để cho phép kiểm chứng độc lập, họ công bố kho ngữ liệu, toàn bộ 800 mô hình và mã nguồn.
