Điện toán & AI · thí nghiệm
Giữ lại vài người học
Các mô hình ngôn ngữ được nuôi bằng chính văn bản của mình, một nghịch lý từ tiến hóa văn hóa, những người hỏi thay vì tự tìm hiểu. Bốn câu hỏi, từ cơ bản đến nâng cao, về việc ai trả giá cho tri thức mà các mô hình sao chép.
1 · Phát biểu nghịch lý Rogers
Cơ bản
Nghịch lý Rogers nói gì về một quần thể nơi việc sao chép lan rộng?
2 · Tính một ngưỡng ổn định
Quy tắc: tri thức được giữ lại ở trạng thái cân bằng q* = (1 − ρ) / (1 − ρ(1 − u)), trong đó ρ là tỉ lệ dữ liệu tổng hợp trong dữ liệu huấn luyện và u là xác suất một mẩu tri thức được sao chép bị mất ở mỗi thế hệ. Với Darwin, u = 0,15.
Trung cấp
Với một nửa dữ liệu mới (ρ = 0,5), dòng mô hình giữ được bao nhiêu phần tri thức hiếm?
3 · Tìm độ chính xác của mô hình
Trong mô hình của bài báo, tự tìm hiểu một sự thật tốn c = 0,3, trên lợi ích là 1. Hỏi AI thì miễn phí, nhưng chỉ đúng thường xuyên bằng AI. Mọi người chuyển sang lựa chọn nào mang lại nhiều hơn.
Nâng cao
Ở trạng thái cân bằng, AI đúng thường xuyên đến mức nào khi mọi người dùng nó?
4 · Đếm số người học cần thiết
Tỉ lệ những người phải tiếp tục tự học tăng theo 1/(1 − s), trong đó s là tỉ lệ văn bản huấn luyện do chính các mô hình viết.
Nâng cao
Nếu s tăng từ 0 lên 0,5, tỉ lệ người học đó thay đổi thế nào?
Đã giữ được người học
—