计算机与人工智能 · 实验
留住一些学习者
用自己写出的文字来训练的语言模型,一个来自文化演化研究的悖论,向别人提问而不是自己去查明的人。四个问题,从初级到高级,讲的是谁在为模型照抄的知识付出代价。
1 · 悖论2 · 平台3 · 可靠性4 · 账单
1 · 说出罗杰斯悖论
初级
对于一个照抄不断蔓延的群体,罗杰斯悖论说了什么?
2 · 算出一个平台值
规则:均衡时保留的知识为q* = (1 − ρ) / (1 − ρ(1 − u)),其中ρ是训练数据中合成数据所占的比例,u是一条被照抄的知识在每一代丢失的概率。对于达尔文,u = 0.15。
中级
当新鲜数据占一半(ρ = 0.5)时,这个谱系能保留多大比例的罕见知识?
3 · 求出模型的准确率
在论文的模型中,自己查明一个事实的代价为c = 0.3,而收益为1。向AI提问是免费的,但答对的概率只与AI的准确率相同。人们会转向收益更高的那一方。
高级
在均衡时,人们使用AI时,AI答对的频率是多少?
4 · 算出所需的学习者
必须继续自己学习的人所占的比例按1/(1 − s)增长,其中s是训练文本中由模型自己写的部分所占的比例。
高级
如果s从0变为0.5,学习者所占的比例会怎样?
学习者已留住
—