谁为模型复制的知识买单？作为 Rogers 悖论的模型崩塌

arXiv:2611.06022v1 公告类型：新提交 摘要：使用早期模型输出训练的生成模型会在代际更迭中丢失知识，稀有知识最先流失。所有有效的补救措施都会从循环之外引入信息，而模型崩塌理论将这种信息供给视为既定条件：来自固定分布的固定档案。我们认为，问题恰恰在于供给，而文化演化理论能够解释这一问题。我们将模型崩塌理解为 Rogers 悖论：一个逐渐依赖复制的群体，最终并不比一个从未进行复制的群体处境更好，因为除非有人持续自主学习，否则复制的内容就会过时。我们分三步检验这一对应关系。首先，仅用全合成数据训练情形进行拟合的 Rogers 模型，就能预测从词语三元模型到预训练 Transformer 等语言模型，在其他新鲜数据混合比例下能够保留多少稀有知识，误差仅为几个百分点。其次，当世界本身发生变化时，复制自身过往知识的模型谱系需要更多新鲜数据才能跟上变化，而且世界变化越快，所需数据就越多。这正是 Rogers 模型所预测的必然结果，却是那些假定目标固定不变的分析无法预测的；每一代都从固定预训练权重重新开始的模型谱系则基本不受影响，因为这些权重承载的是从未经过复制的知识。第三，我们将这一循环闭合：当编写模型训练数据的人可以转而向模型提问，而不再自行探究时，新鲜数据的供给就成为内生变量。在均衡状态下，模型的可靠性恰好由人们自行探究的成本决定，群体的处境并不比没有模型时更好，而且模型撰写文本的占比每增加一点，都必须以更多人自主学习为代价。用户核查自己获得的信息，并在发现错误时重新学习，就能打破这一悖论。筛选看似合理文本的过滤器具有从众性，会加速崩塌；只有带来新信息的核查才能发挥批判性学习的作用。