世界模型应遗忘什么？面向持续适应的分层保留

arXiv:2610.03713v1 公告类型：new 摘要：持续学习将此前见过的数据上的性能下降视为失败证据，这一惯例源自预测目标固定不变的场景，因为正确的标签会一直保持正确。世界模型并不满足这一条件。它们的预测目标是环境，而环境会发生变化，因此获取时准确的知识之后可能变为错误，丢弃这些知识不是缺陷，而是应有的行为。非平稳真实情况在概念漂移文献以及语言模型的时间事实性研究中已得到充分讨论，但尚未针对世界模型进行表述；世界模型的独特之处在于，它们还编码了永远不应被修订的知识。我们认为，持续世界模型需要按照不变时间尺度进行分层保留，将物理规律和物体恒存性等不变量与实例级事实区分开来：前者绝不能被修订，而后者应在环境发生变化后立即修订。标准遗忘指标无法区分一个正确修订了过时知识的世界模型和一个遭受灾难性遗忘的世界模型，因此会将冻结模型排在最高位；与此同时，现有的物理推理基准只评估冻结检查点。我们提出差分保留方法，在整个适应过程中联合报告不变量回归测试结果和修订延迟，不进行聚合。