专才学得更快：预训练中的知识组织方式影响知识更新效率
Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
精选理由
研究发现预训练知识的时间排序会影响模型更新速度，并提出兼顾历史知识与高效更新的数据组织策略。
AI 摘要
arXiv:2610.13835v1 公告类型：新提交 摘要：理想的（语言）模型必须持续更新其知识。现有工作主要关注如何在训练后高效地进行这些更新。我们研究了预训练期间时变知识的组织方式如何影响后续更新的效率。按时间顺序排列的知识训练出的模型，专精于最近接触到的知识；我们将其称为专才。相比之下，以随机打乱的顺序在相同知识上训练出的模型，在所涵盖的所有时期均表现良好；我们将其称为通才。令人惊讶的是，专才获取新知识所需的更新步数远少于通才。为解释这一优势，我们从第一性原理出发，推导出一条将更新成本与模型优化动态联系起来的定律，该定律能够准确预测实证结果。在这些发现的指导下，我们设计了一种预训练数据组织策略，在保留稳定的历史知识的同时，实现对当前知识的高效更新。我们还表明，按时间组织知识带来的益处也适用于现实世界中的预训练模型和现有知识更新工具，并可推广至其他知识排序方式。项目页面：https://horizon-lab.org/specialist/