凝固于时间：物理基础模型在仿真到现实适配中如何遗忘

arXiv:2610.40857v1 公告类型：新论文 摘要：科学基础模型（SciFMs）在广泛的偏微分方程（PDEs）问题上取得了卓越表现，包括通过额外微调高效适应未见过的数据分布。与所有神经网络架构一样，此类模型的微调也存在灾难性遗忘的风险，即适应新任务会损害模型已有的知识。我们研究了用于连续介质动力学的科学基础模型 Walrus-1.3B 在两阶段仿真到现实适配过程中的灾难性遗忘：首先在圆柱绕流仿真数据上进行微调，然后适配同一系统的实验数据。我们发现，在仿真数据上微调会迅速降低模型在原始预训练数据集上的滚动预测性能，仅经过 20 个训练轮次，单步误差就增至原来的最多 35 倍。随后对真实数据的适配进一步削弱了模型在仿真任务上的性能。我们分析了遗忘的潜在驱动因素，例如数据集依赖性和任务表征相似性。随后我们表明，在真实数据微调期间回放仅占 1% 的仿真数据，就能恢复大部分损失的仿真性能，同时保持对实验动力学的有效适配。我们的结果指出，灾难性遗忘是科学基础模型从仿真到现实适配中的一个实际障碍，并表明轻量级回放策略能够显著改善知识保留。