arXiv cs.LG精选74

神经场编码适应几何

Neural Fields Encode Adaptation Geometry

· 7天前

精选理由

揭示神经场的适应能力与历史记忆,为增量学习和模型设计提供新思路。

AI 摘要

arXiv:2610.07253v1 公告类型:新 摘要:人们通常根据神经场重建观测结果的能力来评估它们。我们表明,这种评估忽略了拟合网络的两个有用属性:它适应新观测的容易程度,以及其权重保留早期观测信息的程度。我们将这些属性作为适应几何进行研究。对于图像,我们通过元学习获得特定于类别的初始化,将每个初始化适应到一幅新图像,并测量网络为拟合该图像所必须发生的变化量。一个简单的局部线性模型能够准确预测这种适应成本,而用另一个网络的切线核替代某个网络的切线核,会显著降低预测效果。因此,适应取决于拟合网络的局部几何,而不仅仅取决于其当前的重建结果。对于物理场,我们让同一个网络反复拟合来自一系列观测的数据。这样一来,其权重便会保留有关该历史的信息。当两段波的历史最终恰好以相同的观测结果结束时,最终权重能够以 68.6% 的准确率恢复波速的符号,而当前观测本身不包含此类信息,准确率只有 50%。这两种现象在定量上相互关联:切线核特征值既能预测哪些变化易于学习,也能预测这些变化被后续拟合覆盖的速度。总的来说,这些结果表明,神经场包含超出其当前重建结果的有用信息:既体现在它们能够如何变化,也体现在它们是如何走到这一步的。

查看原文(arXiv cs.LG)