早期学习塑造持续学习中后续表征变化的方向
Early Learning Shapes Later Directions Of Representation Change In Continual Learning
精选理由
研究揭示早期学习形成的表征支架会持续引导后续任务适应，为理解持续学习中的历史依赖提供新视角。
AI 摘要
arXiv:2609.36081v2 公告类型：替换 摘要：随着网络学习新任务，表征会不断变化。我们探究早期表征变化是否会自然形成一种几何结构，并持续塑造后续学习。我们识别出早期表征漂移的一个低维子空间，将其称为支架，并检验它是否会在后续任务中被复用。在四种预训练视觉编码器和两个数据集上，后续表征变化始终更倾向于沿这一早期确定的子空间发生，而非匹配的随机备选子空间。这种复用依赖于学习历史：当网络经历不同的早期任务，但后续训练输入相同时，每个网络都会优先复用由其自身学习历史形成的支架。同样的偏好也出现在优化器的单次更新中，即使网络的主导局部响应方向已偏离原始支架。最后，相比匹配的随机约束，对支架内的变化施加约束会更明显地减缓新任务的学习，但对旧任务保持的影响则不够一致。总之，这些结果表明，早期经验会在神经网络适应未来任务的方式上留下持久的几何印记。代码可在 https://github.com/YuantaoDeng/latent-scaffold 获取。