在 State Space Models 中对齐归纳偏置以实现数据高效泛化

arXiv:2509.20789v5 公告类型：替换 摘要：现代 AI 的显著成功与 scaling laws 密切相关，但高质量数据的有限供应使得数据效率——从更少的数据中学习更多信息——日益成为重要前沿。模型的归纳偏置是提升数据效率的关键杠杆，但 State Space Models (SSMs) 等基础序列模型往往依赖固定的、与任务无关的偏置。当这一固定先验与任务的内在结构不匹配时，模型可能需要额外样本来克服自身偏置，之后才能学习相关信号。在本研究中，我们提出了一个用于理解和对齐线性时不变 SSM 归纳偏置的原理性框架。我们首先通过 SSM 诱导的核对这种偏置进行形式化，并从理论和实证两方面表明，其谱由模型的频率响应决定。基于这一刻画，我们提出任务依赖初始化（Task-Dependent Initialization，TDI），这是一种快速的功率谱匹配方法，可在下游训练之前，使 SSM 的初始偏置与任务的谱特征相对齐。在受控合成实验、可训练的单层 SSM，以及多种真实世界基准上的深层 SSM 中，TDI 主要在任务相关的谱结构存在且默认 SSM 偏置在谱上不匹配时，提升数据高效泛化能力。我们的结果既提供了理解任务自适应归纳偏置的理论视角，也提供了实用工具，为实现更高数据效率的序列建模指明了方向。