使用指数加权签名扩展 SSMs

arXiv:2603.19198v3 公告类型：替换-交叉 摘要：我们引入指数加权签名（EWS），这是一种连续时间模型，用于计算路径的迭代积分，其中每个增量都由可学习生成器在经过的时钟时间上的矩阵指数进行加权。我们证明，该模型能够求解线性受控微分方程，保持签名的类群结构和普适性，并满足修正后的 Chen 恒等式，从而支持并行扫描。在深度为一时，EWS 是一种状态空间模型（SSM）；我们还以闭式形式将线性时不变 SSMs、Mamba 通道和 Mamba-$2$ 头映射到 EWS。EWS 通过任意矩阵生成器、将步长推广为输入因果泛函的时钟，以及在单层内对路径呈非线性的更高截断深度，扩展了 SSMs。在六个长时序分类数据集上的实证结果表明，EWS 达到了最高的平均准确率和排名，并且增加深度通常能够带来帮助。在形式语言任务中，学习得到的时钟被证明是进行状态跟踪所必需的；在深度为一时，EWS 仅使用远少于竞争对手的参数量，就能在回归和预测任务上达到或超过其他 SSMs。