DeltaTTT：非线性循环记忆的逐层优化

arXiv:2610.08553v1 公告类型：新 摘要：序列式测试时训练通过连续更新来调整记忆网络，每次更新都基于网络的先前状态计算内循环梯度。直观而言，这种状态依赖性应当使每次更新都能考虑记忆已经学到的内容，从而更好地融入新信息。然而，我们发现，在非线性记忆中，这一预期优势并不能稳定体现：固定基座的并行 TTT 基线优于其串行对应版本。我们的探索性实验表明，一个关键的根本难点在于：在对序列进行单次遍历的过程中，非线性记忆比线性记忆更难优化。为缓解这一优化难题，我们提出 DeltaTTT，以逐层学习取代对双层记忆网络的联合内循环优化。每一层都被分配一个局部预测目标，并通过依赖状态的增量规则进行更新。这种形式保留了非线性读出，同时支持分块并行计算。在 DeltaNet 和 LaCT 主干网络上的实验表明，相较于其循环基线，该方法在语言建模和检索任务上均取得了提升。