运动等变卷积 LSTM：当运动成为规范对称性

arXiv:2610.28771v1 公告类型：新 摘要：物体在移动，相机在平移，天气随风飘移：序列数据中发生变化的大部分内容都是运动。运动改变的是物体所处的位置，而不是物体本身，因此它是数据的一种对称性。然而，标准循环网络并不具备对此的等变性：当输入不断移动时，它的记忆仍停留在原处。流等变循环网络首次将这种对称性引入序列模型，通过枚举一组速度来处理恒定速度的运动，即流。我们从三个方向扩展这一思想：从简单循环网络扩展到卷积 LSTM，从流扩展到速度随时间变化的运动，以及从枚举速度扩展到估计速度。将序列视为随时间变化的场，我们展示了运动如何成为一种规范对称性：一种在时间上被局部化的全局对称性。在这一观点的基础上，我们的运动等变卷积 LSTM（MELSTM）将其速度模型作为规范场，并且在理论上证明了它对任意运动都具有等变性。在未来帧预测、仅通过运动可见的数字分类，以及相机抖动条件下的动作识别任务中，MELSTM 的表现优于参数数量相同的卷积 LSTM 及其流等变对应模型：它更加准确，能够泛化到更长的时间范围和未见过的运动，并且其状态规模仅为流等变模型的一小部分。