用于时间序列分类的无反向传播深度学习
Backpropagation-free Deep Learning for Time-Series Classification
精选理由
系统比较三种免反向传播方法在112个时间序列数据集上的表现、适用条件与计算代价。
AI 摘要
arXiv:2610.41805v1 公告类型:新提交 摘要:用于时间序列分类(TSC)的深度神经网络几乎完全依赖误差反向传播进行训练,这会带来更新锁定和权重传输问题。Direct Feedback Alignment(DFA)、Direct Random Target Projection(DRTP)以及受扩散启发的 NoProp 等无反向传播学习规则放宽了这些约束,但它们几乎仅在二维图像基准上接受过评估。我们将这三种学习方法适配到采用一维卷积架构的单变量 TSC,并首次在 UCR 时间序列档案中的 112 个数据集上对它们开展系统研究,每种方法均采用一套经过超参数优化的配置。优化后的学习方法取得了 0.76 至 0.79 的平均 F1 分数,低于 ROCKET(0.83)和 InceptionTime(0.84)。我们提出了一套分析框架,将各数据集上相对于 InceptionTime 的性能差距与数据集属性关联起来,并通过将展平读出替换为全局平均池化来检验卷积特征学习能力,以相对于相同架构下反向传播对照的双重差分(DD)进行衡量。对于这三种学习方法,类内时间变异性都是与性能差距关联最一致的数据集属性(偏 Spearman $\rho$ 为 $0.28$ 至 $0.40$)。池化对 DFA 和 DRTP 的负面影响大于对反向传播的影响(DD 分别为 $-0.025$ 和 $-0.055$),这与其卷积特征接近随机的情况一致;而 NoProp 对池化的耐受程度与反向传播相当(DD 为 $+0.013$)。相较于相同架构下的反向传播,DRTP 将训练浮点运算次数(FLOPs)减少了 33%,但仅在序列长度超过约 700 个时间步时训练更快;DFA 未减少计算量;NoProp 则将峰值内存占用降低了 38%,代价是训练时间延长了 48%。