RAFT:面向时序图神经网络训练的冗余感知输入过滤
RAFT: Redundancy-Aware Input Filtering for Temporal Graph Neural Network Training
精选理由
通过识别冗余事件减少时序图神经网络训练开销,同时保持近似预测精度。
AI 摘要
时序图神经网络(TGNN)通过根据不断演化的交互(即事件)持续更新节点记忆,并利用这些记忆进行下游预测,在动态图学习任务中展现出卓越性能。随着现代应用中的图规模迅速增长,训练需要处理的事件数量不断增加;与此同时,每个事件都可能更新供后续事件使用的节点记忆,从而产生限制并行执行、削弱额外计算资源收益的依赖关系。这些开销促使我们思考一个更根本的问题:所有事件及其引入的依赖关系,是否都是学习所必需的?我们从时序事件的两种角色出发研究这一问题:预测目标,以及作为输入采样的历史事件。我们观察到,涉及稳定节点记忆的目标通常具有更低的预测损失;而在若干评估设置中,过滤掉与稳定记忆相关的历史事件,仍能保持相似的训练损失变化轨迹。综合这些观察结果,我们发现可以通过节点记忆的变化来识别输入冗余。基于这一机会,我们提出了 RAFT,一种面向 TGNN 训练的冗余感知输入过滤框架。RAFT 在训练过程中跟踪记忆变化,并利用这些变化引导两种过滤器:根事件过滤器在训练前移除选定的预测目标,支持事件过滤器则在采样过程中排除选定的历史上下文。在下游准备和处理之前过滤输入,可以减少这些输入所触发的工作量。在三个 TGNN 模型和五个数据集上,RAFT 平均减少 35.23% 的训练输入,最高可达 97.11%;同时,记录的训练时间最多减少 52.56%,而模型精度几乎没有变化。