Adaptive Anisotropic Attention for Axis-Structured Signals

在学习之前，稠密自注意力将所有 token 对视为同等可能，这种交互各向同性先验可能与结构化信号不匹配。对于 EEG 等低信噪比（SNR）的结构化信号，依赖关系沿电极轴和时间轴组织，而这种均匀先验会使每个 token 暴露于大量无关交互之中。我们提出 Adaptive Anisotropic Attention（AAA），将注意力分为两条路径：时间路径中，每个 token 关注其所属电极在不同时间上的 token；空间路径中，每个 token 关注同一时间步其他电极上的 token。一个小型门控模块为每个 token 预测两条路径输出的凸组合，即两个非负且和为一的权重。在六项 EEG 下游任务中，所得模型 AXON（AXis-factorized Operator Network）在仅进行线性探测和全量微调的情况下，均比稠密基线取得更高的平均平衡准确率。我们证明，时间路径和空间路径缺一不可，并且加权求和优于硬选择其中一条路径；大部分收益来自门控模块在网络的每一层学习不同的时间/空间平衡。受控的音频频谱图实验表明，轴分解能够迁移到 EEG 之外的领域。这些结果表明，使注意力与结构化信号的自然轴对齐，能够提供有用的归纳偏置。