池化有益，学习式加权损害上下文学习：分解组注意力

arXiv:2610.01831v1 公告类型：new 摘要：由时间序列预测模型 Chronos-2 引入的组注意力，在固定 patch 索引处关注一个组内的各个变量，并同时服务于多变量（MV）和上下文学习（ICL）预测。我们不将这种跨变量注意力设计作为一个整体进行评估，而是探究该机制中究竟是哪一部分带来了收益，并考察其在 MV 和 ICL 场景中的适用性。通过在推理时修改注意力矩阵 $\alpha$，我们将一个注意力头所包含的两条路径分离开来：V/O 负责投影组的加权摘要，而 Q/K 负责决定权重。均匀池化（不进行任何 Q/K 加权的 V/O）在我们的 20 个传感器网络配置中的 18 个上带来了正向效果；而学习式加权（Q/K）则因组类型而异：它对 MV 的贡献为正向或可忽略，但会实质性降低 10 个传感器网络 ICL 配置中的 8 个的性能，其中 4 个配置的表现甚至不如单变量推理。通过隔离不同层的影响，我们发现，仅在第一个模块中将 $\alpha$ 设为均匀分布，就能改善我们测试的每一个 ICL 配置。