重尾测度之间映射的注意力核

arXiv:2610.00564v1 公告类型：新 摘要：利用 Transformer 可以实现概率测度上的算子学习。对于具有多项式尾部的测度，softmax 中的指数加权可能导致相应的测度级注意力积分发散。这促使我们用增长更慢的函数替代指数函数。我们构建了两个针对具有闭式目标的测度算子学习基准。利用这些基准，我们研究了后归一化 Transformer 中的注意力核增长和数据变换。在不进行数据变换的情况下，softmax 模型在两个重尾基准上都表现出集合坍缩，而三种增长更慢的核则避免了坍缩。Symlog 预处理使 softmax 能够在矩阵求逆任务上避免坍缩，但无法在剪切交换任务上做到这一点。在 Gaussian 对照实验中，四种核的表现相近。我们还考察了样本量如何影响经验能量距离和 Wasserstein 距离对尾部差异的敏感性。这些结果表明，对于从重尾集合中学习的后归一化 Transformer，采用增长更慢的注意力核是一种有效的设计选择。