深层归一化注意力的可辨识性与可观测性

arXiv:2610.09620v1 公告类型：新 摘要：我们研究深层、无掩码、单头注意力的哪些参数可由其输入—输出函数确定。对于已知的正的非常数实解析归一化器，该函数通常能够确定有效得分和组合后的值映射，但偶归一化器所诱导的符号变换除外。这证明了 Henry--Marchetti--Kohn 猜想的实解析情形，其中包括 softmax。随后，我们在显式归一化器条件下对例外纤维进行分类，确定塌缩何时会使后续得分不可观测，并建立局部辨识的精确 Taylor 阶数。在查询/键同时塌缩附近，我们计算了分离有限输入库上的完整原生 Jacobian 衰减谱。对于常见的首个非常数归一化器次数 $k$，第 $i$ 层的接触阶为 $2k3^{i-1}-1$，并给出精确的重数和核维数。高精度计算和自动微分计算展示了由此产生的数值敏感性损失。