高维层状态轨迹揭示 Transformer 推理的内部动态

arXiv:2610.26866v1 公告类型：新 摘要：对大型语言模型的机制研究通常将功能定位于参数、注意力头或神经元，但这些部分并不能说明一次推理是如何展开的。我们将有序的层状态轨迹视为经验过程，并检验层顺序是否定义了一种可测量的计算。在具有代表性的 Qwen、Llama 和 Gemma 检查点上，实际层顺序生成的路径与其端点弦的对齐程度，是保持端点不变的随机置换路径的 1.60--2.24 倍。顺序效应迁移到了词汇任务，但在同一 Qwen 架构的三次随机初始化中更为显著，这表明它是一种与架构兼容的支架，而非特定于训练的规律。直接隐藏状态比词汇回读提供了更强的机制坐标，而任务定义的坐标则使候选竞争变得可计算。在加性干预失败后，局部转移执行器能够跨检查点选择性地控制内部轨迹。随后，一个置信度门控器将 87 条留出的 Qwen closure 轨迹中的 17 条驱动跨越全词汇表 top-1 候选边界，同时使全部 203 条非 closure 的 top-1 输出保持不变。与安全性匹配的动作重新分配取得了类似效果，这表明增益来自选择性门控和有界执行器族，而非精细的剂量分配。层顺序揭示了 Transformer 推理中一种可观测、可计算且对行为具有实质影响的过程，但这并不构成对 LLM 动态或答案正确性控制的完整理论。