在点号之间阅读：解码填充词元中的隐藏计算

arXiv:2607.03502v2 公告类型：替换交叉版本 摘要：前沿 LLM 能够在点号或计数序列等不含内容的填充词元上执行多步推理，并在没有可见思维链（CoT）的情况下得出正确答案。这是行为监督的一个极限情形，因为表面词元不携带有关底层推理的信息。但对输出而言隐藏，并不等于对我们隐藏。在四类任务（事实检索、并行数值组合、字符串操作和上下文内计算）中，两个开放权重的前沿模型（DeepSeek V3、Kimi K2）以可读的方式在填充词元上进行计算：注意力将问题经由填充区域传递至答案；logit-lens 读数显示，检索到的事实会较早出现，而它们的组合则在后期层中逐渐成形；在填充位置进行 KV-cache 移植，则能够从因果上交换不同示例之间的输出。我们提出了一种无监督解码流程，仅以隐藏状态作为输入，即可在两个模型和全部四项任务上，以 82%–94% 的准确率（最佳 LLM 评审结果）恢复中间值，无需真实标签或训练。即使不使用评审器，这些隐藏值也已经有 35%–85% 的概率直接出现在该流程的前 2 个词元中。无论填充内容是预先填入，还是由模型自行生成，这一提升都依然存在。在这些能够被清晰分解的任务上，足以击败基于行为的 CoT 监控的隐藏计算，仍可从残差流中读取；这表明，可监控性是模型完整计算轨迹的属性，而不仅仅是其表面词元的属性。