Jacobian lens 的数学理论

arXiv:2610.31955v1 公告类型：新论文 摘要：Anthropic 最近的研究引入了一种新的可解释性工具，称为 Jacobian lens（J-lens，Gurnee 等，2026）。该方法在前沿语言模型的隐藏状态中识别出了线性方向，这些方向具有类似工作记忆表征的特性。然而，目前尚不清楚，这类特征具有什么机制属性，才使得它们能够被 J-lens 检测到。为此，我们提出了一个关于 J-lens 的数学理论，并表明它会优先识别连贯特征——即表现得类似于主导性的、空间连贯的 Lyapunov 模式的方向。沿这些方向施加的小扰动会跨层放大，在不同 token 位置之间大致保持不变，并且在不同上下文中保持一致。尽管我们不对这些属性是否必然与“Global Workspace”相关作出判断，但 J-lens 在分析上推导出的偏好，仍然解释了此前针对两类模型的实证结果。我们在 Bayes filter 和一个玩具 Transformer 上验证了我们的分析；二者都能最优地预测由 Hidden Markov Model（HMM）生成的下一个 token。我们展示了如何调节 Bayes filter 中改变特征连贯性的任务参数，并以相应且可预测的方式调节 J-lens 的响应。我们还引入了一系列 J-lenses，用于强调 LLMs 中信息处理的不同时间尺度，并将其称为 $\omega$-J-lenses。