从参数到答案：LLMs 如何检索并使用其内部知识

语言模型在回答问题时，对查询路由信息和目标知识的依赖如何变化？我们通过对问题末尾隐藏状态进行逐层干预来研究这一问题。在 Qwen、Llama 和 Gemma 上，我们比较了答案为名词、形容词和代码的国家—洲问题，同时保持若干拟合测量彼此区分。成对条件请求方向描述了自然单国家问题中查询的是哪个国家；全局请求方向描述了配对问题中对第一个国家还是第二个国家的请求；独立的选择候选项则检验对隐藏状态中已经可用内容的控制。对冻结的 Qwen 自然问题状态进行诊断性重新分析表明，在对成对条件请求方向进行干预开始改变后续拟合知识之前，该方向就已变得更强；这一因果窗口开启时，支持答案的内容仍在形成。三种模型在配对设置下的轨迹并不一致：Gemma 展现出部分重叠的中间层路由—内容特征，而 Llama 在相同门控条件下没有持续的路由效应窗口。在配对协议中，从固定的较早层集合到较晚层集合，对全局请求方向的依赖逐渐降低，而对拟合内容的依赖持续存在。对 Qwen 的匹配比较表明，成对条件请求方向在较晚阶段仍保留效应，因此，这种操作意义上的交接涉及全局拟合方向，而不是所有请求信息。这些结果区分了早期可读性、自然强度、因果引导和后期内容依赖。