将人类干预作为标签：定位、引导以及（有时）编辑 LLM Agent 失败背后的计算过程

arXiv:2610.21708v1 公告类型：new 摘要：当 LLM agent 出现不当行为时，人类会介入，而这种干预通常会被丢弃，或作为训练数据重放。我们转而将其视为一种测量：一个指向失败内部计算过程的标签。我们在受控的 agent 环境中研究了一种失败情形（请求已经明确，却提出澄清问题），并使用基于规则的监督器生成标签，再通过盲测人类判断进行验证。相关结论适用于符合条件的模型；这些模型既会过度提问，有时也会对匹配的明确请求采取行动：13 个模型中有 5 个符合条件（Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4）。我们得到四项发现。第一，在每个符合条件的模型系列中，“提问还是行动”的决策都可以进行因果定位：从干预标签中学习到的方向，在明确的残差流深度处翻转了留出集中过度提问行为的 72%–100%；位置和强度均依据训练数据选择，而在相同流程下，随机方向最多只能翻转一个样本。第二，过度提问具有两种机制特征：在四个模型系列中，模型显然知道请求是明确的（这一信念可以被解码，在因果上不起作用，并且与该决策正交），却仍然提出问题；在第五个模型系列中，少见的过度提问则对应于不同的世界表征。第三，根据探针读数进行门控的引导，可以消除大部分模拟监督负担，同时保留合理的问题（bootstrap 95% 区间不包含零）；加入提示指令反而会使情况恶化。第四，将修复方案整合进权重后，得到的是一张地图，而不是一条规则：在一个模型上，局限于因果区间的 LoRA 满足所有预先确定的标准，而在相同数据上进行行为克隆却破坏了保持能力；在三个模型系列中，结果则相反；在第五个模型系列中，结果会随着随机种子的变化跨越这一界限。我们事先写下了一个几何规则，用于预测不同机制所处的情形，但它在两个跨模型系列测试中失败了；我们报告这一失败，并就此止步，而不是拟合一个替代规则。