必要还是充分？使用行为证据评估 LLM 解释

LLM 决策组件在 agent 工作流中运行时，常会给出与行动相关的建议或判断，并附带解释。操作人员可能会利用这些命名因素来监控系统、诊断错误，或决定何时升级处理某个输出。这种用法假设这些解释与组件可观察到的决策行为一致。我们测试了这些命名因素的两种解释：必要性，即改变某个因素会改变输出；以及充分性，即在移除其他可变信息的同时保留该因素会保持输出不变。我们在两个合成用例中评估这些解释：向客户推荐顾问，以及判断提示词是否具有有害性或风险。模型返回一个输出以及最能影响它的前三个因素。受控的 black-box 干预通过衡量改变某个因素后输出发生变化的频率来估计其必要性得分，并通过衡量保留某个因素后输出得以保持的频率来估计其充分性得分。在来自 Claude、GPT 和 Gemini 系列的八个模型中，引用排名与必要性和充分性得分之间的平均斯皮尔曼相关系数在顾问推荐任务中分别为 0.349 和 0.354，在提示监控任务中分别为 0.431 和 0.580。此外，在必要性条件下，57.6% 的顾问响应中，某个未被引用的因素得分高于得分最低的被引用因素；在充分性条件下这一比例为 58.1%。对应的提示监控比例分别为 25.8% 和 8.9%。被引用的前三项包含有用信息，但并不能可靠地识别在必要性或充分性意义下、经测量影响最强的三个因素。该框架为代理监督中使用的解释提供了一种 black-box 可靠性检查，同时仍限定在单个 LLM 决策范围内。