这会改变你的答案吗？通过反事实实验在真实环境中评估 LLM 行为解释
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
精选理由
帮助读者理解并改进LLM行为解释方法
AI 摘要
AI 研究的许多领域，如语言模型可解释性和思维链忠实性，都试图解释模型行为。但什么才构成一个“好”的解释？在这项工作中，我们从反事实可模拟性的视角评估解释，即解释是否有助于预测模型在相关反事实输入上的行为。为此，我们提出了 CHIVE（Counterfactual Hypothesis Investigation Via Edits），这是一种新颖的智能体式流程，可在真实环境中识别意外的模型行为，并通过反事实提示编辑对其进行研究。这产生了数千个针对自然发生的模型行为的高质量解释，以及支持性的反事实证据。我们以两种方式应用 CHIVE。首先，我们评估常见的 LLM 可解释性技术是否能提升智能体预测反事实模型行为的能力。令人意外的是，我们发现所研究的任何可解释性技术都没有带来提升。其次，我们使用 CHIVE 生成训练数据。我们发现，训练模型预测 CHIVE 生成的反事实实验结果，可以泛化到各种分布外设置。总体而言，CHIVE 能自动发现自然发生的 LLM 行为解释，使我们能够评估并改进解释 LLM 行为的方法。