支持忠实性的积极证据：LLM 自我解释有助于预测模型行为

arXiv:2602.02639v2 公告类型：replace-cross 摘要：LLM 自我解释常被视为 AI 监督的一种有前景的工具，但人们对其是否忠实于模型真实推理过程仍知之甚少。现有的忠实性指标存在关键局限，通常依赖通过对抗性提示识别不忠实之处，或检测推理错误。这些方法忽视了解释的预测价值。我们提出归一化可模拟性增益（NSG），这是一种通用且可扩展的指标，其核心思想是：忠实的解释应使观察者能够学习模型的决策标准，从而更好地预测模型在相关输入上的行为。我们使用涵盖健康、商业和伦理领域的热门数据集中的 7,000 个反事实样本，对 18 个前沿专有模型和开放权重模型（例如 Gemini 3、GPT-5.2 和 Claude 4.5）进行了评估。我们发现，自我解释能显著提升对模型行为的预测能力（NSG 为 11%–37%）。即使外部模型更强，自我解释所提供的预测信息也多于由外部模型生成的解释。这表明，自我认知带来了一种外部解释方法无法复制的优势。我们的方法还揭示，在不同模型中，有 5%–15% 的自我解释具有高度误导性。尽管自我解释并不完美，我们仍证明了支持自我解释的积极证据：它们编码了有助于预测模型行为的信息。