从内部理解人工智能：面向人工智能安全的机制可解释性研究现状

神经网络很可能成为人类历史上影响最为深远的人造产物之一。随着这些系统的能力和自主性不断增强，它们对社会造成危害的潜力也随之增长，使人工智能安全成为我们这个时代的标志性挑战之一。然而，我们仍在不断构建日益强大的系统，却未能充分理解它们如何运作、在陌生情境下会如何表现，以及如何可靠地控制它们。机制可解释性通过研究这些系统的内部表示和计算过程，为理解它们提供了一条路径，旨在评估、预测和控制其行为。我们综述了面向人工智能安全的机制可解释性研究，以回答这样一个问题：理解模型的运作方式，是否真的能让模型更安全？我们将机制可解释性置于更广泛的可解释性研究背景中，并将其提供的机制层面证据与行为评估进行比较。我们介绍了机制可解释性的基础概念，包括特征、多义性、Transformer 计算和回路，并综述了特征提取与分析、回路发现与因果验证、用自然语言解释中间表示、学习动力学以及训练数据归因等方面的方法。除了综述现有方法，我们还提出了一个用于评估机制可解释性论断的统一框架，并根据目标、假设和权衡取舍刻画了六类研究取向。最后，我们探讨了机制层面的理解如何支持人工智能安全，包括知识编辑、行为引导和监测，并评估了其局限性、失效模式、尚待解决的问题，以及与行为层面安全措施的关系。我们还发布了一个代码笔记本仓库，其中包含复现所综述方法关键发现的完整示例，使读者能够通过动手实验建立直观理解。