通过模型的内部表征塑造与监测模型

arXiv:2611.07071v1 公告类型：新论文 摘要：我们提出 Mechanistic Shaping，这是一个通过模型内部表征来塑造模型的统一框架。Mechanistic Shaping 在训练期间应用，使模型遵循有关其表达哪些概念的规范（规则），这些概念通过模型输出或内部表征来衡量（例如，不包含有害内容）；同时，也使模型遵循有关其依赖哪些概念的规范，即模型使用什么来做出决策（例如，筛选简历时不使用候选人的性别）。在多个领域（视觉、医学影像、语言）、多种规模（最高达 320 亿参数）和多种训练范式（分类、SFT、DPO、GRPO）中，我们发现 Mechanistic Shaping 能在保持任务性能的同时，显著减少所针对的行为。由于针对某种表征进行训练也可能改变该表征，我们进一步探究：经过塑造的概念是否仍可被监测？这一问题的答案取决于所考虑的监测器类别。因此，我们引入了这些类别的层级体系，以区分逃避了某个探针的概念与真正消失的概念。我们刻画了三种规避监测的几何机制：概念可能漂移至监测器无法捕捉的位置、从该层中被抹除，或以非线性编码的形式持续存在于高阶统计量中；对于最后一种机制，我们通过乘积码构造加以解释。尽管在不同环境或更大规模下可能出现其他机制，但这三种机制足以解释我们的全部观测结果，而且每一种都能被相应的监测器检测到。在实践中，我们发现，经过塑造的概念在很大程度上仍然可被监测：重新拟合的线性探针在大多数环境下都能恢复对该概念的检测，而只要梯度不流经原始探针，它就仍然可靠。总体而言，这些结果表明，可解释性具有用作训练工具的潜力，同时也呼吁建立一套相应严谨的、基于可解释性的训练科学体系。