安全生成控制中学习表示接口的决策充分性

arXiv:2610.27446v1 公告类型：新 摘要：控制器可以通过选择何时提供帮助、请求澄清或拒绝，来引导语言模型生成安全且有用的响应。当控制器使用选定的内部特征时，仅凭性能不佳无法区分究竟是信息缺失，还是其决策规则或训练存在局限。我们研究决策充分性：在采用相同策略和评估标准的情况下，使用某种表示的最佳控制器能否达到利用完整状态信息可实现的最小平均损失。对于输出数量有限的接口，我们精确计算最优损失，并区分额外损失的三个来源。成对检查可能无法发现信息损失：输入给控制器相同的状态，在任意两两比较中可能都共享一个最优策略，但在整个状态组中却未必如此。我们界定揭示冲突所需的状态数量上限，并刻画一个不受限制的接口为避免所有冲突所需的最少输出数量。我们审查了来自稀疏自编码器的选定特征；这些自编码器使用相对较少的激活特征对模型激活进行编码，应用于 Qwen2.5、SmolLM2 和 Phi。在由两名人工评分者评估的 SmolLM2 响应中，即使提供了所用策略，将控制器限制为两个选定的开/关特征，也会使其最小平均损失相对于完整状态信息增加 0.0345--0.1166。两个独立训练的自编码器在两组评估数据上都显示出这一增幅。该审查识别出需要改变控制器输入的决策失败，而不仅仅是改变其架构或训练方式。