覆盖范围而非难度决定激活探针需要多少合成数据

arXiv:2610.10594v1 发布类型：新 摘要：用于监测已部署语言模型的激活探针是在合成对话上训练的，而探针究竟需要多少合成对话仍是一个开放问题。我们针对三种监测概念——高风险情境、对人有害的回复，以及不遵循用户指令的回复——在十四个留出的评估分布和四种探针模型上，追踪了使用 10 至 590 个合成样本时的学习曲线，同时改变生成器 LLM 和提示词的详细程度。所需样本量取决于监测对象：在 Gemma-3-27B-IT 上，高风险探针和有害性探针使用 80 个样本时就已达到其平台期水平上下几个百分点以内，而指令遵循探针所需样本量是其数倍；在三个更小的探针模型以及真实样本（来自开发集）上，这一排序仍然成立。已有研究建议，应将生成预算用于广度，即更多种类的数据，而非深度，即每种数据生成更多样本。我们将某个概念所需的深度定义为拟合曲线的半增益规模，即达到全部增益一半时所需的样本数量。其方差的 42% 至 45% 由概念和分布解释，而生成器、探针模型和提示词详细程度合计解释不到 10%。决定半增益规模数值的是覆盖范围，而不是每种数据的难度：也就是某个分布为达到饱和所需的同类样本数量。在三个概念下，每个评估分布对应的每种数据，其同类合成样本的半增益规模中位数都为 7 至 11 个。不同之处在于，一种类型的样本能够在多大程度上迁移到同一概念下的其他类型：在高风险概念下几乎可以完全迁移，在有害性概念下较少，而在指令遵循概念下最少；这解释了生成样本和真实样本中概念之间大部分的差距。因此，数据广度对不同概念的作用并不相同：在指令遵循概念下，没有任何一种类型能够覆盖另一种类型，因此必须使用多种类型；而在高风险概念下，一种类型即可覆盖其余类型，多种类型几乎是冗余的。我们公开评估套件、开发集和生成数据集。