Genesis Steering：利用训练数据改进激活引导

arXiv:2610.19114v1 公告类型：新论文 摘要：激活引导在推理时控制大语言模型，但其有效性取决于参考数据的选择。我们提出 genesis steering，从模型自身微调数据中的对比样本推导出起源向量。当这些数据不可用时，我们借鉴成员推断领域的文献，识别可能属于训练集的样本，并构建代理数据集。我们针对到决策边界的最优位移以及代理估计偏差的降低，确立了两项理论结果。我们在微调数据公开可用的 T\"ulu-3-8B 上评估 genesis steering 和基于成员身份的代理数据构建方法，并以 Llama-3.1-8B-Instruct 作为对照。我们发现，在这两个模型上，来自 T\"ulu-3-8B 混合训练数据的安全数据均比外部数据集带来更强的引导效果。在 T\"ulu-3-8B 上，各种成员身份评分在识别训练样本方面基本一致，利用排名靠前的样本构建的向量，相较于使用同等大小随机子集构建的向量，表现具有竞争力。相比之下，Llama-3.1-8B-Instruct 上的结果暗示，只有当使用经 MIA 筛选的分布内数据所产生的平均方向偏移远小于使用分布外（OoD）数据所产生的方向偏移时，MIA 方法才会带来正面效果。