有害 SFT 会在 LLM 检查点更新中留下连续轨迹

arXiv:2610.07518v1 公告类型：新 摘要：对训练后大语言模型进行安全审计通常依赖模型行为，需要运行模型，并且受限于现有评测的覆盖范围。本研究提出了一个不同的问题：在监督微调（SFT）期间优化的目标行为，是否会在检查点更新中直接留下可读证据？我们发现，有害服从性 SFT 会在检查点更新空间中诱导出一种连续的、依赖于目标的排序。利用由纯有害服从性、安全导向和良性效用 SFT 定义的参考几何结构，我们发现，在四个 7-8B 基础模型上，检查点级坐标 s_H 可跟踪受控的有害目标构成，其 Spearman 相关系数为 0.986-0.992；在更大模型规模上，这种排序依然存在。匹配的服从与拒绝对照实验表明，这一检查点轨迹反映的是 SFT 目标，而非有害输入暴露；其他对照实验则排除了基于有害样本数量或一般训练强度的简单解释。在此结构基础上，我们提出 TRACE，这是一种仅基于权重的审计方法，可将未知检查点更新相对于冻结的有害与非有害参考原型进行定位，并将这一几何结构转换为连续的有害目标得分。TRACE 既不需要查询模型，也不需要访问未知的 SFT 数据，而是可以直接根据检查点更新进行评估。在分布偏移、未见数据、不同 SFT 配置、部分检查点访问以及 LoRA/全参数微调等情况下，该轨迹仍保持稳定，并且与独立测量的攻击成功率呈正相关。即使在有害目标占比较低时，TRACE 仍具有信息量；当行为评测不可用或不完整时，它可以提供一种互补的审计信号。代码可从 https://anonymous.4open.science/r/Code4TRACE-54D3 获取。