TRACE：轨迹回报归因与对比擦除，用于多轮安全

安全对齐的大语言模型（LLMs）通常会拒绝有害请求，但当相同目标被分散到多个轮次后，却可能予以配合。偏好目标对单个提示的完整响应进行评分，因此仅凭其训练损失无法控制未见历史中的风险。我们的分析给出了充分条件：在受监督的单轮上下文中进行抑制，即可对多轮轨迹风险建立界。该界考虑了覆盖范围、迁移松弛和泄漏，并刻画了相对于基础策略风险预算的收缩程度；该预算是在训练策略的上下文上评估的。TRACE（轨迹回报归因与对比擦除）将这一原理转化为逐词元目标。在安全响应中，每个词元都根据拒答可归因优势的折扣回报进行加权。该优势比较冻结的参考模型与其拒答消融副本，使较早的响应词元能够从较晚出现的拒答相关证据中获得归因。在被拒响应的高差距位置上，TRACE 将观测到的词元与策略选定的替代项结合到擦除目标中。梯度范数惩罚取代了保留集。在五个开放权重模型和七种多轮攻击中，TRACE 在全部 35 个模型—攻击组合中均取得最低的攻击成功率（ASR），而在 MMLU 和 HellaSwag 上评估的模型效用最多下降 1.23 个百分点。源代码见补充材料。