TACS：面向 LLM 越狱后缀优化的轨迹感知候选选择

arXiv:2608.29564v3 公告类型：替换-交叉发布 摘要：基于梯度的越狱后缀优化方法通常通过保留当前损失最低的候选项来更新后缀。我们发现，这种看似自然的设计具有根本性的短视性：在当前步骤代理指标下表现更好的候选项，往往无法在后续搜索过程中产生更好的越狱结果，这揭示了一种发生在选择阶段的奖励劫持现象。这表明，候选选择而非仅仅是候选生成，才是后缀优化中的一个隐性瓶颈。为解决这一问题，我们提出 TACS，一种面向越狱后缀优化的轨迹感知候选选择框架。TACS 不再仅依据即时损失选择候选项，而是使用轨迹感知代理指标增强逐步评估，并通过参考策略正则化和由判别器估计的卡方校正来稳定选择，从而鼓励选择在当前步骤之后仍能保持有效的候选项。在 HarmBench 上的实验表明，在相同搜索预算下，TACS 始终优于强基线方法，显著提高了攻击成功率，同时在整个搜索过程中表现出更加稳定的优化行为。我们的研究结果表明，缓解由短视候选选择导致的选择阶段奖励劫持，对于改进越狱后缀优化至关重要。