配对感知优化：协调 LLM 智能体越狱中的探索与细化

大型语言模型（LLM）智能体容易受到对抗性输入的攻击，这些输入会诱导其执行攻击者指定的恶意行为，通常称为越狱。现有基于优化的越狱攻击主要采用利用梯度信息的一阶（FO）方法，或依赖函数值反馈的零阶（ZO）方法。然而，两者的互补性及优化顺序仍缺乏研究。我们系统考察了四种策略：纯 ZO、纯 FO、ZO->FO 和 FO->ZO，并开发了一个 ZO-FO 框架，通过 ZO 优化探索对抗性前缀，再通过 FO 优化细化其对应的后缀。为协调这两个过程，我们引入了配对感知优化方法，该方法保留多个前缀候选，根据条件细化其后缀，并在由此得到的前缀-后缀对中进行选择。我们进一步从更一般的随机生成视角研究智能体越狱问题：同一个对抗性输入可能诱导出多样的推理轨迹和动作，而单一的贪心输出无法捕捉这些变化。因此，我们在优化和评估过程中均采用一致的随机解码。针对恶意指令和恶意环境基准的实验表明，与单一优化器方法相比，混合优化能够提升攻击效果；同时，优化顺序会显著影响性能。