目标智能体是自己最好的批评者，却是不佳的提议者：自我改进红队测试

自动红队测试越来越依赖大型语言模型（LLM），通过迭代诊断失败的攻击，并提出改进后的对抗性提示或注入。尽管先前的工作通过提示工程和搜索框架设计强化了这一循环，但其两个核心角色——批评和攻击提议——背后的机制尚未得到探索。为了进一步研究这些核心角色并提升红队测试的有效性，我们拆分了两个设计选择：批评是由目标会话本身生成（自我批评），还是由单独实例化的批评者生成（外部批评）；以及该批评是由目标会话转化为下一次攻击（自我提议），还是由单独的攻击者完成（外部提议）。通过分析，我们发现自我批评更为有效，因为它立足于目标的实时执行上下文，包括观察结果、约束条件和可用的推理过程；移除推理会使后续攻击成功率降低6%—17%。相比之下，自我提议的有效性显著较低，因为意识到对抗目标会诱发明确拒答和非拒答式消极应对。这些发现促成了一种角色分离的红队测试方法：目标会话负责诊断攻击失败的原因，而单独实例化的攻击者负责生成下一次提议。在涵盖 Telecom、Workflow、CRM 和 Code 领域的 DTAP-BENCH 上，在直接滥用和间接威胁模型以及多种智能体框架下，该配置实现了63.2%的总体攻击成功率（ASR），显著高于基线。我们的结果表明，有效的自动红队测试不仅取决于模型能力和搜索策略，还取决于如何在不同模型会话之间分配执行上下文和对抗责任。