RedEvoAgent：一种由经验驱动技能进化的自动化红队测试 Agent

基于 LLM 的 Agent 正越来越多地部署在产品级执行框架中，在这些框架中，越狱可能触发有害的工具使用和持久状态变更，从而带来比单纯生成不安全文本更大的风险。现有的自动化红队测试方法通常依赖固定攻击，而近期的 Agent 式攻击者会协调多种越狱工具，并通过基于轨迹的检索展现出更强潜力。然而，由于检索偏差和工具贡献不清晰，这类检索可能会复用误导性经验；同时，完整轨迹会增加上下文开销并降低可解释性。我们提出 RedEvoAgent，这是一种黑盒红队测试 Agent，能够将跨案例攻击轨迹提炼为简洁且人类可读的攻击技能。该攻击技能通过工具有效性画像和用于技能更新的 Deciding-Tool Attribution 自适应进化，并通过验证棘轮机制仅保留能提升验证性能的更新。在多个基准、目标模型和目标执行框架上的实验表明，RedEvoAgent 优于固定式和 Agent 式基线方法，提升了工具效率，并能够在攻击者模型和目标执行框架之间迁移。