arXiv cs.AI精选79

X-AgentRed:在不断演化的多服务生态系统中对个人智能体开展红队测试

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

· 4天前

精选理由

通过依赖图与执行反馈挖掘跨服务风险路径,提升个人智能体红队测试的危害发现率与工具覆盖度。

AI 摘要

个人智能体日益通过工具连接网络和应用程序中的各类服务。当其行为的影响在不同服务间累积并相互作用时,智能体即使在执行用户的良性请求,也可能产生非预期或有害的结果。要主动识别这些组合性失效,就需要系统地探索多样化的跨服务路径。现有红队测试方法通常只是提示 LLM 根据任务和环境描述识别潜在的有害路径,或将人类或 LLM 指定的有害目标分解为看似良性的动作组合。然而,生成过程会偏向训练期间学到的模式,可能更倾向于熟悉的工具组合,而对新颖的跨服务交互探索不足。为解决这一问题,我们提出 X-AgentRed,这是一个自演化红队测试框架,通过工具依赖关系图发现有害的工具调用路径,并利用执行反馈扩展和细化这些路径。红队智能体通过分析每个工具的作用、潜在危害以及执行前置条件,构建有向图,以刻画一个工具的作用如何满足另一个工具的执行前置条件。从该图中采样的操作方案被实例化为现实场景,智能体在这些场景中可能产生有害结果。执行反馈通过两种方式实现自我改进:通过工具替换使能够产生危害的路径更加多样化,以及针对未成功路径中受阻的步骤细化前置条件,以支持后续执行。在四个前沿智能体模型上的测试表明,X-AgentRed 的有害路径率达到 STAC 的 $1.77\times$,并探索了更加多样化的工具集,工具覆盖率平均达到 STAC 的 $2.99\times$。

查看原文(arXiv cs.AI)