arXiv cs.AI精选83

CoSA:现实世界 LLM 智能体生态中的技能冲突攻击

CoSA: The Conflict of Skills Attack in Real-World LLM Agent Ecosystems

· 18小时前

精选理由

揭示LLM代理技能组合的隐性冲突风险,并提供可落地的检测与防护方案。

AI 摘要

Agent Skills 使 LLM 智能体能够组合可复用的能力,但单独检查每个 Skill,并不能排除它们组合后违反策略的可能性。我们将此类失败称为技能冲突(Conflict of Skills,CoS):为某一目的生成的工件或评估信号,可能在后续流程中被重新使用,而未保留其新用途所需的限制条件或授权。通过对公开可用 Skills 进行受控执行,并设置匹配的单 Skill 对照实验,我们识别出 CoS 背后的四种反复出现的机制。在此基础上,我们提出技能冲突攻击(Conflict of Skills Attack,CoSA):向现有 Skill 池中加入经本地准入的 Skills,以补充缺失的业务操作(能力补充),或重塑工件交换、决策复用以及目标/动作绑定关系(关系重塑)。CoSA 不改变现有 Skills 和运行时权限。为在自主 Skill 选择场景下评估这一威胁,我们提出 CoSA-Bench。该基准由真实世界的 Skills 和受控服务构成,包含覆盖招聘、金融、IT 和商业领域的 288 项任务,涉及数据泄露、未经授权的状态修改和不安全执行。在五个 LLM 和三种智能体框架上,仅添加不超过原始 Skill 池 5% 的 Skills,就会使违反策略的比例从 35.02% 上升至 58.45%,增加 23.43 个百分点。轨迹分析表明,合规到违规的转变与涉及新增 Skills 的跨 Skill 依赖有关。最后,我们开发了一种轻量级的框架层防护机制,在执行关键动作前检查信息流和授权情况。在五个模型的 OpenClaw 招聘任务上,该防护机制将违规率从 65.28% 降至 6.67%,而在匹配的良性对照任务中,符合策略的任务完成率则从 66.67% 变为 65.00%。

查看原文(arXiv cs.AI)