智能体能信任其技能吗?揭示基于技能的 LLM 智能体中的不安全信任链
Can Agents Trust Their Skills? Uncovering Unsafe Chains of Trust in Skill-Based LLM Agents
精选理由
揭示技能型智能体的信任链漏洞,帮助开发者发现并修复潜在安全风险。
AI 摘要
LLM 智能体日益依赖可安装技能。这些技能由指令、代码和资源组成,为智能体提供特定任务能力,并且安装后可在后续用户任务中被自动调用。这形成了一条信任链:用户将权限委托给智能体,而智能体框架在缺乏充分验证的情况下,将技能提供的内容纳入智能体上下文,从而使恶意技能能够利用这些被委托的权限影响智能体行为。然而,对于这一信任模型能否在不受信任的技能内容到达安全敏感操作之前对其进行充分约束,以及此类信任违规在现实世界的智能体中出现的频率,人们仍知之甚少。我们提出了 TrustProbe,一种用于揭示基于技能的 LLM 智能体中不安全信任链的框架。首先,TrustProbe 分析智能体源代码,识别从技能控制的输入到安全敏感操作的源到汇调用路径。其次,它生成语义上逼真的 SKILL.md 种子,在其中注入金丝雀标记,并通过反馈引导的调度与变异对其进行演化。最后,它使用一个预言机验证漏洞,该预言机确认由攻击者控制的数据流,并核实可观测的危害。在 11 个开源智能体中(其中 8 个在 GitHub 上拥有超过 10,000 个 stars),TrustProbe 识别出 104 个污点型漏洞。在从 ClawHub 等公共中心收集的大规模真实世界技能语料库上进行验证后,结果进一步表明,25.1% 的技能-智能体试验会触发所识别的易受攻击路径,其中通过载荷注入成功武器化了 15 个漏洞。这些结果揭示了基于技能的 LLM 智能体中一种系统性的信任失效:不受信任的技能内容能够到达安全敏感操作,并行使用户委托给其智能体的权限。