arXiv cs.AI精选74

POLAR:面向工具调用 LLM 代理的本体引导风险预防

POLAR: Ontology-Guided Risk Prevention for Tool-Calling LLM Agents

· 7天前

精选理由

以可审计的可逆性评估提前拦截高风险工具调用,并揭示安全与任务收益的权衡。

AI 摘要

LLM 工具使用代理运行于动态环境中,其中许多操作都带有运行风险。然而,大多数安全机制只有在错误已经发生后才作出反应。现有的主动预防方法要么基于思维链推理对代理进行微调,要么将自然语言防护规则编译为运行时检查,但它们都没有提供结构化且可审计的判定结果。我们提出 POLAR,这是一种面向小型工具调用代理的防护框架,通过结构化的双层本体评估操作的可逆性。POLAR 通过推导候选逆向操作序列,为每个操作分配分级的可逆性分数;未达到阈值的调用会在执行前被剪除。在六种代理模型上的 $τ^2$-bench 评测中,POLAR 使其中四种代理在航空领域的平均任务奖励提升了 0.11 至 0.18 分,但在十八个模型—领域单元中,总体上仅有八个得到提升;在零售领域和更强的代理上,性能往往下降。POLAR 提供了可审计的结构化检查,并刻画了其在任务效用方面的权衡。奖励并不能直接衡量所避免的危害。

查看原文(arXiv cs.AI)