arXiv cs.AI精选71

超越已批准操作:Agent 工作流中持久结果的运行时验证

Beyond Approved Actions: Runtime Validation of Persistent Outcomes in Agent Workflows

· 18天前

精选理由

帮助读者理解智能体工作流的运行时安全校验价值

AI 摘要

大型语言模型 Agent 越来越多地作用于软件系统,不再只是生成文本,还会更改数据库和在线服务。然而,一个已批准的数据库更新可能成功执行,却留下未批准的通知,因为执行过程可能产生超出所请求更改范围的持久影响。当前的防护措施可以批准某个操作或记录其后果,但如果在继续之前不检查持久结果,未批准的结果就可能被当作成功接受,并传播到后续步骤。我们提出 EffectMatch,这是一个运行时系统,可在受控执行边界内收集持久更改,并将其与应用程序针对当前状态和执行所批准的内容进行比较。该比较决定提交和依赖执行。在针对 206 个公开业务任务的比较评估中,EffectMatch 保留了所有干净执行,并阻止了所有被测试的错误提交。六组各 20 次运行的消融实验揭示了移除每项机制所导致的失败,而 80 个任务拓扑案例保留了真实的交接并阻止了无效的继续执行。综合来看,这些结果表明,EffectMatch 能够阻止与应用程序批准不一致的持久结果被静默接受并向下游传播。

查看原文(arXiv cs.AI)