arXiv cs.AI精选79

单一监视器无法适配所有场景:面向智能体 AI 的形式化方法无关运行时验证

One Monitor Does Not Fit All: Formalism-Agnostic Runtime Verification for Agentic AI

· 18小时前

精选理由

提出适配多种监控形式与控制边界的智能体运行时验证架构,帮助在副作用发生前阻止不安全操作。

AI 摘要

智能体 AI 系统融合了模型决策、可变状态、工具调用以及向外部智能体委派任务。监视这些系统需要从不同的执行边界获取观测,而预防则要求在操作产生效果之前实施控制。我们提出 AgenticRV,这是一种将这些边界与监视所用的形式化方法解耦的运行时验证架构。适配器发出规范事件;每个监视器接收各自的投影与抽象;决策策略则依据归一化的判定结果,选择由相应适配器支持的响应方式。我们形式化刻画了观测何时足够、替换监视器何时能够保持决策不变,以及阻断何时能够防止不安全效果。我们还区分了被拒绝的尝试与已产生的效果,从而避免假定被阻断的请求必然使每个监视器都处于永久违规状态。Python 实现支持 LangGraph、MCP 和 A2A。一项受控的 LangGraph 实验结合了外部 Reelay 时序监视器与通过编程实现的报告监视器;消融实验表明,对于所选需求,两者均不可或缺。差分检查和跨适配器测试提供了进一步的集成证据。一个由 LLM 驱动的事件响应示例展示了相同的强制执行路径,而现有微基准测试则单独测量框架开销。结果表明,在所述观测与部署假设成立的条件下,可以在明确的控制边界复用监视方法。

查看原文(arXiv cs.AI)