VEPA:面向 LLM 智能体终身护栏的经验证演进式形式化策略
VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails
精选理由
为智能体提供可验证、可持续更新的确定性安全护栏,降低新风险下误放行或误拒绝的可能。
AI 摘要
arXiv:2610.12813v1 公告类型:交叉发布 摘要:LLM 智能体越来越多地操作私有文档和可变系统状态等敏感资源,这可能带来严重的安全与安保风险。因此,运行时护栏应在执行可能不可逆的智能体操作之前,作出可检查、可复现且确定性的允许或拒绝决策。然而,安全与安保要求在部署前很少完备,因此护栏需要随着新风险的出现而持续适应。现有自适应护栏会从部署经验中学习,但通常通过 LLM 推理来应用安全策略,这可能导致决策不一致和策略解释模糊。另一方面,形式化护栏能够以确定性方式执行策略,但通常依赖部署前制定的策略或特定任务策略,缺乏适应新观测风险的机制。我们提出 VEPA,一个用于形式化智能体护栏经验证演进的框架。VEPA 将护栏表示为一种形式化策略,由针对带类型的智能体事件的可执行符号规则构成。在部署过程中,我们使用部署反馈引导 LLM 提出策略补丁,以修复新观测到的失效,同时保留此前正确的行为。随后,确定性验证器仅接受结构有效且无冲突的策略。最后,一个证据感知的授权层仅在已验证规则获得充分支持证据时才将其激活,从而防止不确定的更新直接影响护栏决策。在 ASSEBench-Safety、ASSEBench-Security 和 ATBench 上,VEPA 在扩大确定性形式化策略执行范围的同时,始终优于基线方法。这些提升在更具挑战性的部署条件下同样成立,包括混合流、受损反馈和更长的运行周期。