The Alignment Flywheel：以治理为中心、与架构无关的混合 MAS

arXiv:2603.02259 公告类型：替换交叉版本 摘要：多智能体系统为角色分解、协同和规范治理提供了成熟的抽象，但能力日益增强的学习组件使部署后的安全性更难以检查、审计和更新。当安全行为被吸收到决策组件中时，局部故障可能需要对整个组件重新训练或回滚。本文将这一理念具体化为 Alignment Flywheel：一种以治理为中心的混合 MAS 架构，将决策生成与安全治理解耦。我们将生成候选轨迹的智能体或策略称为 Proposer；它将输出传递给受治理的 Safety Oracle 堆栈，由后者通过稳定接口返回安全评分、预测不确定性、审计覆盖率不确定性和证据钩子。Enforcement 层在运行时实施明确的风险策略。围绕这一闭环，治理 MAS 执行监控、红队测试、验证、分诊、优化和有版本控制的发布管理。其核心工程原则是补丁局部性：许多新发现的安全故障可以通过对 Oracle 堆栈及其审计状态实施小规模治理批次来缓解，而无需重新训练或撤回 Proposer。该架构对 Proposer 和 Oracle 均不设具体实现限制。它定义了运行时门控、审计接收、签名更新、分阶段部署和回滚所需的角色、工件、协议及发布语义。我们通过两个场景展示了其可执行性：一个通过经过回归检查的治理更新修补学习型空间 Oracle 的场景，以及一个临床 GenAI 代理场景，用于说明结构化规范、升级处理和审计覆盖。我们的实现代码和文档已在 https://github.com/decide-ugent/Alignment-Flywheel 开源。