Soei:面向多智能体 AI 软件工程的证据与意图结构化可观测性
Soei: Structured Observability of Evidence and Intent for Multi-Agent AI Software Engineering
精选理由
帮助审计多智能体编程过程,追踪责任、证据与完成度,提升协作可信度与安全性。
AI 摘要
如今,AI 编程代理能够在很少监督的情况下,跨多个步骤和多个会话完成软件工作。当开发者回来查看这些工作时,有用的问题不是模型说了什么,而是实际完成了什么、由谁完成,以及是否已经结束。我们从三个方面对此进行研究。首先,我们根据其提交版本 e4ba2da 的源代码,对开源本地编程代理可观测性工具 Agenttrail 进行了验证:九个有文档记录的常量和机制在文件和行级别上均得到确认;两条事件流水线从未统一;其 Map 服务存在未经身份验证的本地变更入口。其次,我们在 45 个真实的编程代理会话上运行了系统原型(102,233 条记录、20,577 次工具执行、2,336 个人类到代理的交互片段)。借助经过盲审的分类器(精确率分别为 83.3% 和 96.7%),我们估计,有 23.4% 的代码编辑片段在最后一次编辑后没有进行独立检查(95% 置信区间为 17.1% 至 35.7%);代理在编辑后标记为完成的待办事项中,有 57.8% 在此期间没有任何证明。针对会话交接的 10 分钟计时启发式方法,能够找回内容谱系所关联的 24 对会话中的 6 对。42% 的会话持续时间超过 24 小时,48.1% 的记录文本字节数位于 2 MiB 的回放上限之外,并且 16 个会话中的 1,326 条记录包含类似凭据的字符串。第三,我们提出 Soei(Structured Observability of Evidence and Intent):一种具备确认感知能力的事件模式、一种采用哈希链的本地账本、一种与 W3C PROV 对齐的图、用于归因和谱系分析的校准推断机制,以及一个将完成声明与证明相互分离的验证层。在同一数据集上,该账本的大小为原始数据的 20%,不包含任何内容或凭据,以约每秒 126,000 个事件的速度完成验证,并能以确定性方式检测篡改和重放。我们将这项工作与同期提出的 2026 年方案进行比较,并基于我们的数据设定带有证据门槛和测试框架指标基线的自主性等级。