arXiv cs.AI精选76

COVER: 可识别的联盟路由评估

COVER: Identifiable Evaluation of Coalition Routing

· 46天前

精选理由

提供可审计的多智能体路由评估方法,避免只看端到端准确率。

AI 摘要

当一个多智能体系统改变其团队时,它也会改变其生成的消息和最终答案,因此,端到端准确率差距本身并不能识别路由效应。我们提出方法,一种评估契约:在生成结果之前,先固定公共信息边界、下游栈 G 和有限的合法团队家族。完全覆盖可识别在该栈条件下的精确有限基准 oracle regret。对于任意有限个冻结策略集合,执行它们各自所选团队的并集,是每一对策略比较所需的最小、无假设支撑,但不足以用于绝对 oracle regret。两个受控表格使用源 ID 不相交划分来测试该工具。在 MuSiQue-12 上,一个预先指定的特权阳性对照将 regret 从 0.532 降至 0.402;随后一个公共接口对照达到 0.424,对比 0.554,但这是回顾性的。在 HotpotQA-4 上,一个预先指定的公共直接评分器将 regret 从 0.313 降至 0.110。在固定栈 Llama 执行中,经验证的路由 regret 改善了 0.190,而原始答案收益为 0.010,且区间跨过零。五家族 ToolSandbox 变体迁移验证对 14 个未接触的任务变体上的 16 个声明团队进行了穷尽评估(224/224 有效行):声明家族的 oracle 达到 0.768 的安全证据完成率,而前瞻性冻结的路由器得到 0.637(regret 为 0.131),未达到预先声明的 0.10 标准。一个后续的回顾性比较器达到 0.655,在平均 worker 数上以 4.57 对 5.00 与全部 worker 持平。因此,COVER 揭示了选择空间,但并未人为制造路由胜利。一个交叉栈诊断表明绝对分数依赖于 G,但未发现可检测的 router 与 finalizer 交互。COVER 是一种可审计的测量方法,而不是关于栈不变或普适智能体路由优越性的主张。

查看原文(arXiv cs.AI)