快速模型，缓慢证据：针对 LLM Agent Harnesses 中 System-1 决策模型的成对与自审计评估

arXiv:2610.02267v1 公告类型：cross 摘要：Agent Harnesses 在每项任务中会做出许多细小的、具有类型约束的决策：调用哪个模型、使用哪个工具、检索到的文本是否相关、输入是否包含注入内容。System-1 决策模型通过一次前向传播放出带有类别概率的答案，有望相比调用 LLM 大幅降低成本和延迟。我们对一个开放权重模型（Laya）和一个托管模型（Jev）进行了成对评估，涵盖基于 18 个公开来源构建的 11 个 Agent 决策点：7,283 个基础案例和 6,640 个鲁棒性变体，并采用字节级完全一致的输入、成对测试，以及跨硬件和跨日期的可复现性检查。在 11 个决策点中，Jev 有 9 个点的准确率显著更高（高出 10.8 至 46.0 个百分点）。在零样本模型路由上，两个模型都未超过随机猜测水平；在 RAG 相关性门控上，两者表现持平。当选项顺序反转时，Laya 会改变 30% 的答案；面对大量或相似的候选项时，其性能急剧下降（在 50 个最近邻工具的情况下准确率为 31%，而对于具有唯一正确工具的项目，Jev 的准确率为 98%）。我们还审计了自己的流程。三个分析错误和一个设计混淆因素扭曲了主要部署结论：遗漏了预筛选成本（报告节省 23.9%，实际仅为 4.3%）；将门控准确率报告为端到端质量（58% 对 98%）；使用样本内阈值（目标为 5%，留出集漏判最高达 17%）；以及关于注入误报的“渠道效应”——使用渠道原生内容后，该效应便会消失。另外两个疑似混淆因素没有改变结论。所有案例、原始输出和分析代码均可在 https://github.com/David-DL-Space/sys1-eval 获取。