衡量微任务达标差距：何时现成 SLM 足以胜任 Agent Harness？

arXiv:2610.00025v1 公告类型：cross 摘要：Agent harnesses 越来越希望在前沿大语言模型（LLM）规划器周围的微任务上运行小语言模型（SLM）：自动批准 shell 命令、写入记忆、选择工具、对过往轮次进行排序。我们考察现成 SLM 是否达到从业者定义的阈值；当其未达到时，分析原因，并探究量化是否会改变结论。我们构建了一个包含 4 类此类微任务的基准，使用固定提示词和自动化指标；每项任务都有一个预先指定的阈值 $\tau$，该阈值以低成本的非 LLM 基线为锚点，并采用考虑 CI 的达标规则（只有当某配置的置信界限超过 $\tau$ 时，该配置才算通过）。我们测试了 Qwen3 0.6/1.7/4/8B 的最佳设置（FP16、贪心解码、一个固定不变的提示词、不进行调优），发现存在达标差距：16 个配置（4 项任务 $\times$ 4 个模型）无一通过（通过检查原始输出和解析器行为进行了验证）。一个基于 logprob 的决策阈值诊断方法（T1/T3/T4；T2 则通过上下文长度/级联探测）将失败区分为能力不足，以及可以通过改变解码阈值加以解决的失败（共 4 种情形）。量化为 4-bit（RTN/GPTQ/AWQ）造成的损害取决于模型规模，且没有使任何配置达到达标标准（在可重建的硬标签任务 T1/T3 上进行了认证；在 T2/T4 上进行了诊断/窗口化稳健性分析），因此差距更多地取决于模型规模，而非精度；在 Llama-3.x 上也复现了这一结果（12/12 个配置均未达标），并且对锚点选择（通过 $\tau$ 扫描）和提示词措辞都具有稳健性（在原始提示词及每个单元格额外的 3 个中性释义提示词中，达标配置均为 0/112）。实践上的启示是：应将 SLM 置于一个满足 CI 支持阈值的基线之后，仅在基线未达到阈值时使用 SLM；例如，在 BM25 候选列表上使用 4B 重排序器，其表现优于 BM25（$+0.047$ [0.020, 0.073]），但其自身并未达到可认证的达标标准。