arXiv cs.AI精选72

不测量模型,而是测量服务栈:本地工具使用评估中的隐藏混淆因素

Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation

· 21天前

精选理由

揭示服务栈如何扭曲工具调用评测,帮助研究者避免误判模型能力并改进基准设计。

AI 摘要

代码代理必须先发出有效的工具调用——即按照所提供模式可解析的工具调用——测试框架才能执行其选定的操作。我们研究了本地服务栈如何影响这一协议步骤,并表明测得的结果可能取决于服务层,而不仅仅是模型行为。在 Ollama 中,默认的 tools= 请求由每个模型的静态模板标志控制:一些模型会被接受并以文本形式返回调用,一些模型会返回原生的 tool_calls,而 Phi-3 和 Gemma-3 则会在推理开始前被拒绝。在我们的测试框架中,拒绝和重试耗尽不会以结构化失败元数据的形式保留,因此下游分析可能会将其误判为模型未发起调用,并简单地报告 0% 的保真度。对于被接受的模型,在保留原生通道的同时加入文本工具列表,可以恢复相当一部分测得的保真度;而统一采用文本协议则会降低 Llama-3.2 的保真度,因为该模型支持原生工具调用。针对 Ollama、llama.cpp、vLLM 和 SGLang 的跨服务栈探测显示,它们对同一请求的处理方式各不相同。受约束解码可以消除解析失败,但可能导致不终止;按轮次汇总与按实例计算的估计值最多相差约 55 个百分点。最后,我们给出一份检查清单,用于将服务行为视为评估协议的一部分。

查看原文(arXiv cs.AI)