SchemaFill：通过槽位并行推测解码实现高效的 LLM 工具调用

arXiv:2610.07086v1 公告类型：新 摘要：LLM 智能体通过生成结构化工具调用与外部系统交互。给定用户请求、对话上下文和工具模式目录，工具调用模型必须选择工具并生成其参数，并且可能在单次响应中生成多个调用。标准自回归解码会逐个 token 地生成这些调用，因此对于涉及多个调用或大量参数字段的请求，会产生较高延迟。显式的参数结构为并行生成提供了机会，但后续参数值可能依赖于前面的字段和调用，因此独立生成的值可能与目标模型的输出不同。我们提出了 SchemaFill，一种通过槽位并行推测解码实现高效 LLM 工具调用的框架。SchemaFill 无需预先知道实际的调用序列或参数值，即可并发生成未来槽位值作为候选。涵盖多个字段和调用的候选内容会在实际输出前缀下由目标模型串接并验证。只有经过验证的 token 才会被提交；当候选内容不一致时，由目标模型提供修正。该方法在利用槽位和调用之间并行性的同时，实现了目标模型验证。在 Glaive 和 BFCL 上，与自回归解码相比，SchemaFill 将端到端吞吐量最高提升至 4.05 倍。代码可在 https://github.com/Czzzk/SchemaFill 获取。