arXiv cs.AI精选73

韩国开放公共 API 上的多步工具调用:一个基准和一个数据合成方案

Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe

· 39天前

精选理由

帮助研究者评测并提升多步工具调用能力。

AI 摘要

数据主权法规日益要求公共机构部署开源、可本地部署的 LLM agents,这些 agents 需要通过实时政府 API 串联多次工具调用。然而,开源模型在这种多步场景中始终表现不佳,现有基准也没有衡量这一差距。我们提出 Korean Open Public API Benchmark (KOPA-Bench),包含 145 个真实世界任务。为弥补这一差距,我们提出 EDGE,一种由实时执行驱动的、用于工具调用数据合成的 Execution-grounded Dynamic Graph。EDGE 构建一个图,表示每个工具的输出如何作为另一个工具的输入,只保留那些在实际调用实时 API 时成功的连接,并沿着这些经过验证的连接遍历,以合成可执行的多步轨迹。我们在生成的数据集上通过 GRPO 对 9B 模型进行微调后,其性能几乎达到同一系列中未微调的 27B 模型,不仅在 KOPA-Bench 上有显著提升,在 BFCL 基准上也同样如此。

查看原文(arXiv cs.AI)