arXiv cs.AI精选72

WAR-CRAFT:通过需求审查优化 Web API 推荐

WAR-CRAFT: Refining Web API Recommendations through Requirement Auditing

· 3天前

精选理由

通过审查需求与提供商文档,减少 Web API 推荐中的冗余和无依据选项,提升推荐集准确性。

AI 摘要

Web API 推荐系统会针对混搭应用请求返回一组 API,但不会依据提供商文档对其进行核验,而这些文档是 API 能力的主要公开依据。因此,推荐集合可能包含缺乏文档支持或冗余的 API,并遗漏请求所需的能力。填补每一个表面上的缺口并不能解决这一问题,因为某个缺口可能已经得到满足,可能不需要独立的 API,也可能没有文档明确支持该能力的提供商。我们研究推荐后优化,即仅使用请求、目录和提供商文档,修订参数冻结的推荐系统的输出。我们提出 WAR-CRAFT,将优化过程视为三项决策。首先,大语言模型通过联合评估候选项,移除缺乏文档支持或功能被其他 API 涵盖的 API,然后依据从请求中提取的需求清单审查剩余集合。对于每项未覆盖的需求,经过微调且受目录约束的 Resolver 会提出一个目录中的 API,或选择不作推荐;随后,独立的文档核验仅接纳有文档支持的提议。在 ProgrammableWeb 上,针对 7 个异构上游推荐系统,WAR-CRAFT 将平均 SetF1 从 0.558 提高至 0.644,超过 5 个优化基线中的最佳结果(62.5%),同时在不改变平均功能覆盖率的情况下,将功能冗余度降低了约一半(从 0.127 降至 0.065)。性能提升幅度从生成式推荐系统的 2.2 个百分点,到采用固定截断阈值的排序系统的 18.2 个百分点不等。在集合大小相同的情况下,WAR-CRAFT 仍优于直接截断上游输出的方法,说明其收益不能仅用集合大小校准来解释。我们的代码已公开于 https://github.com/ZsXu-enrico/WAR-CRAFT。

查看原文(arXiv cs.AI)