RATED:基于执行动态的可靠性感知 AI 智能体工具检索
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
精选理由
通过结合语义检索与实时执行反馈,显著提升智能体工具匹配准确率,并降低故障场景下选中不可用工具的概率。
AI 摘要
随着 AI 智能体日益依赖外部工具,准确检索对于确保其行为可靠至关重要。现有方法着重优化语义相关性,却在很大程度上忽视了执行过程中的工具可用性。为弥补这一不足,我们提出 RATED(基于执行动态的可靠性感知工具检索),这是一个将稳健的语义匹配与动态可靠性适应相结合的检索框架。RATED 采用经对比微调后冻结的双编码器进行语义匹配,并使用轻量级上下文多臂老虎机模块,根据实时执行反馈对候选工具重新排序。这一设计能够快速适应运行时的工具故障,而无需进行成本高昂的模型重训练。我们推出了 EcoAgent,这是一个包含 5,172 个真实世界工具和超过 210,000 个查询—工具对的基准,用于离线检索与动态可靠性评估。实验结果表明,在真实世界查询上,RATED 相较于 ToolLLM API 检索器的平均倒数排名(MRR)相对提升了 52.2%;在故障率为 30% 的严重 API 中断场景下,故障工具选择率从 86.2% 降至 2.9%,同时相较于仅编码推理,额外延迟不足 1 毫秒,几乎可以忽略不计。代码和数据集已发布于 https://github.com/Elliotes/EcoAgent。