DolphinBench：绘制智能体记忆的帕累托前沿

如今，智能体经常执行依赖长期记忆和上下文回忆的现实世界操作。然而，目前大多数记忆基准测试都采用对话式问答格式，其中问题本身会提示需要检索某条事实，甚至常常会提示具体是哪条事实。此外，基准测试很少要求提交结果满足准确率以外的指标，这使得记忆系统可以通过不合理地权衡成本和时间来获得更高分数。 我们推出了 DolphinBench，这是一项通过智能体完成任务来直接评估记忆能力的基准测试。DolphinBench 包含三种知识工作者角色，每种角色约有 50 万 token 的用户消息，并在依赖这些历史信息的任务上评估智能体。对于每种角色的 200 项任务，我们都通过分别在有和没有相关历史记录的情况下运行智能体进行验证，要求智能体在有相关历史记录时成功、没有相关历史记录时失败。 最后，我们要求所有评测结果在报告准确率的同时，报告总成本和延迟，从而能够全面评估智能体记忆系统。现有的记忆基准测试中，没有一项同时结合了这三个方面。数据集和评测代码可在 https://dolphinbench.ai 获取。