arXiv cs.AI精选76

可审计的长期记忆:在 LongMemEval-S 上测得 500 题中 479/475 的确定性检索链

Auditable Long-Term Memory: A Deterministic Retrieval Chain Measured at 479/475 of 500 on LongMemEval-S

· 14天前

精选理由

提供可审计长记忆检索链的结果、局限与复验材料

AI 摘要

我们在 LongMemEval-S 上评估了一个可审计的长期记忆系统。其检索链使用混合候选检索、cross-encoder 重排序、覆盖优先的数据包编译,以及确定性推理脚手架;LLM 仅作为可替换的最终阅读器使用。该链在 470 个可回答问题中的 468 个问题上将所有黄金会话放入候选池,并在 470 个问题中的 462 个问题上生成黄金完整的数据包。通过未固定的 CLI 别名调用 Claude Opus 阅读器,在两次 500 题运行中,在 GPT-4o 评判下分别得到 479/500 和 475/500。72 条可回答的知识更新行使用了实质性修改过的评分提示,其在官方文本下的影响尚未测量。这一组结果横跨 Chronos High 已发布的 478/500;阅读器生成、评分提示以及可能的数据版本的差异,加上系统内方差,既不能证明优越性,也不能证明等价性。在相同数据包上,grok-4.6-high 阅读器得分为 476/474,而一个最大推理努力的 agentic 变体退化到 461/465。标题结果的两次运行在八个判决翻转行上存在差异。第二个评判器在每次运行中都与标题评判器在 493/500 行(98.6%)上一致,并给两次运行均评分为 472/500;官方评判器在重新评分字节完全相同的第 1 次运行答案时,也翻转了三个判决。负对照否定了一个验证器:它修复了三个错误草稿,但破坏了十一个正确草稿。所有组件均在同一组 500 个问题上开发,没有留出评估或独立人工裁决;检索与脚手架方法来源以及从转录记录导出的审计均已保留;标题阅读器接收了额外的操作员上下文,其完整请求未被保留,且 MCP 工具可用性尚未解决。我们发布了物化数据包、脚手架、阅读器输出、评判器判决和对照,以供检查和重新评分。

查看原文(arXiv cs.AI)