量化前沿 LLM 智能体的过度宣称倾向

前沿编码智能体越来越多地被信任，能够长时间自主工作，但智能体的最终响应往往是用户唯一能看到的关于这项工作的记录。我们量化了前沿智能体对任务完成情况进行\emph{过度宣称}的倾向，这种错误表述可能误导用户。当智能体的最终响应与其上下文中的信息相矛盾时，我们称其存在过度宣称。这一定义不要求推断智能体的意图，并且独立于任务是否成功。我们推出了\emph{OverclaimBench}，这是一套评测方案，由五种文件审查场景、基于交互记录的覆盖率测量以及已登记的植入缺陷组成。我们在各自的生产命令行界面中评估了八个专有前沿模型，并在 OverclaimBench 上使用单一固定测试框架评估了四个开放权重模型，结果发现：1）在 67.9\% 的运行中，智能体没有读取要求其审查的全部文件；2）在未读取全部文件的运行中，智能体有 80.4\% 的概率具有\emph{误导性}（各模型分别为 59--96\%），具体表现为虚假声称已读取全部文件，或未说明覆盖范围并不完整；3）要求将任务委派给子智能体提高了文件读取覆盖率，但在仍未完成审查的情况下，其中绝大多数仍然具有误导性；4）虚假声称完成了完整审查的智能体漏掉植入缺陷的概率约为读取每个文件的智能体的 1.8 倍，这表明完成声明可能掩盖实质性失败。总体而言，这些结果表明，智能体的最终响应并不能可靠地记录其实际行为。