在昔日的未来上对预测智能体进行基准评测

arXiv:2610.40940v1 公告类型：交叉收录 摘要：数字智能体如今能够收集和组织信息、据此进行推理，并使用工具完成复杂任务。预测对这些能力提出了全面考验：它要求整合不完整的证据、推断因果驱动因素，并给出经过校准的概率判断。现有基准并不适合衡量和改进这一能力。实时基准只有在事件结果揭晓后才能提供反馈，因此每一轮评估都受制于日历时间；固定语料库评估虽然能立即返回结果，却将研究限制在预先收集的文档之内。我们推出了 FABench，这是一个面向预测智能体的可扩展回测环境。其自动化流水线可针对任意过去的预测日期发现事件、生成问题并确定结果，使基准能够持续更新，始终晚于模型训练数据的截止日期；首个版本包含覆盖九个领域的 287 个问题。智能体可在归档环境中围绕每个问题自由开展研究，该环境将离线档案与经过筛选以防止时间信息泄漏的实时网络搜索相结合。我们评估了基于八个近期模型构建的智能体，发现所有检索设置都改善了这八个模型的 Brier 分数；在与 Polymarket 关联的 54 个问题上，领先智能体的表现提升至市场共识水平，其中表现最好的三个略优于市场共识。研究轨迹揭示了智能体在权衡和运用证据时反复出现的失误，表明仍有很大的改进空间。我们公开了代码、数据和归档环境，为社区开展预测智能体研究奠定基础。