AStockArena:超越收益,我们能将真实资金托付给金融智能体的决策吗?
AStockArena: Beyond Returns, Can We Entrust Real Capital to the Decisions of Financial Agents?
精选理由
提出金融智能体实时决策审计基准,揭示交易报告、证据与账户状态间的漏洞,为评估实盘可靠性提供收益指标之外的依据。
AI 摘要
大语言模型(LLMs)正日益广泛地应用于动态金融交易,但实时交易基准主要依据累计收益和风险调整后绩效来评估智能体。这类结果指标无法揭示交易是否得到如实报告、是否有可用证据支持,以及是否与账户状态一致。我们提出 AStockArena,这是一个面向中国 A 股市场连续交易的实时决策审计基准。在相同的市场条件和执行约束下,我们通过 3,198 次序贯决策评估了 13 个开源和闭源模型。AStockArena 通过对齐报告、交易请求、执行响应和账户状态,重建实际记入账户的操作,并结合记录核验与专家共识标注,采用八项检查进行审计,涵盖执行可追溯性(O)、证据充分性(RK)和金融元认知(B)三个维度。在 1,070 个交易时点中,72.99% 存在至少一项审计缺口;各模型的缺口发生率介于 52.2% 至 91.2% 之间,其中证据缺口最为普遍。历史交易过滤回放进一步表明,投资组合表现对这些被标记的交易较为敏感。因此,决策过程审计为基于收益的金融智能体评估提供了可验证的补充。