MintEval：LLM 是否实现了你要求的交易策略？自然语言到策略代码的行为等价性基准

arXiv:2610.03080v1 发布类型：cross 摘要：大型语言模型正从生成交易信号转向编写执行交易信号的代码。第二种角色的失效模式是无声的：生成的代码能够运行，回测也能绘图，但交易者所描述的风险逻辑并不是实际执行的逻辑。现有代码基准测试单元测试上的功能正确性，金融基准测试则测试预测能力；二者都无法衡量一个实现的行为是否符合所要求的策略。我们推出 MintEval：在该基准中，参考策略由可组合构件库以程序化方式生成，随后被反向转换为交易者的口语化指令，再由待测模型重新实现。生成的程序与参考程序在相同的市场数据和交易摩擦条件下逐根 K 线执行，并比较它们的操作，而不是代码相似度或利润：alpha 的影响通过差分被消除。MintEval v0 包含基于 BTCUSDT 15 分钟数据的 800 个任务，并依据通过执行测得、且与描述长度解耦的状态跨度复杂度 tau 进行分层。低成本模型的平均 ActionMatch 最高仅为 0.544，完全复现的任务最多仅占 0.087；在由 200 个任务构成的分层子集上，前沿模型 Claude Opus 5.5 的 ActionMatch 达到 0.889，完全复现比例达到 0.575，但仍有 0.275 的任务会出现无声失效。在给定构件菜单的情况下，模型几乎能够完美识别策略；然而，在那些正确理解了规格说明的实现中，有 79.2% 在超过 10% 的有效 K 线上出现偏离。将近期策略生成基准中的 LLM 评审器原样应用后，它会接受这些无声失效中的每一个。