市场微观结构基础模型学到了什么？基于合成限价订单簿的受控研究

arXiv:2610.20104v1 公告类型：新论文 摘要：在限价订单簿（LOB）消息流上训练的自回归 Transformer，正越来越多地被提出用作市场微观结构的基础模型。由于真实市场的生成过程未知，这些模型只能根据输出的逼真程度来评判，而它们究竟学到了什么仍是一个悬而未决的问题。我们通过反转研究设置，使这一问题变得可以回答：使用潜在参数已知的模拟器所生成的订单流来训练 GPT 风格模型，从而以贝叶斯最优预测器、生成状态和精确的数据熵作为参照。对照这些参照进行衡量发现，订单流上的下一词元预训练实现了对市场状态的摊销贝叶斯推断。模型学得的预测分布与精确贝叶斯最优结果之间的差距不超过每词元一个毫纳特；即使在潜在状态于单个回合内发生漂移、因而需要滤波的非平稳过程族上，也能逼近知晓真实潜在状态的预言机预测器所达到的下限。从冻结模型的激活值中，可以通过线性解码提取潜在市场状态，表现远超基线。因此，利用冻结模型的读出层校准模拟器参数，比滑动窗口最大似然估计更准确，而成本仅为后者的一小部分。在我们的实验中，这些能力并非源于规模：模型容量和词元数量带来的收益很早就趋于饱和，决定模型对未见市场泛化能力的是训练市场状态的多样性，而非词元数量。在真实 NASDAQ 数据上，零样本迁移效果取决于模拟器先验对真实订单流的覆盖程度：更丰富的混合先验几乎弥合了与域内基线的差距；在留出的股票代码上，无论训练预算如何，预训练均优于从头训练。已知的真实基准，使得原本在熵下限附近缺乏信息量的平均下一词元损失，能够用于与贝叶斯最优预测器和预言机预测器进行精确比较。