AlphaBet：面向 LLM 事件预测智能体的强化学习

arXiv:2610.22684v1 公告类型：新 摘要：预测一个尚未揭晓结果的事件，需要寻找相关证据，并判断这些证据对每种结果的支持力度。然而，基于结果训练 Large Language Model（LLM）预测器时，通常从某个单一预测日期预先汇编的证据开始，将证据获取排除在学习循环之外。我们提出 AlphaBet，这是一种智能体式强化学习（RL）框架，训练单个 LLM 策略在结果揭晓前的多个日期进行搜索、推理并报告概率。每个带日期的预测都依据最终结果，通过适当评分规则进行评估，从而使一个已揭晓结果的事件能够监督不同信息状态下的决策。我们将预测遗憾分解为证据获取差距和概率报告差距，并展示 Group Relative Policy Optimization（GRPO）的标准差归一化在多类别适当评分下可能扭曲概率报告目标。在 GLM-4.5-Air 上，AlphaBet 将 Forecast-Dojo 上的 Brier 分数从 0.731 降至 0.626，并将 FutureX 上的分数从 0.612 降至 0.528。受控消融实验表明，这些提升归因于多日期训练，并且同时来自信息获取和概率报告方面的改进。我们的实证结果验证了 GRPO 的标准差归一化会降低适当评分规则下的性能，同时基本不影响最高概率结果的准确率。