fev-bench：面向真实场景的时间序列预测基准

arXiv:2509.26468v5 公告类型：替换 摘要：基准质量对于时间序列预测领域开展有意义的评估和实现持续进步至关重要，尤其是在预训练模型日益兴起的背景下。现有基准往往领域覆盖有限，或忽略了包含协变量的任务等真实场景。其汇总方法通常缺乏统计严谨性，导致难以判断观测到的性能差异究竟反映了真实改进还是随机波动。许多基准缺乏一致的评估基础设施，或过于僵化，难以集成到现有流程中。为弥补这些不足，我们提出了 fev-bench，该基准涵盖七个领域的 100 项预测任务，其中 46 项包含协变量。为支持该基准，我们推出了 fev，这是一个用于预测评估的轻量级 Python 库，强调可复现性以及与现有工作流程的集成。借助 fev，fev-bench 采用具有严谨依据的汇总方法，并结合自助法置信区间，从胜率和技巧评分两个维度报告性能。我们报告了预训练模型、统计模型和基线模型在 fev-bench 上的结果，并指出了值得探索的未来研究方向。