无尽考试：从当今模型迈向超级智能的数学构造

我们提出 Endless Exam，这是一个通过十四个参数化构造族来衡量当今模型迈向人工超级智能过程中的数学进展的基准。每个提交的对象都会被自动检查其有效性，并相对于已发布的前沿成果或构造基线赋予相对质量分数，且不会将改进上限截断为 $1$。这些构造族借鉴开放数学问题作为长期目标，并在更大参数下生成新实例，其中紧凑证书使大型构造保持可验证性。在对八个模型的 69 个不同实例进行评估后，连续质量分数能够区分性能，尽管没有任何被评估系统超越已发布的前沿成果。规模-质量曲线显示了构造质量如何随问题规模增加而变化。我们发布了生成器、验证器、参考资料、模型响应和分析，以支持在人类前沿之前及之后的持续测量。