AI4AI-Bench：在递归自我改进的算法设计中对 LLM Agent 进行基准测试

递归自我改进（RSI）所问的是：一个 AI 系统能否改进产生 AI 系统的过程，从而让下一个系统继承这种改进。这个过程就是训练算法：更好的目标函数或更新规则会提高每次后续运行中的 compute\mbox{-}capability 交换率，包括产生下一个 agent 的那次运行。因此，RSI 是否可行取决于 agent 能否设计训练算法。没有任何基准能隔离这种能力：现有测试套件的胜出方式是收集数据或调优超参数，而且没有一个能够区分对一次运行执行方式的改变与对模型学习方式的改变。我们提出 AI4AI\mbox{-}Bench，它包含 10 个冻结的研究代码库，覆盖 10 个训练算法家族。在每项任务中，agent 有 4 小时在一块 B300 上重写训练算法；随后，其代码会从头重新运行最多 12 小时，并由一个对 agent 隐藏的固定评估器打分，与该代码库原始算法在相同流程下的结果进行比较。由于这 10 个指标不可通约，每项任务都会映射到同一个尺度上，其中 $0$ 表示无信息模型，$0.1$ 表示代码库自带的算法，$1.0$ 表示任务最优值。在 6 个系统的 29 种配置、覆盖全部 10 项任务的实验中，平均得分为 $0.166$，最佳系统达到 $0.250$：即使最强系统，也只弥合了既有算法与最优值之间不到五分之一的差距。提交结果显示了差距的去向：大多数根本没有改变模型的学习方式，而少数确实改变了学习方式的提交，平均得分为 $0.226$，其余提交为 $0.126$。更多推理投入主要带来的是尝试这类改变的意愿，使这类少数提交的占比从 $8\%$ 提升到 $64\%$，平均得分从 $0.094$ 提升到 $0.196$。我们发布任务套件、评估器以及每一个已评分提交，以便随着这些系统的变化重复进行测量。