规则、轨迹与路由统计：面向 ARC-AGI-2 开放模型的训练与校准数据

我们研究了在求解器使用四块 L4 GPU 离线运行、最长运行时间为 12 小时的条件下，哪些训练与校准数据有助于三个开放模型解决 ARC-AGI-2 任务。我们在公开任务上离线比较不同数据，并报告了在 120 个隐藏的半私有任务上进行的 189 次运行结果。对于 NVARC Qwen3-4B 网格模型，我们构建了一个语料库，包含用带类型的语言编写的 12,000 条可执行规则和 95,993 个任务；只有当一条规则在固定探测集上的行为不同于所有已收录规则时，才会被收录；只有当一个任务的输入输出对能够排除一小组最接近的竞争规则，并使 12 个捷径求解器失效时，才会被收录。使用改进的四 GPU 调度方案，在 1,920 条真实任务记录上继续微调后，半私有任务得分从 28.96（已发布模型的平均分）提高至 33.06（五次运行的平均分，最高为 34.86）；任何使用合成任务训练的检查点，即使使用了全部 95,993 个合成任务，也未能超越真实任务模型。对于 Qwen3.8-27B 推理模型，我们使用其自身生成的、最终答案正确的 1,036 条推理轨迹进行微调，并比较了额外加入其他模型轨迹和合成任务的数据集。通过围绕该模型构建的推理流程（在服务引擎中强制实施思考上限、每次回答后在示例上检验 Python 程序、为每个输入的首次尝试分配较长时间），得分从 26.81 提高至 44.03，达到 ARC Prize Foundation 在无时间限制条件下测得的基础模型水平（42.36）；大部分提升来自推理流程。对于 Qwen3.8-Flash-Next 混合专家模型（125B 参数，6B 激活参数），GPU 显存限制了并发度。依据路由器加权的激活显著性，将每层专家数从 512 个剪枝至 384 个，使键值缓存容量从 0.55M 个 token 增加至 1.39M 个 token；利用 ARC 路由统计调整得到的 296 个专家列表，保留了处理程序 token 的专家，再结合 FP8 索引器缓存，使容量达到 1.96M 个 token。借助程序检查工具，该模型获得了 56.67 分，这是我们的最佳结果。