迭代式 ML-Agent Harness 的显式反馈契约

arXiv:2610.28798v1 公告类型：new 摘要：迭代式 ML agent 通过编辑代码、运行实验、读取验证分数，并决定下一步尝试什么来开发模型。在当前的 harness 中，这一循环会在每次尝试后返回精确的验证分数，使验证集暴露于自适应选择之下。在这项工作中，我们为 ML-agent harness 引入了一种显式反馈契约，规定 agent 可以观察什么、何时应停止迭代，以及何时可以接触测试集。只有当一次提交超过根据配对标准误计算出的噪声阈值时，该契约才会释放验证分数，因此无需调节裕量。我们在点击率预测、学习排序以及一个按构造不存在可发现信号的控制任务上进行了实验。控制任务是最鲜明的案例，因为其真实增益按构造为零：读取精确分数的 agent 最终报告增益为 0.0157，而在契约下报告的增益为 0.0033。在另外两个真实任务上，该契约缩小了验证集与测试集之间的差距，测试性能反而略有提升。最大的差异体现在 agent 何时停止。精确反馈在三个任务中的两个任务上用完了全部 30 次提交额度，其中包括那个什么也无法学到的任务；而在契约下，agent 在 4 至 12 次提交后便停止。一次运行耗尽预算通常会被解读为勤奋。更好的解读是把它视为一种症状：当反馈通道不受限制时，噪声会持续提供可供追逐的改进。