TraceML：机器学习开发中人类-智能体规划的实证分析

大语言模型能够为孤立问题写出正确代码，但在自主机器学习开发中仍然远不如人类强大；在这一场景里，智能体必须在数小时的反馈中不断修改数据管道、模型和验证流程，而且在大多数竞赛中，最终成绩仍低于优秀的人类竞争者。基于结果的基准能记录这种差距，却无法解释其成因，因为它们只评估最终提交，而忽略其背后的开发过程。我们提出 TraceML，它在同一版本级模式下配对人类与智能体在相同竞赛中的工作：涵盖 134 场竞赛的 4,465 条人类 Kaggle 轨迹，其中 7 场竞赛也由两个智能体框架完成，共得到 430 条配对的人类轨迹和 207 条智能体轨迹。每个代码版本都带有其分数、时间戳，以及所执行动作、意图、编辑规模和分数影响的标签。这样来看，差距就变得具体了。专家会交替进行数据处理、验证、模型修改和集成，并回到此前放弃的方案上。相比之下，每个智能体框架都会收缩成一个狭窄循环：Codex 把步骤用在重新加权集成和调参提交上，MLEvolve 则在原地变异模型，两者既不会像人类那样频繁转向，也不会重新开启被放弃的工作。一个从人类实践中提炼出的简短规划提示，会把其所描述的行为推向人类画像并提升分数，但努力模式仍然是智能体式的：指令只能弥合那些可归结为指令的差距。我们在 https://huggingface.co/datasets/jerryyan/TraceML 发布了该语料库、模式、标注器和抽取流水线。