面向开放式问题的自主研究：电信工单检索案例研究

近年来，基于 LLM 的系统及其在问题解决和编程方面能力的突破，推动了“AI for Science”范式的发展，并有望取代人类在机器学习（ML）研究中的角色。然而，尽管已有多个全自主端到端 ML 研究框架被提出，但它们的成功实现通常局限于搜索空间狭窄的问题，例如语言建模或生物医学 ML 基准测试。本文通过研究一个案例——电信工单检索——探讨如何将自主研究应用于解决开放式、工业级 ML 问题。电信工单检索是一项开放式任务，在表征、架构和训练数据生成方面具有较大的自由度。我们发现，使用商业和开源智能体开展开放式问题的自主研究既展现出潜力，也存在局限：自主研究能够在狭窄的超参数优化任务中表现出色，但缺乏类似人类的直觉和创造力，并且需要额外的运营开销。即使仅接受最低限度的人类监督，自主研究也能以适中的成本（每次 Cursor 运行最高 200 美元），在远短于人类研究所需的时间内（10 周，而非人类工作的 10 个月）达到当前最先进水平性能的 90%（Recall@1 为 0.34，而非 0.38）。我们的实证证据表明，在 ML 研究中，人类研究人员与自主研究框架协同工作才能取得最佳效果。