大型语言模型能预测机器学习实验的结果吗？

arXiv:2610.22599v1 公告类型：新 摘要：近期 AI 的进展使递归自我改进（RSI）变得越来越可信。大型语言模型（LLM）已经能够提出、选择并运行机器学习（ML）实验。然而，机器学习中的可能设计选择空间极其庞大。提出实验的 LLM 需要具备可靠的直觉，能够判断在长时间训练运行的时间约束下，该实验是否值得执行。在本研究中，我们通过评估当前前沿 LLM 在将自行生成的机器学习实验想法投入训练运行之前，对其影响进行预测的准确程度，来衡量这种直觉。为此，我们在八项 MLE-bench 任务上构建了一个包含 288 个由 LLM 提出想法的数据集。随后，我们提示五个前沿 LLM（GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3 和 GLM-5.3）预测每个想法的影响，并将其预测结果与训练后的实际结果进行比较。我们报告了四项主要发现。首先，LLM 的预测显著优于随机猜测，但距离准确预测仍相去甚远：即使是表现最好的模型 Claude Opus 5.5，也只能解释结果方差的一半（R^2 = 0.49）。其次，我们注意到，所有受测模型都系统性地低估了变化幅度。第三，预测质量在不同任务之间差异很大。最后，实际实现这些想法的代码工具选择对结果影响很小，我们也没有发现自我偏好的证据。更高的推理设置和额外上下文只能带来小幅提升。总体而言，我们的结果表明，当前 LLM 对哪些机器学习想法会奏效具有有用但有限的直觉。我们发布了数据集，以支持进一步研究。