AI 后训练 AI 缺少什么：一项实证分析

大型语言模型（LLM）智能体现在可以端到端地对一个 LLM 进行后训练。它们可以编写代码、启动训练、评估 checkpoints，并提升下游性能，从而带来了 AI-for-AI 的前景。我们认为，这一图景混淆了两种不同的能力：执行层面的能力，即在选定的训练策略内进行迭代；以及策略层面的能力，即随着实验证据的积累修正高层判断。通过分析大量公开发布的后训练轨迹语料，我们发现，在不同任务中，智能体的训练策略在一开始就被锁定，剩余的全部预算都花在所选策略内的局部调整上。随后，我们考察了三种自然解释——缺失经验、缺失指导和推理不足——并采用逐步增强的干预。大量实验表明：（1）经验驱动的 scaffold 全面提升了执行能力（GSM8K 上 +12.6 分，HumanEval 上 +40.8 分），但策略仍然保持静态；（2）人工指导能够有效重定向初始策略，但一旦训练开始，智能体又会退回到局部调整循环中；（3）额外的推理计算在较容易的任务上有所回报，但在最困难的任务上几乎没有带来收益。总之，智能体缺少的既不是经验、指导，也不是推理计算，而是一种在执行过程中自发重新评估其策略的机制。