不要遮蔽环境：观察监督会改变智能体在 RL 下的探索方式

智能体轨迹记录了智能体做了什么以及接下来发生了什么。然而，标准的监督微调（SFT）只对智能体生成的动作 token 施加损失，将环境观察作为上下文，而不是作为预测目标。我们探讨这种惯例是否为后续强化学习提供了最佳初始化。我们提出 ActObs，它也对每条轨迹中已有的观察 token 进行监督。尽管部署后的智能体从不生成观察，学习预测观察会鼓励策略建模动作后果，同时不增加数据、参数、序列 token 或前向传播次数。这些方法在 SFT 后表现相近，但在 GRPO 后出现分化。在 Qwen3-4B 上，从 ActObs 出发进行 GRPO，在 Terminal-Bench 2.0 的每个评估采样预算下，相比仅动作的对应方法都取得了更高的 pass@k。在 Qwen3-8B 上，它以牺牲部分 pass@1 可靠性为代价，换取了更高的 pass@k（pass@16 提高 3.4 个百分点），并解决了更多不同任务。这一优势还扩展到 aider-polyglot 上的跨领域代码编辑（4B 上 pass@1 提高 4.2 个百分点），其任务在 SFT 和 RL 期间均未出现。ActObs 在 RL 期间保留了更多熵，同时需要更少的策略移动，使最终策略更接近其 SFT 初始化。我们的分析将这种差异追溯到 SFT：动作梯度和观察梯度很快变得正交，而仅动作训练会留下较大的残余观察梯度，并使环境预测能力下降到低于基础模型。联合监督避免了这种单侧专门化，保留了后果预测能力，并为策略的下游探索做好准备。