ClawGym II：探索 Agent Harness 上的黑盒 RL

Agent harnesses 通过协调 agent 与环境的交互，显著提升了长时程任务的性能。然而，通过复杂 harnesses 进行强化学习在很大程度上仍未被探索，因为将此类训练扩展到长时程 agent 任务会带来根本性挑战。在这项工作中，我们提出了一个统一的黑盒 RL 框架，用于通过复杂 harnesses 对通用 agents 进行稳定且可扩展的优化。具体而言，我们首先构建了基于沙箱的执行基础设施，将任务环境和 harnesses 隔离在临时沙箱中，以支持大规模并发 rollouts。随后，我们将策略优化与不透明的 harness 执行解耦，并在模型边界放置 serving proxy 以捕获模型调用。为重建多轮轨迹并提高训练效率，我们将捕获的调用组织成前缀树，并进一步调整基于 critic 的 PPO 和无 critic 的 GRPO，使其在恢复出的树结构上进行优化。与此同时，我们在整个优化过程中保持训练-推理一致性。最后，我们引入 mix-harness training，使单个模型能够通过异构 harnesses 进行联合优化。使用 Qwen3-30A3B 时，黑盒 RL 通过 OpenClaw 和 Claude Code 分别将 ClawGym-Bench 上的 Pass@1 提升了 9.98 和 14.81 个点，同时在 200-400 个优化步骤内保持稳定。此外，该框架在更具挑战性的任务（如 JobBench 和 OfficeQA）上也带来了一致的增益。总体而言，我们的框架使得通过黑盒 harnesses 对通用 agents 进行有效、稳定且可扩展的优化成为可能，并支持跨异构执行系统的统一训练。