Trace2World：从真实交互轨迹重建应用世界，支持可扩展的 GUI 智能体训练

arXiv:2610.30792v1 公告类型：新论文 摘要：扩展 GUI 强化学习的规模，需要能够保留真实应用行为的环境。然而，将行为推断与编码耦合，可能会把不完整的轨迹转化为状态转换错误的可运行模拟程序。我们提出 \textbf{Trace2World}，将全局行为重建与实现分离。它将轨迹整合为一个共享且关联源证据的应用模型，再将其编译为可执行环境。通过独立回放源工作流，定位不匹配之处，从而对实现进行范围受限的修复。经过验证的应用世界随后可在源证据支持的行为范围内，支持适应学习者的任务与环境增强。Trace2World 从 1,570 条轨迹构建了 50 个环境。在覆盖十个应用的 200 个工作流中，91.1% 得到了端到端复现，而在匹配条件下最强的任务局部基线仅为 59.8%。基于源证据的验证使真实设备上的表现保留了模拟训练收益的 94.0%，而自验证仅保留了 54.7%。学习者引导将基准测试成功率从 56.9% 提升至 61.1%。在 Trace2World 中训练，进一步使模型在我们的基准测试上提升了 20.2 个百分点，在四个外部 GUI 基准测试上提升了 5.4–16.2 个百分点，并在 100 项真实设备任务上提升了 16.3 个百分点。可靠的重建将两个问题分开处理：源证据支持哪些行为，以及实现是否保留了这些行为。