OS-Wizard：通过知识引导的探索将计算机操作智能体扩展至专业软件

计算机操作智能体执行数字世界中复杂任务的能力日益增强。然而，专业桌面应用程序的高质量交互轨迹仍然稀缺，原因在于应用知识有限、图形用户界面（GUI）工作流程繁琐以及探索不充分，阻碍了自动化采集。我们提出了自动化轨迹采集框架 OS-Wizard。该框架将教程引导的探索与混合 GUI–代码动作空间相结合，提供特定应用知识，并通过直接执行应用程序原生命令来简化 GUI 工作流程。该框架还在树式探索过程中保存关键状态的检查点并重新访问这些状态，以探索替代工作流程，补充线性展开，从而实现更广泛的覆盖。我们采集了 1.09 万条轨迹，包含 5.49 万个状态–动作样本。在该语料库上微调开源基础模型后，表现最佳的模型在专业桌面工作流程基准测试中的性能提升了 58.2 个百分点，达到 64.1%，超过了已报告的 59.8% 的人类表现，创下了新的最佳水平。微调后的模型在仅使用 GUI 动作的一般桌面工作流程中也表现出性能提升，表明所采集的监督数据同样有益于一般桌面任务。对比实验和消融实验验证了轨迹采集的效率以及代码动作的重要性。