arXiv cs.LG精选73

Mage-VL-Cowork:通过演进的运行框架学习混合式计算机操作的完整训练方案

Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses

· 1小时前

精选理由

展示如何通过演化式任务与训练流程,让小型多模态模型高效掌握图形界面和代码协同操作。

AI 摘要

arXiv:2610.40747v1 公告类型:交叉发布 摘要:有效的计算机操作智能体(CUA)应在单一策略中无缝结合可视化 GUI 交互与代码及终端执行。我们提出 Mage-VL-Cowork,这是一个拥有 40 亿参数的混合式 CUA,从通用多模态对齐检查点出发,通过涵盖中期训练、监督微调(SFT)和强化学习(RL)的端到端渐进式五阶段课程训练而成。为大规模支撑这一训练课程,Mage-CUA-Forge 以可复用的技能条件生成工作流和应用专用准备器取代逐任务构建智能体的方式,合成了覆盖 6,915 项技能的 293,806 个桌面与网页任务,同时将每个任务的重复性开销降低了 82.6%。我们没有直接蒸馏默认教师模型,而是演进教师模型的运行框架,并实例化专用 CUA 运行框架,以生成高质量轨迹及各训练阶段专用的监督信号。经过不同训练阶段,Mage-VL-Cowork-4B 在 OSWorld-Verified 上的得分最终提升至 66.0%,同时降低了推理成本,在同等参数规模下达到最先进水平,并推进了端侧智能的前沿。

查看原文(arXiv cs.LG)