ComputerSD：从实时反馈中进行在线自蒸馏，以训练计算机操作智能体

在线训练使计算机操作智能体（CUAs）能够通过与可执行环境交互不断改进。然而，现有方法主要依赖稀疏的结果奖励，无法为中间动作提供监督。基于策略的自蒸馏（OPSD）通过特权重评分提供令牌级学习信号，但将其直接应用于CUA在线训练面临两项挑战：固定的指导可能与学生当前状态失配，而指导引起的概率变化可能与步骤级正确性相冲突。我们提出ComputerSD，一种面向CUA的在线自蒸馏方法，将执行GUI转换产生的实时反馈转化为策略学习的指导信号。经过微调的GUI分析器会在每个动作之后生成指导信息和步骤级价值分数；指导信息提供特权上下文，而分数则调节由此产生的OPSD信号。ComputerSD在完全异步的训练框架中联合优化令牌级OPSD和轨迹级GRPO。在OSWorld-Verified上，相较于仅使用结果奖励的GRPO，ComputerSD在通用的Qwen3-VL-8B-Thinking骨干模型和专用的EvoCUA-8B骨干模型上，分别提升了1.9和4.1个百分点。在分布外设置下的评估进一步支持了ComputerSD的泛化能力。这些结果表明，通过在线自蒸馏从实时反馈中学习对于CUA是有效的。