Visual Token Routing：学习保留重要的词元

arXiv:2611.06854v1 公告类型：交叉发布 摘要：计算机操作智能体（CUAs）近期在多项长时程基准测试中取得了超越人类的表现。然而，其计算成本限制了它们在长时程任务以及电子游戏等实时领域中的应用。一个关键瓶颈在于，每张屏幕截图都被表示为数千个视觉词元；随着智能体基于较长的交互历史进行推理，这些词元会不断累积，形成冗长的上下文。我们观察到，这些视觉词元中的大多数要么在语义上与智能体的下一步动作无关，要么在不同截图之间存在时间维度上的冗余。基于这一观察，我们提出了 Visual Token Routing（VTR），这是一种联合训练框架，用于学习稀疏视觉表示，同时保留动作预测所需的信息。在 VTR 中，我们将视觉语言模型与一个轻量级时空路由器共同训练；该路由器检查当前及先前截图中的每个图像区域，并决定是否将其视觉词元输入语言模型。我们使用自适应损失优化路由器，在尽量减少性能下降的同时，使视觉词元数量尽可能少。仅经过 2,000 个训练步骤，VTR 就在 OSWorld、CUA-World 和电子游戏动作预测上达到了与全分辨率模型相当的性能，同时将视觉词元数量降至原来的 1/2.5 至 1/5.8。这些节省使推理成本最多降至原来的 1/3.3，并使预填充速度最高提升至原来的 2.9 倍。VTR 还优于降低图像分辨率及其他丢弃词元的基线方法，在 OSWorld 上最多领先 12.8 个百分点。总体而言，VTR 使计算机操作智能体能够仅处理所需的视觉词元，从而以远低于原来的计算成本应用于长时程任务和实时领域。代码和模型已发布于 https://pranjal2041.github.io/vtr