arXiv cs.LG精选74

以少胜多:采用简单方案的大规模遥感 VLM

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe

· 11天前

精选理由

揭示遥感视觉语言模型无需复杂架构,依靠规模化多任务训练即可提升多项任务表现。

AI 摘要

arXiv:2607.15942v2 公告类型:replace-cross 摘要:遥感视觉语言模型日益被要求支持基于地球观测数据的开放式推理以及多种任务。该领域近期的大多数进展都由面向遥感的专门架构设计推动,通常会引入新的编码器、对齐模块或特定任务的融合机制。在本研究中,我们对这种架构专门化的必要性提出质疑。我们表明,只要在多样化的数据和任务上进行足够大规模的训练,一个具备通用能力的视觉语言模型就能在具有挑战性的遥感基准测试中取得有竞争力甚至达到当前最佳的性能。我们的模型采用单一语言策略,既可以直接以文本作答,也可以调用定位工具执行分割和 grounding。为训练这种异构行为,我们采用多任务强化学习框架,并使用自适应任务奖励,覆盖多项选择 VQA、开放式 VQA、图像描述、检测和分割任务,输入类型也十分多样。我们的方法在广泛的基准测试中取得了有竞争力的结果,包括高分辨率、多时相、多模态和多视角任务。此外,随着训练数据规模扩大,我们的实验显示,大多数任务的分布内和分布外性能都持续提升,而这种提升与各任务的数据多样性相关。这些发现表明,对于遥感 VLM 而言,即使没有架构创新,数据规模也足以带来良好效果。

查看原文(arXiv cs.LG)