RIPE++：仅从正样本对中进行强化关键点学习

arXiv:2608.19693v2 公告类型：replace-cross 摘要：稀疏关键点提取与匹配是几何计算机视觉中核心任务的基础，包括运动恢复结构、视觉 SLAM、增强现实和医学图像配准。然而，学习鲁棒的局部特征表示通常需要精确的相机位姿或深度监督，而这些信息在现实场景中往往难以获取。强化学习（RL）最近成为一种颇具潜力的替代方案，它仅需知道两幅图像是否呈现同一场景。然而，RIPE 等现有 RL 方法依赖粗粒度的二元奖励和精心构造的负训练样本对，限制了训练稳定性和描述子的判别能力。本文重新审视基于 RL 的关键点学习，并提出一种充分利用几何一致性信号的奖励机制，从单个正样本对中同时获得奖励与惩罚，无需与负样本进行对比。这种更丰富的信号提供了充分的监督对比信息，使模型能够仅从正图像对中学习具有判别能力的检测器和描述子，从而在监督极其有限的条件下实现表示学习。此外，我们通过改造 LightGlue，证明同一 RL 目标也可扩展至匹配阶段，将 MegaDepth1500 上的 AUC@5 从 56.58 提升至 59.65，并支持利用具有部分视觉重叠的图像对，对整个稀疏匹配流程进行弱监督训练。我们在公认的基准上验证了该方法，结果表明其性能可与全监督方法相媲美。我们进一步表明，该方法甚至可以在低纹理医学视频序列上训练，而这类序列通常缺乏相机位姿信息，标准 SfM 流程也往往失效。代码和数据可在 https://github.com/fraunhoferhhi/RIPEpp 获取。