arXiv cs.AI精选77

帧到全景图定位与上下文感知采样:用于 Smart Marina 测试平台中的场景特定船舶检测

Frame-to-Panorama Localization and Context-Aware Sampling for Scene-Specific Ship Detection in a Smart Marina Testbed

· 19天前

精选理由

用空间与环境感知采样,将海量码头视频压缩为高效标注集,降低成本并提升船舶检测效果

AI 摘要

智慧海事基础设施能够持续接入异构传感数据流,为重复实验、数字孪生开发和基于人工智能的海事服务提供支持。然而,仅有传感硬件并不足以开展场景特定的模型开发:还必须对历史视频流进行空间索引和上下文标注,并将其缩减为具有信息价值的子集以供标注。本文提出了一套帧到全景图定位与上下文感知采样流程,用于在缺少可靠水平转动、俯仰和变焦元数据的历史 PTZ 海事视频中进行船舶检测。本文的主要贡献是一种端到端的数据整理方法,从历史 PTZ 视频中恢复摄像机视角信息,并将其与环境上下文和视觉多样性相结合,以构建紧凑的场景特定训练集。具体而言,首先利用 SuperPoint 和 LightGlue 将视频帧定位到参考全景图上,然后补充天气和太阳状态元数据,并通过多样性采样保留摄像机视角和环境条件的变化。第二个上下文感知阶段利用图块级视觉嵌入和 Gaussian Mixture Model 聚类,针对地平线附近代表性不足的远距离船舶案例进行采样。在 CMMI MDigi-I Smart Marina 测试平台中应用该流程后,候选帧数量从 40,718 帧减少至 220 张待标注图像,缩减率达到 99.5%。在该子集上微调的 YOLO26-m 检测器,在按序列分组的五折交叉验证中取得了 94.78% $\pm$ 0.51% 的平均 AP50 和 75.10% $\pm$ 1.73% 的平均 AP50-95。这些结果表明,高度冗余的基础设施视频流能够被转化为紧凑、在空间和上下文上具有多样性的训练集,用于场景特定的检测器适配,同时显著减少标注工作量。

查看原文(arXiv cs.AI)