arXiv cs.AI精选79

VisionSIM:超越理想化传感器——面向机器人感知的多模态仿真器

VisionSIM: Beyond Idealized Sensors - A Multi-Modal Simulator for Robot Perception

· 12小时前

精选理由

提供逼真的多模态传感器仿真与数据,帮助研究者复现感知失效、比较传感器并提升机器人部署可靠性。

AI 摘要

机器人感知日益依赖异构传感器组合,将摄像头与新兴感知模态(事件、SPAD、iToF/dToF 和热成像)相结合。然而,现有仿真器对这些传感器进行了理想化处理,掩盖了各模态特有的关键失效模式,从而限制了其在真实世界中的部署。我们提出 VisionSIM,这是一个以物理机制为基础的统一仿真平台,通过对多种传统及新兴模态的原始物理测量过程进行建模,将传感器的真实度提升为首要考量。我们提供对传感器物理参数的细粒度控制,复现了通用仿真器所忽略的失效模式:LiDAR 的信号堆积与眩光;iToF 的相位缠绕、饱和与运动伪影;事件相机因不应期导致的事件丢失;以及热成像相机中依赖历史状态的热辐射。这使得在相同场景和轨迹下进行严谨的跨模态比较成为可能。我们发布了该平台,以及一个包含同步原始测量数据和丰富真值标注的大规模室内数据集。

查看原文(arXiv cs.AI)