EgoHand：基于第一视角视频的单目三维手部重建

arXiv:2610.30293v1 公告类型：交叉发布 摘要：我们提出 EgoHand，这是一种单目三维手部重建模型，在第一视角视频上达到了当前最先进的性能。我们方法的核心是精心构建了一个包含 1400 万张图像的高质量训练语料库，结合合成数据、自然场景视频和多相机运动捕捉数据，以平衡场景多样性与监督质量。该模型采用 SOMA-Hand 作为参数化表示，使用 Transformer 编码器处理裁剪后的二维手部图像，并引入相机线索和辅助二维分支，以提升几何一致性和图像对齐效果。在 HOT3D、ARCTIC 和 H2O 上的零样本评估表明，该模型具有强大的域外泛化能力，在推理延迟约为 9.69 毫秒的情况下，其关节位置、根节点平移和加速度误差均低于其他基线方法。一项盲测用户偏好研究进一步表明，与 Apple EgoDex 和 Ropedia Xperience-10M 的重建结果相比，参与者更偏好 EgoHand 重建的手部姿态。我们依据 OpenMDW 许可证发布 EgoHand 模型及源代码，允许免费将该模型用于商业用途。