MyoMechanix：面向生物力学基础的组合式技能活动理解与指导

现有的动作质量评估（AQA）数据集和方法主要依赖 RGB 和姿态等视觉输入，忽视肌肉力学等生理动态，且常将动作建模为单一整体模式。这些局限阻碍了细粒度、基于生物力学的反馈。我们提出 MyoMechanix，这是一个面向负重动作的多模态生态系统，将运动与肌肉活动对齐。该数据集由专家标注，包含来自 38 名受试者的 20 个动作、7500 多个样本，具备同步的多视角 RGB 视频、3D 姿态、sEMG 及其他生理信号，构成迄今最大的多模态 AQA 基准。我们进一步构建了 Fitness Knowledge Graph（FKG），将专家标注组织为动作、阶段、关键步骤、错误和纠正反馈之间的结构化关系，从而支持组合式评分和可解释评估。基于这些表示，我们开发了 CUBIST（Compositional Ontological Reasoning Engine），通过分解-分析-重组实现细粒度错误归因和反馈生成。我们还建立了 MyoMechanix-AQA、MyoMechanix-VideoQA，以及一种新的 MyoMechanix-Video2EMG 任务。实验表明，多模态感知和结构化表示能够提升性能、可解释性和错误归因，其中 CUBIST 取得了最先进结果；VideoQA 增强了语言驱动的动作理解；Video2EMG 则表明，可用基于视频的替代方案来取代代价高昂的 EMG 传感。MyoMechanix 将技能活动理解推进到面向 Physical AI 应用的生物力学基础、多模态和组合式推理层面，服务于健身、康复、医疗保健和机器学习。Project page: https://haoyin116.github.io/MyoMechanix/