IMUDINO：用于惯性传感的自蒸馏基础模型

我们提出 IMUDINO，这是首个在人体活动识别（HAR）、健康、运动捕捉和里程计等多种传感任务中均取得有竞争力性能的惯性传感基础模型（FM）。以往的惯性基础模型往往专注于惯性传感的某个子领域，有时性能还不及最先进的监督学习方法（例如在 HAR 任务中），因此其适用范围远窄于视觉和自然语言领域的基础模型。此外，这些模型通常要求固定的输入长度和采样率，对未见过的传感器位置泛化能力较差。为了构建通用的惯性传感基础模型，我们通过一组保持语义不变的运动变换，将 DINO 自监督学习（SSL）范式适配到惯性数据，以模拟运动模式和传感器配置的变化。在模型架构方面，我们采用带有频率感知位置编码的标准 transformer 编码器，原生支持可变的输入长度和采样率。事实证明，这种简单的配置在学习全局特征和密集特征方面极为有效，这些特征能够跨用户、传感器配置和任务进行泛化，在机器人里程计任务中还能够跨机器人形态进行泛化。我们希望 IMUDINO 能够成为惯性传感的骨干模型，并推动通用惯性基础模型的发展。