用于多模态时间序列选择性测试时自适应的源数据学习依赖度

arXiv:2610.07499v1 公告类型：new 摘要：当传感器数据流变得嘈杂或不可用时，多模态可穿戴系统必须保持可靠。现有的多模态测试时自适应（TTA）方法通常会在线评估可靠性，但当传感器测量的是不同的物理过程时，跨模态一致性可能具有误导性，而评估备选模态配置又会增加推理成本。我们提出 CARAT，将模型依赖度与运行时损坏检测解耦，以指导模态省略或衰减，并通过源训练摊销依赖度估计。一种非对称模态丢弃课程为模态省略训练出能够抵御缺失的骨干网络，并根据窗口化输入投影的梯度范数，为该骨干网络生成一个冻结且专属的依赖度代理指标。在部署时，一个轻量级单类检测器标记可疑数据流，而该代理指标则在无需评估候选子集的情况下，指导联合选择：用骨干网络训练的缺失符号替换可疑数据流集合，或在融合前衰减其表示。在四个可穿戴设备数据集、五种损坏类型、三个骨干网络和八种 TTA 基线上的实验表明，CARAT 实现了最高的总体宏平均 F1 和最佳平均排名（2.42），在 12 个等权重的数据集-骨干网络设置中，F1 比最强基线 EATA 高出 1.58 个百分点。在五种经过性能分析的配置中，CARAT 比 EATA 少使用 9.49% 的 GFLOPs，并少更新 47.82% 的参数。不同感知模式之间还呈现出一种规律：PTA 等多模态 TTA 方法在以 IMU 为主的同质数据集上具有竞争力，而 TENT 和 EATA 等单模态 TTA 方法在异质数据集上的表现可与其持平或超过其表现。这些结果表明，CARAT 可作为可穿戴设备 TTA 的实用默认方案，以适度的计算需求提供具有竞争力的鲁棒性，同时其收益会因骨干网络和数据集模式的不同而变化。