通过结构化剪枝与自适应微调释放 PPG 基础模型对可穿戴信号的专门化能力
Unlocking the Specialization Capability of PPG Foundation Models for Wearable Signals through Structured Pruning and Adaptive Fine-Tuning
精选理由
提出剪枝与自适应微调方法,提升PPG基础模型在低质量可穿戴数据及临床任务上的表现。
AI 摘要
光电容积描记法(PPG)在可穿戴健康监测和临床决策支持中发挥着核心作用。然而,现有的通用 PPG 表征学习方法主要使用医院环境中通过血氧仪获取的大规模高质量数据集进行训练,往往难以适应稀疏、低质量的真实世界数据集,从而限制了它们在常见 PPG 数据(如可穿戴设备采集的数据)上对临床相关任务的泛化能力。令人意外的是,即使经过全量微调,PPG 基础模型也无法稳定地优于通用时间序列模型。因此,一个关键问题是如何有效地将 PPG 基础模型适配到目标预测任务。通过对多种 PPG 基础模型开展实证研究,我们发现,预训练模型通常表现出内在的稀疏性和计算冗余,这表明 PPG 基础模型已经学会针对不同预测任务激活与任务相关的网络子结构。为保留这一宝贵的先验知识,我们提出了结构化剪枝与微调框架 SPAFT。该框架根据参数重要性和结构冗余,将自适应微调过程约束在更相关、更紧凑的参数空间中,从而对其进行正则化。在四种 PPG 基础模型、五个基准数据集和十项下游任务上开展的广泛实验表明,SPAFT 在回归和分类任务上的胜率分别达到 82.8% 和 87.5%。这种先剪枝后微调的范式通常能够使 PPG 基础模型达到当前最先进的性能,为 PPG 基础模型在真实世界中的临床部署以及个性化 PPG 基础模型的开发奠定了良好基础。