PPG-Bench:面向 PPG 基础模型的统一基准
PPG-Bench: A Unified Benchmark for PPG Foundation Models
精选理由
提供统一基准比较 PPG 基础模型,揭示其跨任务优势有限,帮助研究者更可靠地评估模型与选择方法。
AI 摘要
arXiv:2610.13435v1 公告类型:新投稿 摘要:可穿戴设备和临床设备正以日益庞大的规模记录光电容积描记(PPG)信号,越来越多的 PPG 基础模型(FM)也相继被开发出来,用于计算可供各种下游任务复用的表征。然而,这些模型难以进行比较:不同评估采用的数据集、任务定义、预处理方法、下游预测头、超参数调优方法和基线各不相同。我们提出 PPG-Bench,这是一个统一的开源基准,在九个开放访问数据集和 26 项任务上评估五个公开的 PPG 基础模型,任务涵盖心血管状态估计、活动、睡眠、筛查和身份识别。我们在适应能力逐步增强的四种下游设置下评估模型(线性探测、随机森林、冻结模型的 MLP 探测和端到端微调),并采用针对各模型的超参数优化及受试者互不重叠的交叉验证。我们还设置了三类对照:随机/常数基线、确定性的脉率变异性(PRV)特征集,以及通用时间序列基础模型(MOMENT)。在全部 68 种任务与设置组合中,35.3% 的组合未显示基础模型相较于随机/常数基线具有实质性优势,而在 83.8% 的组合中,没有任何 PPG 专用基础模型能同时优于 PRV 和 MOMENT。我们还发现,增加下游预测头的容量通常可以提升性能,但如果模型的表现处于随机猜测或常数预测水平,则可能导致性能显著下降。因此,目前的 PPG 基础模型尚不能宣称能够提供具有泛化性和可迁移性的 PPG 信号表征,该领域未来的评估应纳入与简单、非学习型对照方法的比较检验。该基准的代码及评估更多模型的说明见:https://github.com/mannas-ai/ppg-bench。