arXiv cs.AI精选73

TAP-Path:用于高效且可信的病理基础模型的任务自适应结构与 token 剪枝

TAP-Path: Task-Adaptive Structural and Token Pruning for Efficient and Trustworthy Pathology Foundation Models

· 40天前

精选理由

揭示病理基础模型如何在降算力下兼顾精度与可靠性

AI 摘要

病理基础模型提升了组织病理学中的可迁移表征学习,但近期的性能提升往往依赖于具有数亿参数且推理成本高昂的编码器。我们提出 TAP-Path,这是一种任务自适应压缩框架,它直接重构预训练的 Virchow2 编码器,而不是将其蒸馏为单独的学生模型。TAP-Path 结合了基于验证集的 transformer-block 选择、冗余 block 的物理移除、输入自适应的 patch-token 剪枝、多层深度特征恢复以及轻量门控任务头。最终模型在剪枝后保留了 32 个 transformer blocks 中的 24 个和 70% 的 patch tokens,将编码器参数减少了 24.96%(631.24M 降至 473.70M),并将编码器的分析计算量降低了 35.20%(340.13G 降至 220.40G FLOPs)。在三个任务头优化随机种子下,TAP-Path 在一个 32 类组织病理学基准上取得了 $87.98 \pm 0.067%$ 的测试准确率、$81.26 \pm 0.49%$ 的平衡准确率和 $82.38 \pm 0.48%$ 的宏平均 F1,相比之下,完整 Virchow2 为 86.89%,UNI2-h 为 87.67%。TAP-Path 取得了 $0.1800 \pm 0.0005$ 的 Brier 分数和 $0.9047 \pm 0.0060$ 的失效检测 AUROC。仅基于验证集的 rare-aware 目标在二级运行分析中提升了稀有类别的平衡准确率。对 433 个 CPTAC 样本进行冻结式外部评估得到 $91.22 \pm 0.83%$ 的准确率和 $91.10 \pm 0.81%$ 的平衡准确率。这些结果表明,任务自适应的结构与 token 稀疏化能够在内部和外部评估中保持可靠性的同时,改善大型病理基础模型的准确率-效率权衡。

查看原文(arXiv cs.AI)