全部动态

本页 2 条
10月9日 周五
arXiv cs.LG81

SPERA：具有几何与频率感知潜在预测的球面先验 EEG 基础模型

arXiv:2610.10571v1 发布类型：新 摘要：脑电图（EEG）能够以非侵入方式测量持续的神经活动，但由于受试者、设备和电极布局存在异质性，构建通用 EEG 模型仍然具有挑战性。现有 EEG 基础模型主要依赖在观测信号上定义的重建目标，而观测信号同时包含神经成分和非神经成分。我们提出 SPERA（Spherical Prior EEG Representation Architecture），一种采用联合嵌入预测架构（JEPA）在潜在空间中进行预测的 EEG 基础模型。SPERA 引入了 Legendre 多项式空间先验，并将其融入注意力机制，以编码不断变化的头皮电极几何结构。此外，SPERA 还包含两个针对 EEG 进行适配的组件：与周期性全注意力模块交替使用的因式分解时间与空间注意力，以及一种关系谱正则化器，用于将潜在空间中的相似性结构与谱视图对齐。SPERA 在来自 106 个数据集、29,048 名受试者的约 80,000 小时 EEG 数据上进行预训练，在涵盖临床、认知和 BCI 应用的九项下游任务中取得了最高的平均平衡准确率。在进行线性探测时，SPERA 还展现出较高的参数效率，并且在不同记录条件下具有稳健性，表明其有潜力成为适用于多种 EEG 分析的通用骨干模型。

arXiv cs.LG77

冻结解码器，修复编码器：基于 SVD 的 KV-Cache 压缩的参数高效适配

arXiv:2610.10552v1 公告类型：新 摘要：在统一共享学习率下比较参数高效微调方案是一种常见但存在缺陷的做法：当被比较的方案具有极为不同的可训练参数量时，共享学习率可能同时压低较大方案的均值并增大其方差，从而人为制造出一种对最小方案有利的、看似在多个随机种子下都显著的优势，而这种优势并非真实效果。我们在一个具体场景中记录了这一混淆因素：基于 SVD 的事后 KV-Cache 压缩。在该场景中，已经预训练的模型通过将其键/值权重分解为下投影（“编码器”）和上投影（“解码器”），转换为低秩的、多头潜在注意力风格的缓存；随后进行一次短暂的微调（“修复”），以恢复因截断而损失的准确率。在共享学习率下，冻结解码器、仅修复编码器，看起来明显优于修复解码器或同时修复两个因子；但当为每个方案分别调优学习率后，这一表面优势便消失了，编码器独立修复反而达到了与其他方案相当的效果，同时实际节省了 3 倍的可训练参数和 3 倍的优化器状态内存。我们在一个视觉语言模型（Qwen2.5-VL-3B-Instruct）上，为每种配置使用 3 个随机种子，并通过逐方案学习率调优验证了这种等效性；实验覆盖了该协议支持的唯一压缩率。我们还在包含两个骨干网络的纯文本测试平台上复现了这一结果。因此，编码器独立修复是一种更节省内存的即插即用方案，可在训练时为模型改造低秩 KV-Cache 压缩；而我们记录并纠正的共享学习率陷阱，则提醒人们在比较任何可训练参数量不同的微调方案时都应保持谨慎。