arXiv cs.LG精选81

检测到偏移还不够:线性表征修复的精确极小极大界限

Detecting a Shift Is Not Enough: Exact Minimax Limits of Linear Representation Repair

· 7天前

精选理由

揭示检测与修复分离的极限,量化校准数据需求,指导表示修复方法与采样决策。

AI 摘要

arXiv:2610.08069v1 公告类型:新 摘要:两个数据源之间的均值偏移可能很容易检测,却很难在不大幅改变其表征的情况下去除。我们将其去除表述为一个统计决策问题:根据 $\mathbb{R}^d$ 中成对校准测量之间的含噪差异,学习一个线性映射,在严格的失真预算下同时应用于两个数据源,使其在新数据上残留的偏移尽可能少。我们推导出所有此类映射的精确有限样本极小极大风险,即 $(d-k) \mathbb{E}[1/(d+2J)]$,其中 $J\sim\mathrm{Pois}(\kappa/2)$;预算允许删除 $k$ 个方向,而 $\kappa$ 是校准信噪比。将均值校准差异所在的方向投影出去即可达到该风险上界,且无需知道 $\kappa$ 或噪声尺度。这揭示了一个检测—修复鸿沟:检测偏移只需 $\kappa\gg\sqrt d$,而在恒定失真下去除其中固定比例的偏移则需要 $\kappa\asymp d$,这与估计其方向的要求相同。标准线性概念擦除器(MP、SAL、LEACE)都会去除相同的校准差异,因此,该公式可以在拟合前精确给出它们在新数据上会残留多少偏移,以及目标任务需要多少校准数据。该结论具有稳健性:对于非高斯共享内容,配对仍使结论保持精确;对于各向异性噪声,投影仍保有其保证;选择性弃权也无法弥合这一鸿沟。在配对的临床和可穿戴睡眠 EEG 数据上,参与者之间的差异充当校准噪声;该公式能够预测新参与者身上残留的设备偏移,并表明每人增加更多记录很快就不再有帮助。总体而言,这些结果可以判断:一个效果不佳的校正究竟需要更好的方法、更多记录,还是更多参与者。

查看原文(arXiv cs.LG)