两条通往中部的路径：位置搜索与脑读出在持续学习器应专门化的位置上达成一致

arXiv:2610.01590v1 公告类型：new 摘要：在预训练视觉Transformer的每个块中都保留任务特定适配器的持续学习器，会使存储开销随任务数量线性增长；只在少数几个块中保留任务特定适配器可以抑制这种增长，但也引出了适配器应放置在哪里的问题。我们从两个角度研究这一问题。在算法层面，对所有连续的四块位置进行训练会得到一条倒U形曲线：最终准确率在中等深度处达到峰值，不同位置之间最多相差3.5个百分点（pp）；而基于权重谱或激活统计量的低成本判据则倾向于选择最深层的块。在神经科学层面，视觉皮层的层级组织结构和中间阶段的可塑性促使我们思考：是否可以通过在学习器之外进行测量，在无需搜索位置的情况下指导层专门化。LS-B通过一个冻结的、针对十二个人类视觉区域的fMRI编码模型观察最初的任务，并一次性将任务特定容量分配给那些相对于稳定结构而言跨任务读出变化最大的块。在三个ViT-B/16骨干网络上，LS-B都产生了稳定且因骨干网络而异的分配结果。在进行位置搜索的两个骨干网络AugReg和iBOT上，所选块与搜索确定的中等深度区域相重叠。在存储和观测预算相匹配的条件下，所选块的表现优于最浅和最深的四块配置。在Split ImageNet-R上，LS-B仅使用完整BiLoRA适配器存储量的60%，同时最终准确率仍保持在相差1.5个百分点以内。该分配过程无需标签或反向传播，运行时间开销低于0.6%，并呈现出因骨干网络而异的皮层特征。