arXiv:2605.12174v2 发布类型：替换 摘要：在大规模学习中，针对随机小批次求解最优传输（OT）是精确 OT 的常见替代方案。在流匹配（FM）中，这种替代方案用于获得类似 OT 的耦合，从而使概率路径变直并降低数值积分成本。然而，重复执行小批次 OT 所诱导的总体层面耦合仍未得到充分理解。我们将这一耦合形式化为期望批次 OT 传输计划 $\overline{\pi}_{k}$，其通过对独立的、大小为 $k$ 的小批次上的经验 OT 传输计划取平均得到。随后，我们证明了其在大批次下的一致性，并在与生成建模相关的半离散情形中，推导出传输成本偏差以及 $\overline{\pi}_{k}$ 收敛至 OT 传输计划的速率。对于 FM，这得到了一种总体耦合，其诱导的速度场具有足够的正则性，能够定义从源分布到离散目标分布的唯一流。最后，我们在一个易于处理的双原子模型以及合成数据和图像实验中，量化了 OT 批次大小与数值积分之间的相互作用。
arXiv:2605.10414v2 公告类型：替换 摘要：旋转位置编码（RoPE）广泛应用于现代大型语言模型。然而，当序列长度超出训练期间见过的范围时，旋转相位可能进入分布外区域，从而导致虚假的远程对齐、注意力分散以及检索性能下降。现有的解决方案只能部分缓解这些问题，因为它们通常需要以牺牲局部位置分辨率为代价来换取长上下文稳定性。我们提出 GAPE（门控自适应位置编码），这是一种可直接替换使用的位置编码增强方法，在保留旋转几何结构的同时，将内容感知偏置直接引入注意力 logits。GAPE 通过一个依赖查询的门控机制压缩无关上下文，并通过一个依赖键的门控机制保留重要的远距离 token，从而将基于距离的抑制与 token 重要性解耦。我们证明，受到较弱保护的远距离上下文会随着查询门控值的变化呈指数衰减，而被选中的键则可通过地标保护继续保持可访问性。我们进一步证明，GAPE 可以在标准缩放点积注意力中实现。在受控检索和语言建模实验中，GAPE 在长上下文场景下表现出更强的鲁棒性，并可外推至训练长度的 8 倍。我们还将 GAPE 改造并应用于一个预训练的 7B 模型，在标准基准测试中保持了原有性能，并在评估的最长上下文长度下取得了更好的表现。这些结果表明，自适应上下文抑制可以作为位置表示的补充，促进长上下文泛化。
arXiv:2605.08036v2 公告类型：替换 摘要：我们提出了 CUTS-GPR，这是一种用于在高维环境中执行数值精确 GPR 的新方法。CUTS-GPR 的核心组件是一种极其快速的核矩阵-向量乘法，其计算规模随训练数据量 $N$ 近似线性甚至呈线性增长，并且随维度 $D$ 呈低阶多项式增长。这是通过将加性核与不完整网格相结合，并利用由此产生的核矩阵结构实现的。我们通过包含数十亿个数据点和数千个维度的基准测试，验证了矩阵-向量乘法的可扩展性。我们进一步在合成数据集上运行完整的 GPR 计算（包括超参数优化），其中最大规模达到 $N = 4\,494\,001$ 和 $D = 500$，展示了 CUTS-GPR 端到端的可扩展性。作为一项现实且具有挑战性的测试，我们最终将 CUTS-GPR 应用于一组包含十个势能面（PESs）的数据集，其规模为 $N = 447\,265$ 和 $D = 24$。这些计算在数小时内完成，表明 CUTS-GPR 能够实现高维 PESs 的贝叶斯建模——这是计算化学领域长期以来的一项挑战。
arXiv:2605.07808v2 公告类型：替换 摘要：二阶校准误差刻画了高阶预测器的认识不确定性估计与其水平集上标签概率的条件方差之间的匹配程度。我们刻画了在对分类器输出施加小扰动的情形下，二分类中二阶校准误差估计的极小极大速率。我们的方法十分简单：向分数坐标添加相互独立、带宽为 $h$ 的 sech 噪声，然后使用低阶多项式，根据扰动后的分数对 $Y^{(1)}$ 和 $Y^{(1)}Y^{(2)}$ 进行回归。关键在于，sech 扰动使校准函数在适当的带状区域内解析。所得估计器的误差为 $O_h(\log^{3/2}n/\sqrt n)$，且具有显式常数。在相同设置下，一个匹配的 $\Omega(1/\sqrt{n})$ 下界表明，该方法除对数因子外达到了极小极大最优性。作为推论，我们给出了扰动二阶 Platt scaling 的有限样本保证，从而得到一种事后处理方法，可同时重新校准扰动高阶预测器的均值预测和认识方差估计。与此同时，我们给出了二阶校准误差的显式双矩公式，并定量地将其与 Ahdritz et al. [2025] 的分桶公式联系起来。实验结果验证了所预测的速率以及重新校准后不确定性的质量。
arXiv:2605.06152v4 公告类型：替换 摘要：深度神经网络在未经正则化的长期训练过程中会出现周期性的损失尖峰，这一现象被称为“Slingshot Mechanism”。现有研究通常将其归因于内在的优化动力学，但其触发机制仍不明确。本文证明，该现象源于浮点运算的精度限制。当训练进入高置信度阶段时，正确类别与其他类别之间的 logit 差异可能超过吸收误差阈值。此时在反向传播过程中，正确类别的梯度会被精确舍入为零，而错误类别的梯度仍保持非零状态。这破坏了跨类别梯度的零和约束，并在分类器层的参数更新中引入系统性漂移。我们证明，这种漂移会与特征形成正反馈回路，导致全局分类器均值和全局特征均值呈指数增长。我们将这一机制称为数值特征膨胀（Numerical Feature Inflation，NFI）。该机制解释了 Slingshot 尖峰出现前范数的快速增长、梯度随后重新出现的现象，以及由此产生的损失尖峰。我们进一步表明，NFI 并不等同于观测到的损失尖峰：在更实际的任务中，部分吸收可能不会产生可见的尖峰，但仍可能破坏零和约束，并推动参数范数快速增长。我们的结果将 Slingshot 重新解释为有限精度训练中的一种数值动力学，并为训练后期异常的参数增长和 logit 发散提供了可检验的解释。
arXiv:2605.00206v2 公告类型：替换 摘要：当前的 Transformer 会丢弃位置之间丰富的潜在残差流，在每个新位置重新构建潜在推理上下文，从而未能充分利用潜在的推理能力。State Stream Transformer (SST) V2 通过在每个解码器层中采用由 FFN 驱动的非线性递归，实现了连续潜在空间中的参数高效推理；其中，潜在状态通过学习得到的混合机制，沿整个序列横向传递。该机制还支持在推理时针对每个位置进行连续的潜在思考，在确定输出某个 token 之前投入额外的 FLOPs 来探索抽象推理过程。一个两遍式并行训练过程对顺序递归进行近似，使联合训练在计算上切实可行。隐藏状态分析表明，状态流通过连续潜在空间中尖锐且依赖内容的重组来促进推理；LM head 通过输出分布显现由此产生的潜在信念状态，而状态流则将这些状态向前传递，以影响后续位置。一个经过训练的探针显示，在第一个生成 token 时，潜在状态就已经能够预测：对于后续每个位置，在进行额外潜在计算后，最终答案是否会保持正确或出错。研究者仅使用少量 GSM8K 样例数据，将该模型联合训练到一个现有的 27B 骨干模型中，并使用 oracle 将每个问题路由到每个 token 一至四次递归前向传递的深度。在分布外 GPQA-Diamond 评测中，SST 达到了 61.11% 的架构容量上限，比与其微调设置匹配的基线高出 15.15 个百分点，并使该基线在 GSM8K 上剩余的错误减少了 46%。总体而言，这些结果提供了一种高效训练非线性递归的方法，并表明，与训练设置相同的其他 Transformer 相比，状态流能够提供额外的推理能力。
arXiv:2604.24201v2 公告类型：替换 摘要：动机：多组学整合可以提升癌症亚型分类性能，但不同癌症类型和患者之间的模态信息量与噪声水平存在差异。大多数针对多组学数据的图方法都在下游分类目标中学习模态贡献，却将每位患者的预测可靠性隐式化。因此，信息量不足的模态可能削弱融合表示，而不可靠的组学数据则可能在图传播过程中引入带噪声的患者关系。为解决这两个问题，我们提出了 CMGL，该方法在融合前生成独立的可靠性估计，并利用共识患者邻域进行图分类。结果：CMGL 通过证据深度学习估计每位患者的模态置信度，在多组学融合过程中固定这些置信度值，并在独立指定的一致性图上执行分类。在四项 MLOmics 癌症亚型任务和 32 类泛癌任务中，CMGL 均稳定优于最强基线；在四项单癌种任务中，其平均准确率领先基线 4.03%。其学习到的表示能够恢复乳腺浸润性癌（BRCA）的 PAM50 内在亚型；此外，在 BRCA 上训练的模型无需微调即可迁移至肾透明细胞癌（KIRC），并将患者分层为预后存在显著差异的群体。
arXiv:2604.13966v2 Announce Type: replace Abstract: We study value adaptation in offline-to-online reinforcement learning under general function approximation. Starting from an imperfect offline pretrained $Q$-function, the learner aims to adapt it to the target environment using only a limited amount of online interaction. We first characterize the difficulty of this setting by establishing a minimax lower bound, showing that even when the pretrained $Q$-function is close to optimal $Q^\star$, online adaptation can be no more efficient than pure online RL on certain hard instances. On the positive side, under a novel structural condition on the offline-pretrained value functions, we propose O2O-LSVI, an adaptation algorithm with problem-dependent sample complexity that provably improves over pure online RL. Finally, we complement our theory with neural-network experiments that demonstrate the practical effectiveness of the proposed method.
arXiv:2604.10166v2 Announce Type: replace Abstract: Intelligent operation of thermal energy networks aims to improve energy efficiency, reliability, and operational flexibility through data-driven control, predictive optimization, and early fault detection. Achieving these goals relies on sufficient observability, requiring continuous and well-distributed monitoring of thermal and hydraulic states. However, district heating systems are typically sparsely instrumented and frequently affected by sensor faults, limiting monitoring. Virtual sensing offers a cost-effective means to enhance observability, yet its development and validation remain limited in practice. Existing data-driven methods generally assume dense synchronized data, while analytical models rely on simplified hydraulic and thermal assumptions that may not adequately capture the behavior of heterogeneous network topologies. Consequently, modeling the coupled nonlinear dependencies between pressure, flow, and temperature under realistic operating conditions remains challenging. In addition, the lack of publicly available benchmark datasets hinders systematic comparison of virtual sensing approaches. To address these challenges, we propose a heterogeneous spatial-temporal graph neural network (HSTGNN) for constructing virtual smart heat meters. The model incorporates the functional relationships inherent in district heating networks and employs dedicated branches to learn graph structures and temporal dynamics for flow, temperature, and pressure measurements, thereby enabling the joint modeling of cross-variable and spatial correlations. To support further research, we introduce a controlled laboratory dataset collected at the Aalborg Smart Water Infrastructure Laboratory, providing synchronized high-resolution measurements representative of real operating conditions. Extensive experiments demonstrate that the proposed approach significantly outperforms existing baselines.
arXiv:2604.04611v3 Announce Type: replace Abstract: Federated learning (FL) enables multiple clients to collaboratively train a global model by aggregating local updates without sharing private data. In this work, we focus on cross-silo FL, where each client typically represents an independent organization. However, cross-silo FL can face the challenge of free-riders, clients who submit fake model parameters without performing actual training to obtain the global model without contributing. Chen et al. proposed a free-rider detection method based on the weight evolving frequency (WEF) of model parameters. This detection approach is practical because it requires neither a proxy dataset nor pre-training. Nevertheless, it struggles to detect ``dynamic'' free-riders who behave honestly in early rounds and later switch to free-riding, particularly under global-model-mimicking attacks such as the delta weight attack and our newly proposed adaptive WEF-camouflage attack. In this paper, we propose a novel detection method S2-WEF that simulates the WEF patterns of potential global-model-mimicking attacks on the server side using previously broadcast global models, and identifies clients whose submitted WEF patterns resemble the simulated ones. To handle a variety of free-rider attack strategies, S2-WEF further combines this simulation-based similarity score with a deviation score computed from mutual comparisons among submitted WEFs, and separates benign and free-rider clients by two-dimensional clustering and per-score classification. This method enables dynamic detection of clients that transition into free-riders during training without proxy datasets or pre-training. We conduct extensive experiments across four datasets and five attack types, demonstrating that S2-WEF provides robust dynamic free-rider detection across diverse settings.
arXiv:2604.00050v3 公告类型：替换 摘要：联邦学习（FL）已成为一种颇具前景的技术，可用于在分布式且私有的多任务数据集上训练语言模型。然而，对在异构任务上训练的模型进行聚合，往往会降低各个客户端的整体性能。为了解决这一问题，个性化联邦学习（pFL）旨在创建适应每个客户端数据分布的模型。尽管这些方法能够提升本地性能，但通常在两个方面缺乏鲁棒性：（i）泛化能力：当客户端必须对未见过的任务进行预测，或其数据分布发生变化时；（ii）客户端内任务干扰：当单个客户端的数据包含多个分布，并且这些分布可能在本地训练过程中相互干扰时。为应对这两个挑战，我们提出了 FedRouter，这是一种基于聚类的 pFL 方法，针对每个任务而非每个客户端构建专用模型。FedRouter 使用适配器，并通过两种聚类机制将适配器与特定任务关联起来，从而实现模型个性化。第一种是本地聚类，将适配器与任务数据样本相关联；第二种是全局聚类，将来自不同客户端的相似适配器相关联，以构建以任务为中心的个性化模型。此外，我们提出了一种评估路由器机制，根据所构建的聚类将测试样本路由至最佳适配器。在多任务数据集上将我们的方法与现有方法进行比较的实验表明，FedRouter 在这些具有挑战性的场景中表现出很强的韧性：在任务干扰条件下相对性能最高提升 6.1%，在泛化评估中相对提升最高达 136%。
arXiv:2603.28744v2 公告类型：替换 摘要：线性表征假说认为，神经网络激活将高级概念编码为线性混合。然而，在叠加表征下，这种编码是将高维概念空间投影到低维激活空间的过程，概念空间中的线性决策边界在投影后不一定仍保持线性。在这种情况下，采用逐样本迭代推断的经典稀疏编码方法可以利用压缩感知保证来恢复潜在因子。另一方面，稀疏自编码器（SAE）将稀疏推断摊销到一个固定编码器中，从而引入系统性差距。我们表明，这种摊销差距在不同训练集规模、潜在维度和稀疏度水平下持续存在，导致 SAE 在分布外（OOD）组合偏移下失效。通过分解这一失败过程的受控实验，我们确定字典学习才是限制因素，而非推断过程：SAE 学到的字典指向了显著错误的方向，即使在同一字典上用逐样本 FISTA 替代编码器，也无法弥合这一差距。一个神谕基线证明，在所有测试尺度上，只要拥有良好的字典，该问题都是可解的。我们的结果（包括使用真实 LLM 激活的实验，如 Pythia-70M 和 Gemma-2-2B）重新界定了 SAE 失败的性质：这不是推断问题，而是字典学习挑战；同时也表明，可扩展的字典学习是在叠加表征下实现稀疏推断的关键开放问题。
arXiv:2603.26024v4 Announce Type: replace Abstract: Identification of causal directionality in bivariate numerical data is a fundamental research problem with important practical implications. This paper presents two alternative methods to identify direction of causation by considering conditional distributions: (1) Anticipated Asymmetric Geometries (AAG) and (2) Monotonicity Index (MI). The AAG method compares the actual conditional distributions to anticipated ones along two variables. Different comparison metrics, such as Pearson correlation, cosine distance, Hellinger distance, Jaccard index, Jeffreys divergence, K-L divergence, K-S distance, MAE, MSE, mutual information, and Wasserstein distance have been evaluated. Anticipated distributions have been projected as normal based on dual response statistics: mean and standard deviation. The MI method compares the calculated monotonicity indexes of the gradients of conditional distributions along two axes and exhibits count of gradient sign changes. Both methods assume stochastic properties of the bivariate data and exploit anticipated unimodality of conditional distributions of the effect. The proposed methods are straightforward and include only a limited number of hyperparameters that affect the accuracy of the identification. For a given set of hyperparameters, both the AAG and MI methods provide a unique, deterministic solution. To address sensitivity to hyperparameters, tuning has been done by utilizing a full factorial Design of Experiment. It turns out that the AAG method outperforms MI, achieving top weighted accuracies of 82.7% with simple tuning and 84.4% with size-adaptive tuning, compared with 81.6% for GRCI or 82.0% for CAREFL-H on the 99 pairs of the Tubingen real-world cause-effect examples. To evaluate the decisiveness of the identification method, a decision tree was fitted on the input data's symmetrical bivariate statistics to detect misclassified cases.
arXiv:2603.13419v3 公告类型：替换 摘要：扩散模型在实践中具有良好的泛化能力。矛盾的是，一个最优的扩散模型会完全记忆训练数据，因此无法实现泛化，这引出了一个问题：实际的扩散模型是如何产生泛化能力的？我们表明，扩散模型会逐步过拟合去噪训练目标，从而在中间噪声水平下造成验证性能与训练性能之间的泛化差距。在一个具有受控去噪误差、完全可解析的二维玩具模型中，我们将这一差距追溯到模型误差与数据分布支撑集密度之间的相互作用。最优去噪流场会高度局部化于各个训练点附近，而模型误差会抑制对训练点的精确回忆，从而产生平滑且具有泛化能力的流场。最后，我们考察了训练期间的过拟合如何沿推理轨迹显现。我们发现，从轨迹中间状态得到的预测，与从加噪训练图像和验证图像得到的预测，处于特征空间中截然不同的区域。随着训练推进和模型规模增大，这些预测对训练数据表现出更强的相对亲和性，尽管它们与验证数据的绝对相似度并未降低。综上，这些发现表明，去噪目标和推理轨迹以不同方式体现了结构化记忆。
arXiv:2603.13228v3 公告类型：替换 摘要：近年来，文本条件人体动作生成领域的进展主要得益于在大规模人体动作数据上训练的扩散模型。在此基础上，近期方法尝试将此类模型迁移到角色动画和真实机器人控制中，通过应用全身控制器（Whole-Body Controller，WBC）将扩散模型生成的动作转换为可执行轨迹。尽管经过 WBC 处理的轨迹符合物理规律，但其可能与原始动作产生显著偏差。为解决这一问题，我们提出了 PhysMoDPO，一种直接偏好优化框架。不同于依赖脚部滑动惩罚等手工设计的物理感知启发式方法，我们将 WBC 集成到训练流程中，并优化扩散模型，使 WBC 的输出同时符合物理规律和原始文本指令。为了训练 PhysMoDPO，我们采用基于物理和任务特定的奖励，并利用这些奖励对合成轨迹进行偏好排序。在文本到动作和空间控制任务上的大量实验表明，在模拟机器人上，PhysMoDPO 在物理真实性和任务相关指标方面均取得了稳定提升。此外，我们还证明，在仿真中的零样本动作迁移以及部署到真实世界的 G1 人形机器人上时，PhysMoDPO 都能带来显著改进。
arXiv:2603.11331v4 公告类型：替换 摘要：对抗性攻击能够可靠地诱导经过安全对齐的大型语言模型产生不安全行为。通过实证研究，我们发现，对抗性提示注入攻击可以将未进行注入时观察到的缓慢多项式增长的攻击成功率，放大为随推理时采样数量呈指数增长的攻击成功率。我们首先针对安全生成在不同上下文中的分布提出一组最小假设，并据此给出能够产生这两种缩放定律的最小统计机制。为进一步解释这一现象，我们提出了一种代理语言的理论生成模型：将其描述为处于复制对称性破缺状态的自旋玻璃系统，其中生成结果从相应的 Gibbs 测度中抽取，并将一部分低能量、具有大小偏置的簇指定为不安全簇。我们从解析上展示了该模型如何自然地实现这些最小假设。较短的注入提示对应于指向不安全簇中心的弱磁场，并使攻击成功率随推理时采样数量呈幂律增长；而较长的注入提示，即强磁场，则会产生指数增长。我们在范围广泛的大型语言模型中观察到了定性一致的行为，其参数规模涵盖 3B 至 70B。特别是，在多种攻击方法（如 GCG 和 AutoDAN）以及 AdvBench 和 HarmBench 等基准数据集之间，主要趋势仍然保持稳定。
arXiv:2603.07980v2 公告类型：替换 摘要：随着语言模型（LM）从聊天助手发展为能够进行长程、多步骤推理并使用工具的智能体，现有基准测试仍大多局限于结构化或考试式任务，难以满足现实世界中的专业需求。为此，我们推出 \$OneMillion-Bench（\$OMB），这是一个包含400项由专家策划的任务的基准测试，涵盖法律、金融、工业、医疗保健和自然科学领域，旨在评估智能体在具有经济重大影响的场景中的表现。不同于以往研究，该基准要求智能体检索权威来源、解决相互冲突的证据、应用领域特定规则并作出受约束的决策；在这些任务中，正确性不仅取决于最终答案，也取决于推理过程。我们采用基于评分标准的评估协议，从事实准确性、逻辑连贯性、实践可行性和专业合规性等方面进行评分，并聚焦专家级问题，以确保能够对不同智能体进行有意义的区分。总体而言，\$OMB 提供了一个统一的测试平台，用于评估智能体在高度依赖专业领域的场景中的智能体可靠性、专业深度，以及其实践就绪程度的指标。
arXiv:2603.07233v2 Announce Type: replace Abstract: Predicting transcriptional responses to genetic perturbations is fundamental to functional genomics and therapeutic discovery. Recent deep learning models have shown promise in single-cell perturbation response prediction, but they typically generate each response in isolation, without explicitly leveraging related perturbations. We introduce PT-RAG (Perturbation-aware Two-stage Retrieval-Augmented Generation), a plug-in retrieval-and-conditioning module for generative cellular perturbation response. PT-RAG augments an existing perturbation-response backbone with learned access to related perturbation contexts. The key challenge is that relevance is not fixed in this setting: functionally related genes may elicit different effects across cell types. PT-RAG addresses this with a two-stage retrieval mechanism: GenePT-based semantic retrieval first identifies K candidate perturbations, after which a differentiable Gumbel-Softmax selector adaptively selects retrieved contexts conditioned on the control cell state, the query perturbation, and each candidate perturbation. We evaluate PT-RAG on two backbones, a STATE-style generator used as a frozen random reservoir and a fully trained scGPT, across cross-cell-type and cross-perturbation generalization tasks. PT-RAG consistently improves distributional similarity and often overall predictive quality; for example, on scGPT cross-cell-type results, the 2-Wasserstein distance drops by 5.9% relative to scGPT alone. The code to reproduce our experiments is available at https://github.com/difra100/PT-RAG_NIPS.
arXiv:2603.01376v2 公告类型：替换 摘要：大型语言模型（LLM）的稀疏加低秩（$\mathbf{S} + \mathbf{LR}$）分解已成为模型压缩领域一个颇具前景的方向，旨在将预训练模型权重分解为稀疏矩阵与低秩矩阵之和（$\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$）。尽管近期取得了进展，现有方法相比稠密模型通常会出现显著的性能下降。在本文中，我们提出了 3BASiL-TM，这是一种高效的单次训练后处理方法，用于对 LLM 进行（$\mathbf{S} + \mathbf{LR}$）分解，旨在弥合这一差距。我们首先提出了一种新颖的三块交替方向乘子法（ADMM），称为 3BASiL，在具备收敛保证的情况下最小化逐层重构误差。随后，我们设计了一个高效的 Transformer 匹配（TM）细化步骤，在 Transformer 层之间联合优化稀疏与低秩组件。该步骤最小化一种新颖的内存高效损失，使输出在 Transformer 层面实现对齐。值得注意的是，TM 过程具有通用性，因为它能够增强任何（$\mathbf{S} + \mathbf{LR}$）分解，包括纯稀疏分解。数值实验表明，在（2:4 Sparse + 64 LR）配置下，与已有方法相比，3BASiL-TM 将相对于稠密 LLaMA-8B 模型的 WikiText2 困惑度差距缩小了 30% 以上。此外，与当前最先进的（$\mathbf{S} + \mathbf{LR}$）方法相比，我们的方法在 A100 GPU 上实现了超过 2.5 倍的压缩运行速度提升。我们的代码可在 https://github.com/mazumder-lab/3BASiL 获取。
arXiv:2602.13004v3 公告类型：替换 摘要：格兰杰因果关系用于识别多变量时间序列中的预测依赖关系。在各方无法共享数据的分布式环境中，联邦因果学习支持联合分析。大多数联邦因果方法假设客户端观测到相同的特征，并将因果关系推断为点估计，而很少进行形式化的不确定性量化。在许多工业系统中，这些假设并不成立：客户端观测到的特征各不相同，目标是估计客户端之间的依赖关系（边）。这些依赖关系必须通过反复的客户端—服务器迭代间接估计。客户端数据和模型参数所产生的不确定性会在这一过程中传播，因此仅使用点估计不足以评估客户端之间的边。本文刻画了这种不确定性传播，并利用边特定方差区分真实的客户端间依赖关系与虚假的估计边。我们考虑来自客户端数据变异性的偶然不确定性，以及来自模型参数的认知不确定性。我们推导出客户端—服务器迭代的闭式方差递推关系和稳态方差，并证明初始模型参数不确定性传播后的贡献会渐近消失。这些方差支持以具有统计学原理的方式选择客户端间的边。合成实验表明，与具有竞争力的基线方法相比，我们的方法能够更好地恢复客户端间的边。在真实世界的工业数据集上，该方法在实现高根因识别准确率的同时，还能产生具有可解释性的依赖结构。
arXiv:2601.22879v3 公告类型：替换 摘要：时间序列数据对于广泛的应用至关重要，但由于隐私问题、采集成本和标注难题，高质量数据集的获取往往受到限制。合成时间序列生成已成为应对这些限制的一种有前景的方法。在本研究中，我们探讨了利用复杂网络映射生成合成时间序列的方法，重点关注分位数图（Quantile Graph，QG）表示及其逆映射。尽管逆 QG 映射此前已有提出，但其作为通用数据生成器的潜力尚未得到系统评估。为弥补这一空白，我们开展了一项全面的实证研究，评估通过逆分位数图（Inverse Quantile Graph，InvQG）框架生成的合成时间序列的保真度和实用性。评估结合了统计特征分析、基于网络的拓扑特征，以及在下游聚类和分类任务中的表现，并使用了模拟数据集和真实世界数据集。结果表明，在广泛的模型范围内，InvQG 能够有效保留边际分布和短期时间依赖关系，同时在捕捉长期动态或高阶动态方面存在可预期的局限性。
arXiv:2601.21731v3 公告类型：替换 摘要：Prior-Data Fitted Networks（PFNs）通过一次前向传播执行近似贝叶斯推断，基于其构建的表格基础模型（TFMs）如今已得到广泛应用。为了理解网络内部进行的推断，近期针对TFMs的机制研究定位了预测形成的位置，但将这些模型视为表格预测器，而非PFNs。因此，PFNs是否表示其上下文的谱内容——即决定平稳核的量——以及这种内容是否能够被读出为显式核，仍是未知的。我们回答了这两个问题。首先，在七个PFNs中（包括四个预训练TFMs以及一个仅在决策树先验上训练的模型），残差流上的线性探针能够以$R^2 \geq 0.95$恢复上下文的频率。这一结构主要由单个主方向引导。其次，激活修补和子空间修补表明，网络通过一个低维子空间利用这一结构；在该子空间中，少数谱方向对预测的推动作用远大于随机方向。即使对于决策树模型，这一结论仍然成立，因此并不需要谱训练先验。在最多包含499个特征的真实数据集上，在除一对之外的所有数据集对中，TabPFN的192个方向中有64个（无需标签即可选出）承载了上下文因果效应的85%至95%。第三，我们引入Filter Bank Decoder，通过Bochner定理将冻结的PFN表示转换为显式平稳核。无需任何测试时优化，解码得到的核即可支持高斯过程回归，其性能可与深度核学习和随机傅里叶特征相竞争，而成本约低$200\times$。因此，PFN潜表示包含可被因果性利用、并可恢复为可移植核的谱结构。
arXiv:2601.18751v2 发布类型：替换 摘要：基于偏好的强化学习（PBRL）通过学习成对的轨迹比较，为显式奖励工程提供了一种很有前景的替代方案。然而，现实世界中的偏好数据通常来自可靠性各异的异构标注者；其中有些准确，有些嘈杂，还有些具有系统性的对抗性。现有的 PBRL 方法要么平等对待所有反馈，要么试图过滤掉不可靠来源，但当面对系统性提供错误偏好的对抗性标注者时，这两种方法都会失效。我们提出 TriTrust-PBRL（TTP），这是一个统一框架，能够根据多专家偏好反馈联合学习共享奖励模型和专家特定的信任参数。其核心洞见是，在基于梯度的优化过程中，信任参数会自然地演化为正值（信任）、接近零（忽略）或负值（反转），从而使模型能够自动反转对抗性偏好并恢复有用信号，而不仅仅是丢弃受污染的反馈。我们给出了建立可辨识性保证的理论分析，以及详细的梯度分析，解释了训练过程中专家区分如何在没有显式监督的情况下自然产生。在实证方面，我们在涵盖操作任务（MetaWorld）和运动控制（DM Control）的四个多样化领域中，在各种污染场景下评估了 TTP。TTP 实现了当前最先进的鲁棒性：在对抗性污染下仍保持接近理想情形的性能，而标准 PBRL 方法则会灾难性失效。值得注意的是，TTP 能够从同时包含可靠标注者和对抗性标注者的混合专家池中成功学习，性能优于现有基线；与此同时，除了用于身份识别的索引之外，它不需要任何专家特征，并且能够与现有 PBRL 流程无缝集成。
arXiv:2601.12654v3 公告类型：替换 摘要：SHAP 解释广泛应用于高风险场景，以为决策提供依据；然而，即使模型、输入实例和预测结果均保持不变，不同次运行之间的解释仍可能存在显著差异。以往研究记录了不同解释方法之间的不一致；我们表明，即使在同一训练模型和同一实例上重复运行同一个估计器，SHAP 内部也会产生显著不一致。我们将这一现象称为解释多重性，并提出一种评估方法，用于在符合实际部署的计算预算下对其进行表征。该方法结合了双随机种子协议，用于比较模型诱导的变异性和解释器诱导的变异性；同时采用按幅度、按排名和按集合划分的指标层级，以及随机化的 Dirichlet 和 Mallows 零模型，为观测到的不一致提供参照尺度。在多个数据集、模型和采样策略上，我们发现解释多重性普遍存在，即使对于高置信度预测也依然如此。不同来源的相对贡献取决于数据条件和模型：模型诱导的不一致通常在较小数据集上更大，而解释器诱导的不一致通常在较大数据集上更大。常用的 L2 距离可能低估这种不稳定性，而基于排名的指标则揭示出排名靠前特征的显著变化，包括首要特征。诸如 CTE 等改进的采样方法并不能消除排名层面的多重性；K-Means 能减少不同运行之间的变异，但其压缩背景下生成的解释可能会偏离基于经验分布的参照。实践者应将单次运行得到的 SHAP 输出视为某个分布的实现，而不应将其视为权威性结果。
arXiv:2511.04000v2 公告类型：替换 摘要：由于具有可解释性，决策树广泛应用于金融和医疗保健等高风险领域。本文提出了一种高效且可扩展的方法，用于生成合成预训练数据，从而实现决策树的元学习。我们的方法以合成方式采样近乎最优的决策树，创建大规模且逼真的数据集。借助 MetaTree Transformer 架构，我们证明了该方法能够达到与使用真实世界数据进行预训练或使用计算成本高昂的最优决策树进行预训练相当的性能。该策略显著降低了计算成本，提高了数据生成的灵活性，并为可扩展、高效地对可解释决策树模型进行元学习铺平了道路。
arXiv:2510.12843v2 Announce Type: replace Abstract: Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
arXiv:2510.04440v2 公告类型：替换 摘要：我们提出了一种源驱动的分数阶热核框架，用于半监督图学习，将非局部传播与持续的标签信息相结合。与拉普拉斯算子零空间相容的固定非零标签源可防止渐近状态塌缩到该空间中，从而提供一种缓解长扩散时间下过度平滑的机制。分数阶阶数控制相对模态衰减和持续响应的谱加权，而扩散时间决定传播范围。我们刻画了归一化图和非连通图上的守恒定律与平衡态，构建了零空间消除方法，并分析了传播算子的近似。在 Two-Moon 上，分数阶阶数可改善无源传播；当每类仅使用一个训练标签时，在阶数为 0.8 和 1 的情况下，与相容源驱动的扩散相结合可达到超过 96% 的平均准确率。在 Cora 和 CiteSeer 上，当每类仅使用一个训练标签时，在500个带标签验证节点上进行模型选择，且经典与分数阶流水线配置高度可比的条件下，源驱动流水线的平均准确率分别比 GAT 提高 9.2 和 8.0 个百分点；在 PubMed 上，其结果与 GAT 持平，而在 Cora 上每类使用十个和二十个标签时则落后于 GAT。在 GraphHeat 中，在相同扩散时间下基于验证集选择指数，在每类一个标签时可获得 1.45 个百分点的配对增益。
arXiv:2509.02302v2 公告类型：替换 摘要：我们研究一类历史相关的在线问题，其中对未来请求序列的预测可能并不准确。受多个现实世界应用的启发，我们引入了一个“有界影响”框架，在该框架中，过去的决策和请求对未来最优值的影响仅限于一个有界范围内。在此框架下，我们开发了 AdaSwitch，这是一种能够在适当的离线预言机和在线预言机之间自适应切换的元算法。AdaSwitch 对期望性能提供了明确的保证，并且随着预测误差减小或离线最优值增大，这些保证会变得更加严格。当预测完全准确时，随着离线最优值增大，其保证将趋近于离线预言机的保证。在任意预测下，它还保留了接近在线预言机的最坏情况保证。在线提前期报价、$k$-server 与缓存，以及在线可复用资源分配等应用表明，该框架既适用于奖励最大化，也适用于成本最小化。
arXiv:2508.19458v2 公告类型：替换 摘要：成员推断攻击获取学习算法的输出以及一个目标个体，并试图判断该个体是训练数据中的成员，还是来自同一分布的独立样本。成功的成员推断攻击通常要求攻击者掌握训练数据所采样分布的一些信息，而这些信息通常通过来自该分布的一组独立参考样本来获取。在本文中，我们通过研究样本复杂度——即成功发起攻击所需的最少参考样本数量——探究攻击者进行成员推断所需的信息量。我们在高斯均值估计这一基本场景中研究该问题：学习算法获得来自 $d$ 维高斯分布 $\mathcal{N}(\mu,\Sigma)$ 的 $n$ 个样本，并尝试估计 $\hat\mu$，使其满足误差条件 $\mathbb{E}[\|\hat \mu - \mu\|^2_{\Sigma}]\leq \rho^2 d$。我们的结果表明，在这一场景下进行成员推断时，要实施任何能够与信息完全的攻击者相竞争的攻击，可能需要 $\Omega(n + n^2 \rho^2)$ 个样本。这是首个表明攻击者有时需要比训练算法用于训练模型的样本多得多的结果。这一结果对实践具有重要意义，因为实践中使用的所有攻击都具有受限形式，只使用 $O(n)$ 个样本，无法从 $\omega(n)$ 个样本中获益。因此，当分布信息易于获取时，这些攻击可能低估了成员推断的可行性，而利用更多信息的更优攻击或许是可能的。
arXiv:2508.07106v2 公告类型：替换 摘要：功能磁共振成像（fMRI）是一种广泛用于研究人类脑活动的成像技术。即使个体处于静息状态，大脑各区域的fMRI信号也会以高度结构化的方式暂时同步和去同步其活动。这些功能连接动态可能与行为和神经精神疾病有关。为了对这些动态进行建模，时序脑连接表示至关重要，因为它们能够反映脑区之间不断演变的交互，并为瞬时神经状态和网络重构提供洞见。然而，传统图神经网络（GNN）通常难以捕捉动态fMRI数据中的长程时间依赖关系。为应对这一挑战，我们提出了BrainATCL，这是一种用于自适应时序脑连接学习的无监督、非参数框架，可实现功能连接预测和年龄估计。我们的方法根据新增边的速率，动态调整每个快照的回溯窗口。随后，利用GINE-Mamba2骨干网络对图序列进行编码，以学习来自Human Connectome Project中1,000名参与者静息态fMRI数据的动态功能连接时空表示。为进一步改进空间建模，我们引入了由脑结构和功能提供信息的边属性，即脑区所属的左/右半球身份和子网络成员关系，使模型能够捕捉具有生物学意义的拓扑模式。我们在两个任务上评估了BrainATCL：功能连接预测和年龄估计。实验结果表明，该方法具有优越的性能和强大的泛化能力，包括在跨会话预测场景中的表现。
arXiv:2507.21037v3 Announce Type: replace Abstract: Cross-subject motor-imagery electroencephalography (MI-EEG) decoding remains challenging because substantial inter-subject variability can cause both negative transfer from poorly matched source subjects and persistent distribution discrepancies between source and target domains. Existing multi-source domain adaptation methods often incorporate all available source domains or estimate source relevance using signal-level or task-specific representations, while distribution alignment is frequently performed only at the feature level. These limitations may introduce irrelevant source knowledge and fail to preserve class-discriminative structures across subjects. In this study, we propose a brain foundation model-guided multi-source domain adaptation framework (BFM-MSDA) for cross-subject MI-EEG decoding. The method first utilizes representations learned by a pretrained brain foundation model to estimate source--target compatibility and retrieve target-relevant sources. Subsequently, a relevance-weighted dual alignment strategy is applied to the selected sources and the unlabeled target domain. Specifically, Cauchy--Schwarz (CS) divergence is used to reduce discrepancies in marginal feature distributions, while conditional Cauchy--Schwarz (CCS) divergence further aligns class-dependent decision distributions. Source relevance is incorporated into both alignment terms so that more transferable source subjects contribute more strongly to adaptation. Experiments on two public MI-EEG benchmarks achieve average accuracies of 86.16% and 78.41%, outperforming representative cross-subject decoding and domain adaptation methods. Additional experiments with a large source pool further demonstrate that target-aware source retrieval improves scalability while mitigating negative transfer. These results highlight the importance of informed source selection under cross-subject distribution shift.
arXiv:2506.05014v3 发布类型：替换 摘要：我们提出了一种新颖、灵活且高效的框架，用于设计概念瓶颈模型（CBM），使实践者能够在模型进行预测时，将其关于概念—概念（$C-C$）关系和概念—任务（$C \to Y$）关系的先验知识与信念显式编码并扩展到模型的推理过程中。由此得到的概念推理模型（Concept REAsoning Models，CREAMs）能够在架构层面编码任意类型的 $C-C$ 关系，例如互斥关系、层级关联和/或相关性，以及可能较为稀疏的 $C \to Y$ 关系。此外，CREAM 还可以选择性地纳入一个经过正则化的旁路通道，以补充可能不完整的概念集合，在保持具有竞争力的任务性能的同时，促使预测以概念为依据。为评估此类设置下的 CBM，我们提出了一种与 $C \to Y$ 无关的指标，用于量化预测部分依赖旁路通道时的可解释性。在实验中，我们表明，在不增加额外计算开销的情况下，CREAM 模型支持高效干预，能够避免概念泄漏，并在概念缺失时达到黑盒级别的性能。我们进一步分析了可选旁路通道对可解释性和可干预性的影响。重要的是，即使在仅有有限数量概念可用的场景中，旁路通道也能使 CBM 保持有效。
arXiv:2505.13878v4 公告类型：替换 摘要：模型融合通过轻量级训练方法，将多个具有不同优势的大语言模型（LLM）结合为一个更强大的集成模型。现有模型融合工作主要聚焦于监督微调（SFT），而对偏好对齐（PA）这一提升大语言模型性能的关键阶段探索甚少。目前少数针对 PA 阶段的融合方法（如 WRPO）仅利用源模型的响应输出，舍弃了其概率信息，从而简化了流程。为解决这一局限，我们提出了 InfiFPO，一种用于隐式模型融合的偏好优化方法。InfiFPO 将直接偏好优化（DPO）中的参考模型替换为一个融合后的源模型，该模型在序列层面综合多源概率，既规避了以往工作中复杂的词表对齐问题，又保留了概率信息。通过引入概率裁剪和最大间隔融合策略，InfiFPO 使枢轴模型能够与人类偏好对齐，同时有效地从源模型中蒸馏知识。在 11 个广泛使用的基准测试上的全面实验表明，InfiFPO 始终优于现有的模型融合和偏好优化方法。以 Phi-4 作为枢轴模型时，InfiFPO 将其在 11 个基准测试上的平均性能从 79.95 提升至 83.33，显著增强了其在数学、编程和推理任务中的能力。
arXiv:2502.17920v2 Announce Type: replace Abstract: Pre-trained visual models have become fundamental in computer vision, but they face challenges in continual learning scenarios where data and tasks evolve over time. Low-Rank Adaptation (LoRA) offers efficient fine-tuning capabilities but remains limited for such dynamic environments. Standard LoRA cannot distinguish important subspaces, causing critical knowledge to be overwritten in sequential training. Existing approaches address this by dynamically expanding the set of LoRA adapters, either maintaining a growing pool of task-specific modules or merging new adapters into prior ones, at the cost of unbounded parameter growth or increasing inference complexity. We propose Continual Low-Rank Adaptation (C-LoRA), a method that enables a single, shared LoRA adapter to handle sequential tasks without catastrophic forgetting, without requiring any module selection or fusion at inference. The core of C-LoRA is a learnable routing matrix R that explicitly controls how each rank-one subspace contributes to the weight update. This matrix is decomposed into a stability component (R_base), which preserves knowledge from prior tasks, and a plasticity component (R_delta), which drives adaptation to the current task, providing direct control over the stability-plasticity trade-off. We analyze how R governs gradient flow during sequential training, and demonstrate competitive performance across multiple benchmarks.
arXiv:2501.19065v3 Announce Type: replace Abstract: Long-term time-series forecasting supports a wide range of applications, including weather prediction and electricity demand planning. Frequency-domain methods address this task by decomposing observations into components that describe temporal variations at different scales. However, separate representations do not by themselves provide an explicit mechanism for adjusting the training emphasis across components. Under a shared forecasting objective, the frequency-specific networks can retain different levels of coefficient prediction error, motivating an error-dependent adjustment to their gradients. To this end, we propose BEAT (Balanced frEquency Adaptive Tuning), a framework that combines frequency-specific error monitoring with adaptive gradient modulation. We design a Frequency-Specific Monitor that compares predicted and target wavelet coefficients in a common normalized space and expresses each discrepancy relative to a reference error computed from the detail components. We further introduce a Dynamical Gradient Balancer that converts these ratios into positive, bounded coefficients. Components with higher relative errors receive larger gradient weights, whereas those with lower relative errors receive smaller weights. A shared modulation-strength parameter controls the departure from unmodulated training, and the monitoring and balancing operations are used only during training. Experiments on seven real-world datasets show that BEAT achieves competitive performance against state-of-the-art forecasting methods.
arXiv:2405.15662v2 发布类型：替换 摘要：机器遗忘旨在无需完整重新训练，即可从已训练模型中移除指定训练数据或知识的影响。对于现代图像分类器和大型语言模型（LLMs）而言，这一能力尤为重要，因为重新训练的计算成本可能十分高昂。然而，复杂数据上的机器遗忘仍然十分困难，因为目标信息通常分布在多个语义元素之中。现有方法主要通过移除样本、修改标签或编辑模型参数来减弱遗忘目标的影响。这些方法通常不会明确识别出哪些语义概念将遗忘目标与模型的预测结果或生成响应联系起来。因此，很难确定应修改哪些信息。这种不确定性可能导致目标信息残留，或不必要地影响本应保留的知识。为弥补这一空缺，我们提出了一种概念引导的数据投毒遗忘框架，能够明确识别出对目标类别或知识贡献最大的概念，并利用这些概念指导模型更新。对于图像分类，我们的方法首先通过 Post-hoc Concept Bottleneck Model 识别与类别相关的概念，定位表达这些概念的图像区域，并构造基于替换的投毒样本。对于 LLMs，我们通过多个问题引出目标知识，汇总所得响应中的 Integrated Gradients，以识别持续重要的内容，并对这些内容进行掩码处理，从而构造投毒训练目标。在多个数据集上的实验表明，所提出的框架能够在不同任务中实现有效的机器遗忘，同时在很大程度上保留模型在保留内容上的实用性。
arXiv:2405.04118v4 公告类型：替换 摘要：现代 AI 系统（如自动驾驶汽车和游戏智能体）能够达到超越人类的性能，但通常缺乏类似人类的泛化能力、可解释性以及与人类用户的互操作性。受人类语言与决策之间丰富互动的启发，我们提出了通过语言瓶颈进行策略学习（Policy Learning with a Language Bottleneck，PLLB），这是一种使 AI 智能体能够生成语言规则的框架，这些规则用于捕捉产生高回报行为背后的高层次策略。PLLB 在由语言模型指导的*规则生成*步骤与更新步骤之间交替进行：在更新步骤中，即使一条规则不足以描述完整的复杂策略，智能体也能在规则的指导下学习新的策略。在包括双人信号博弈、迷宫导航、图像重建和机器人抓取规划在内的五项多样化任务中，我们展示了 PLLB 智能体不仅能够学习更具可解释性和泛化性的行为，还能与人类用户分享所学规则，从而实现更有效的人机协作。我们在 https://github.com/meghabyte/bottleneck 提供了实验源代码。
arXiv:2610.12467v1 公告类型：cross 摘要：文本条件运动生成器能够生成可跟踪的全身运动，但不具备场景依赖的安全概念：同一个动作可能是针对物体，也可能是针对人。现有的安全防护措施要么检查提示词，要么需要带标签的运动数据，要么施加几何约束；因此，它们无法直接考虑场景上下文如何改变运动的含义。我们提出上下文安全过滤（contextual safety filtering，CSF），这是一种无需训练的过滤器，将自然语言安全规则基于生成器生成的安全和不安全参考轨迹加以落实。对于每条激活的规则，安全和不安全参考轨迹定义一个仿射安全值，并由安全参考跟踪 CBF-QP 对其进行约束。在四个采用不同架构的预训练生成器上，CSF 在所有明确指定和由场景触发的不安全案例中均能激活预期规则，并将危险事件率最多降低 90%，同时保留 88%—100% 的无害运动。我们在真实世界的 Unitree G1 上展示了完整系统，该系统成功阻止了各种场景中的不安全运动，包括与人和物体的交互。
arXiv:2610.12465v1 公告类型：cross 摘要：通用机器人必须执行从敏捷运动到灵巧操作的广泛任务。尽管仿真到现实强化学习（RL）已被证明是实现这一目标的有用工具，但当前的 RL 流程依赖大量工程工作，并且需要针对每个任务设计结构先验，例如塑形奖励和示范。近期研究表明，在若干操作问题中，将多样化的模拟器重置与大规模并行仿真相结合，可以减轻大量工程负担。然而，我们发现，将这一范式直接扩展到更精确或更具动态性的任务上，仍然并非易事。尽管模拟器重置有助于探索，但在这一分布上进行均匀采样，会将越来越大比例的学习经验浪费在策略已经掌握或尚且无法尝试的任务配置上。这使得人们难以看到扩展 RL 并行环境所带来的预期收益，因为一个批次中的大量学习信号都会在训练过程中被浪费。为缓解这一问题，我们提出 Success Guided Sampling（SGS），这是一种简单的自适应采样器，将 RL 训练集中在策略能力边界附近的任务配置上。这样，基于大规模仿真的 RL 就能充分利用一个批次中的经验，从而更有效地扩展到大规模并行仿真。在使用多达 $2^{20}$（超过一百万个）并行环境的实验中，SGS 使 RL 能够解决具有挑战性的多地形四足机器人运动任务和接触密集型装配任务，而以往方法无法解决这些任务。最后，我们将学习到的操作策略蒸馏为基于 RGB 的策略，并展示了其在真实硬件上的若干项具有挑战性的装配任务中的零样本迁移。项目网站：https://sgs-rl.github.io/。
arXiv:2610.12448v1 Announce Type: cross Abstract: In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth vision encoder at comparable inference FLOPs without intermediate feature distillation. reViT restores depth-specific transformations by representing the FFN at each recurrent depth as a convex combination of a small shared expert bank. A continuous normalized-depth coordinate programs this mixture, defining a resampleable trajectory through FFN parameter space. We evaluate this design in two regimes: supervised ImageNet-1k training and distillation from a DINOv2 teacher. Across both regimes, controlled adaptations identify weight-space merging as the strongest tested MoE family at a matching one-FFN budget, ahead of the token-dispatch and output-mixture alternatives. Trained from scratch, reViT-B/16 attains DeiT III accuracy with about 70\% fewer stored parameters. An 8-experts model distilled using only the teacher's output features retains nearly all of its DINOv2 teacher's linear-probe accuracy and transfers across classification, segmentation, and depth prediction. Elastic-depth training allows one checkpoint (trained model) to operate at multiple tested depths by resampling the same normalized coordinate interval. For fixed-depth deployment, the recurrent block can be materialized as a conventional dense graph, removing online routing and merging without changing the one-FFN-per-depth compute but expanding deployment storage.