全部动态

本页 40 条
10月9日 周五
arXiv cs.LG71

SMAT: Simple and Efficient Merge-Aware Training

arXiv:2609.33437v2 Announce Type: replace Abstract: Model merging integrates the capabilities of multiple experts without joint retraining, but standard expert training optimizes task loss alone and does not guarantee good performance after merging. Merge-aware training (MAT) aims to improve merged performance, but existing methods do not fully account for common merging operations and add training cost. We observe that, from an expert's perspective, common merging methods can be described by three operations: Scale reweights its own update, Mask removes selected coordinates, and Perturb adds updates from other experts. Based on this view, we introduce SMAT (Simple MAT), which jointly optimizes expert loss and expected loss at simulated merged parameters generated by sampling scaling coefficients, masks, and additive noise. We further introduce periodic scheduling, kernel fusion, and parameter storage switching to make SMAT efficient, with one forward and one backward pass per step. Across four language and vision-language backbones, SMAT improves the mean score across five merging methods by 1.07-2.16 points over the strongest baseline for each backbone, with less than 2% training-time overhead over standard fine-tuning.

arXiv cs.LG80

何时驱逐，而非保留什么：Draft-Guided Eviction for Training-Free KV-Cache Compression

arXiv:2609.33334v2 公告类型：替换 摘要：SnapKV、H2O 和 PyramidKV 等无需训练的 KV-cache 压缩方法会在预填充结束时驱逐 token，旨在保留未来查询预计会使用的注意力权重总量，即优化“保留什么”。我们发现，这一目标存在两种截然不同的失效方式。(1) 补偿：恢复被驱逐的注意力权重总量，可以恢复注意力层面的目标，却无法恢复任务质量。(2) 选择：即使覆盖了更多真实解码查询的注意力权重总量，当恢复的权重被分散而非集中于连贯的片段时，也可能损害质量。这些失效有一个共同原因：驱逐发生在决定答案轨迹的查询出现之前。我们提出 Draft-Guided Eviction (DGE)，利用完整缓存先生成前 k=2 个答案 token，再延后执行驱逐——这仅比预填充多一步解码。由于草稿是根据答案自身的前缀生成的，因此在这一轨迹信号可用之前，不会丢弃任何缓存条目。每个注意力头的缓存预算保持不变，并且无需修改 SnapKV、PyramidKV、H2O 和 StreamingLLM 的驱逐评分，即可直接应用 DGE。不同于额外遍历方法，DGE 改变的是驱逐发生的时机，而不是选择哪些缓存条目。大量实验表明，在六个经过指令调优的骨干模型中的五个上，DGE 在所有评估预算下都优于先前方法；在 LongBench 上达到 44.2，几乎与 FullKV 的 44.3 持平。仅改变时机的对照方法 DGE-W 达到了相同分数，表明性能提升来自驱逐发生的时机，而非所选择的内容——我们将这一效应称为轨迹锚定。

arXiv cs.LG75

后处理公平性约束何时有帮助、何时有害：来自八项跨领域评估的证据

arXiv:2609.26955v3 公告类型：替换 摘要：生产环境中的 ML 公平性审计通常只进行一次，即在部署时针对单一领域开展。实践表明，这两点都存在问题：重新训练或用户群体变化后，公平性可能发生偏移；而在单个数据集上验证过的干预措施，很少在组织实际部署所涉及的异质领域中接受测试。我们提出 FAPE（生产环境公平性审计），这是一个四阶段框架，用于在八项领域评估中评估单一的后处理干预措施 Fairlearn 的 ThresholdOptimizer。这八个领域包括刑事司法、收入预测、法律录取、信贷放贷、农业贷款、多领域基准语料库、医疗保健和教育。每项评估均依据人口统计学均等和均等机会差异进行评分，并在可计算时加入差别影响比和准确率成本。干预效果与基线差异的幅度相关：在模型—领域配对中，该约束在14个高差异案例中的9个改善了差异，却在4个接近公平的案例中的3个使差异恶化。5个高差异例外中的每一个，都会在两项测量检查中的任一项下逆转：最小群体规模检查，或使用留出数据拟合阈值。部署时启动的 CUSUM 监测器在模拟偏移测试中，能够区分从未达到0.1平等标准的受约束模型，与曾达到该标准但后来退化的模型。因此，单次部署时审计并不能可靠地提供指导，这说明有必要进行基线差异筛查和持续监测。

arXiv cs.LG76

MemCalib：LLM Agents中的记忆使用基准测试与优化

arXiv:2609.24259v3 公告类型：替换 摘要：智能体记忆的有效性最终取决于底层LLM是否能让上下文中的每条记忆对其响应产生适当程度的影响。然而，这种能力一直在很大程度上被忽视。为评估这一能力，我们引入了MemCalib，这是一个基于真实记忆系统场景的基准，用于评估记忆使用并推动优化算法的发展。MemCalib测试集上的结果表明，前沿开源和闭源模型都难以恰当地使用记忆。它们经常过度使用或使用不足，而不是让每条命题的实际使用程度与其目标水平相匹配，从而导致响应存在偏差且质量低下。对包括组相对策略优化和在策略自蒸馏在内的常见后训练算法进行实验进一步揭示了明显的方向性偏差：模型经过训练后，会在一个方向上有所改善，却在另一个方向上恶化。因此，我们提出MemCalib-RL，这是一种有序的双向反事实信用分配算法，通过精确的原子消融将过度使用和使用不足的信号分离开来，并将其信用归因定位到响应词元。跨模型系列和规模（Qwen3-8B、Ministral-3-8B-Instruct和Qwen3.5-35B-A3B）的结果表明，MemCalib-RL取得了最佳的总体性能，同时更好地平衡了过度使用和使用不足；在外部基准评估中，其收益也能泛化到MemCalib之外。进一步实验支持了其设计选择和稳健性，并为其训练动态提供了深入见解。

arXiv cs.LG67

CTRL: Control-Based Time Series Forecasting with LLM-Guided Residual Learning

arXiv:2609.23257v2 Announce Type: replace Abstract: Time series forecasting underpins critical decision-making across diverse domains. While large language models (LLMs) offer promising reasoning capabilities, existing LLM-based time series forecasting approaches either reduce them to numerical predictors that bypass their strengths, or allow direct forecast generation that destabilizes predictions in non-stationary settings. We introduce CTRL, a framework that decouples semantic reasoning from quantitative prediction. A frozen backbone generates base forecasts, while specialized LLM agents function as controllers that analyze backbone prediction errors through decomposed trend, seasonal, and irregular components, grounding reasoning in interpretable temporal structure. Each agent outputs compact control signals that a lightweight residual decoder translates into forecast corrections. CTRL incorporates label-free test-time adaptation that detects distribution shift from input statistics alone and readapts control signals with only 3-24 LLM calls via caching. CTRL is explicitly designed to improve robustness under non-stationary temporal dynamics and distribution shift, while remaining competitive on highly stationary time series where adaptive correction provides limited additional benefit.

arXiv cs.LG76

无标签引导：将测试时强化学习压缩到仅偏置子空间中

arXiv:2609.18587v3 公告类型：替换 摘要：测试时强化学习（TTRL）使模型无需依赖带标签的训练数据即可提升推理能力，但现有方法通常会优化模型中相当大比例的参数。这引出了一个自然问题：当奖励信号和优化空间都受到严格限制时，是否仍能实现有效的测试时适应？我们通过无标签的仅偏置 TTRL 回答了这一问题。该方法使用多数投票伪标签作为奖励，仅优化约 100K 个偏置参数，同时冻结预训练骨干网络。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到 76.67% 的准确率，略高于我们对有标签偏置引导方法的复现结果，同时相比全参数 TTRL 优化的参数数量减少了 76,000 倍。同一训练流程还提升了模型在视觉-语言和音频推理任务上的表现，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步表明，学习到的引导向量能够迁移到 4,500 个留出的 MATH 问题上，说明这种适应并不局限于测试时优化所使用的问题。最后，我们分析了这种高度受限的适应为何能够奏效，发现多数投票的可靠性会随着 rollout 一致性的提高而提升，而具有更高可访问梯度能量的偏置子空间则表现出更强的下游可训练性。这些结果表明，仅使用完全无标签的奖励来优化一个极小的仅偏置子空间，也能实现显著的测试时适应。

arXiv cs.LG82

无数据 on-policy 蒸馏：在不使用外部数据的情况下我们能走多远？

arXiv:2609.14193v4 公告类型：替换 摘要：On-policy 蒸馏（OPD）正日益应用于前沿基础模型的后训练。该领域以往的工作主要聚焦于算法改进，但 OPD 在多大程度上依赖其训练问题，尤其是这种依赖可以降低到什么程度，仍不明确。在两个具有代表性的单教师 OPD 设置中，我们发现，使用 8 个真实提示词进行训练所取得的性能，与使用 17k 个问题进行训练相当；而在测得的难度和初始蒸馏差距上存在显著差异的数据集，也会产生相近的结果。我们的分析提出了两种互补的解释：重复采样可能使少量提示词也能揭示教师模型的大量监督信号；同时，OPD 能够迁移超越数据集特定知识的、可泛化的推理能力。基于这些观察，我们进一步提出无数据 on-policy 蒸馏（DF-OPD）设置，以研究系统能否自行提供训练问题，从而消除对外部数据的需求。在不使用种子示例的情况下，通过 64 个自行生成的问题，DF-OPD 在两个单教师设置中都取得了与完整数据 OPD 相当的性能。这一发现同样适用于多教师 OPD：在数学、代码和指令遵循任务中，1k 个生成问题取得了与使用约 7k 个真实后训练示例进行训练相当的性能。我们还进一步探索了 OPD 是否能够在没有明确训练问题的情况下运行。实验表明，这仅在有限情况下有效：学生模型会出乎意料地生成并回答自己的问题，从而使这一过程退化为一种隐式的 DF-OPD。总体而言，这些发现促使我们重新审视训练数据在 on-policy 蒸馏中的作用。代码可见于 https://github.com/Ryuki661/DF-OPD

arXiv cs.LG77

真相从未消失：合规上下文真值探针中的完美别名

arXiv:2609.10739v2 公告类型：替换 摘要：有人提出使用从语言模型激活中解码真相的线性探针来监测欺骗；而当一个经过欺骗训练的模型上的真值探针得分低于随机水平时，人们自然会将其解读为模型隐藏了真相，或不再表征真相。我们表明，拟合标签歧义也能产生相同的读出结果。在一个受控博弈中，模型应向盟友报告一个秘密比特，向对手报告其补码。在合规（盟友）上下文中，真实比特与任务规定的答案是相同的标签，因此，在这些上下文上拟合的探针无法判断自己测量的是二者中的哪一个。我们将这种完全一致称为完美别名。在对手上下文中，这些标签互为补码，因此，一个在盟友上下文上拟合的探针分别针对这两个标签进行评分时，其对手 AUROC 之和为 1。将盟友和对手上下文结合起来进行混合拟合，会使两个标签产生差异；随机化的输出编码表也会使任务规定的答案与输出字母解耦。对于一个经过奖励训练、在所有评估的对手试验中都给出虚假答案的 Gemma-2-9B 策略，在最终层上，盟友拟合的探针 AUROC 为 $0.006 \pm 0.005$（三个 RL 训练随机种子上的均值 $\pm$ 样本标准差），而在相同留出激活上，混合拟合的探针得分为 1.000。混合拟合还使用了更多样本和带标签的对手数据，因此这表明真实比特仍可被线性恢复，而不是说明仅仅分离标签就能解释性能提升。在遵循指令的 Llama-3.1-8B 中，在一个提示变体上重新拟合的探针，以及一个从参考变体中获得并冻结的探针，在留出的盟友数据上准确率都为 1.000，但在相同试验上的对手真值 AUROC 分别为 0.080 和 0.986。我们的主要实验使用一种单一令牌的博弈，其中提示词明确给出了该比特，因此恢复出的方向可能读取的是模型保留的一份副本；而在模型必须推断该比特的情况下，没有任何受测实验条件能稳定地产生欺骗。我们研究的是探针测量了什么，而不是模型是否使用了这些信息。

arXiv cs.LG80

MoEMB：使用高效混合专家模型扩展通用多模态嵌入

arXiv:2609.08663v2 公告类型：替换 摘要：通用多模态嵌入（UME）对编码器处理更广泛任务和模态的能力提出了日益增长的需求，同时任务和模态的复杂性也在不断提升。以往的扩展方法要么增加表示规模，要么增加检索开销，要么将编码器扩展为庞大的多模态 LLM。近期工作（如 Think-Then-Embed（TTE））探索了通过推理 token 进行扩展。然而，嵌入模型难以扩展：直接增加参数量会与对比学习所需的大训练批次大小形成权衡，而检索服务则必须满足严格的延迟要求。此外，UME 任务的复杂程度各不相同，扩展嵌入器可能带来大量冗余计算。在本文中，我们提出 MOEMB，通过混合专家（MoE）沿专家轴扩展 UME，在保持单向量、非自回归编码的同时提升编码器容量。通过系统研究基于 MoE 的 UME 设计空间和训练方案，MoEMB 在使用公开 MMEB 系列数据训练的模型中，于 MMEB-V2 和 MRMR 上均取得了新的最佳性能：仅使用 3B 激活参数，MoEMB 就超越了激活参数量超过其 4 倍的基于 TTE 的方法，同时显著减少了计算量。为进一步提升可扩展性和效率，我们首次全面研究了基于 MoE 的嵌入的自适应计算，涵盖训练方法和仅推理方法中的多种策略。综合来看，这些结果表明，专家扩展是 UME 的一种高效有效方向；自适应计算还能进一步提升基于 MLLM 的嵌入模型的效率，使其更适用于大规模检索和推荐系统。

arXiv cs.LG68

Risk-Conditioned Fine-Tuning of Large Language Models

arXiv:2609.08064v3 Announce Type: replace Abstract: Large Language Models (LLMs) are increasingly deployed in settings where rare but severe harmful generations can have significant consequences. Existing Risk-Averse RLHF addresses this issue by optimizing Conditional Value-at-Risk (CVaR), but it trains policies for fixed risk levels and therefore cannot adjust the desired degree of risk aversion at inference time. In this paper, we propose risk-conditioned RLHF, a framework that trains a single policy that provides a continuous risk-control interface, enabling users to select different degrees of risk aversion without retraining or deploying multiple risk-specific models. Experiments across multiple benchmarks demonstrate that a single risk-conditioned policy can adapt to different risk levels at inference time, enabling more flexible and risk-aware LLM deployment.

arXiv cs.LG40

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

arXiv:2608.19584v3 Announce Type: replace Abstract: We study landscapes for complex-parameterized networks. Our approach is motivated with an information-theoretic manifold perspective of the parameter and via classical optimization guarantees although of complex geometric variety such as through Dolbeault asymptotics. The descent path admits a K\"ahler information metric under a cross-entropy via the Wirtinger Hessian on the log-likelihood potential. We restrict attention to a descent update rule with natural gradient descent via a differentiated loss scaled by the inverse metric, so the descent path remains in the holomorphic tangent bundle. We emphasize Calabi-Yau information manifolds which profane theoretical guarantees via an ill-curvature-conditioned landscape. We focus on Calabi-Yau metrics specifically in a non-compact setting with a global potential, so defined geometrically rather than invoking the topological requirements of the Calabi conjecture. In non-compact settings, we can write the metric determinant with respect to a background in terms of a pluriharmonic or real-valued function. Under bounded, nonuniform, and almost low-rank assumptions, we get a partial eigenvalue blow-up effect. In an empirical setting, a Ricci-flat metric will not form, but the blow-up effect is a local condition and can partially hold empirically on open sets. We isolate the Calabi-Yau case in a theoretical setting, and we counteract the corrupted geometries under regularization. Moreover, it has been discovered that negative curvature subverts the loss landscape, specifically sectional curvature, so we expand on this and draw interconnections to negative-definite Ricci curvature. Our arguments primarily exist via geometric analysis, although we establish roots in deep learning theory such as through asymptotics at initialization and connections through failure modes of neural network guarantees under vanishing and negative Ricci curvature.

arXiv cs.LG65

Quantum Multi-Armed Bandits and Linear Bandits: Lower Bounds and Algorithms

arXiv:2608.14319v2 Announce Type: replace Abstract: We study quantum multi-armed bandits (QMAB) and quantum linear bandits (QLB), where the learner queries each arm or action through a quantum reward oracle or its inverse. Prior work gives algorithms over horizon $T$ with regret $O(K\log T)$ for QMAB with $K$ arms and $O(d^2\operatorname{polylog} T)$ for $d$-dimensional QLB. This leaves open the optimal dependence on $K$ and $T$ and whether the dependence on $d$ can be further improved. In this work, we prove the first tight minimax regret bound of $\Theta(K\log(1+T/K))$ for QMAB and the first lower bound of $\Omega(d\log(1+T/d))$ for finite-action QLB, ruling out regret independent of $T$. Our lower bounds rely on a high-confidence single-arm quantum testing lower bound for distinguishing a fixed reward mean from an interval of alternatives. A bandit-to-testing reduction then lifts it to the QMAB lower bound, while a linear embedding gives the finite-action QLB lower bound. The matching QMAB upper bound is obtained using a tail bound for the Quantum Monte Carlo (QMC) estimator. For finite-action QLB, we propose a phased elimination algorithm that combines a low-bias low-variance quantum mean estimator with a small-support $G$-optimal design through a query allocation matched to the design weights. When the action set has size $\operatorname{poly}(d)$, its regret is nearly linear in $d$ and matches our lower bound up to polylogarithmic factors.

arXiv cs.LG66

Robust and Efficient Noisy-Label Time-Series Classification via Dynamic Time Warping Based Granular Ball Computing

arXiv:2608.11704v2 Announce Type: replace Abstract: Dynamic Time Warping (DTW)-based Nearest-Neighbor (NN) classifiers are effective for time-series classification but are vulnerable to mislabeled training samples and require numerous DTW computations during inference. We propose DTW-based Granular Ball Computing (DTW-GBC), which organizes temporally similar training samples into granular balls and performs classification at the granule level. We further develop two granular-ball construction strategies for DTW-GBC. Experiments on four benchmark datasets with symmetric label noise show that the two DTW-GBC variants generally mitigate the performance degradation caused by label noise while requiring substantially fewer comparisons than DTW-based 1-NN during inference. These findings suggest that DTW-GBC provides a favorable balance between classification robustness and inference efficiency.

arXiv cs.LG77

自适应子模型联邦学习中的容量混杂与覆盖保证

arXiv:2608.07157v2 公告类型：替换 摘要：子模型联邦学习允许资源受限的客户端训练全局模型的缩窄版本，但现有方法仅依据设备资源分配容量。近期方法开始利用源自训练的信号确定子模型规模，这启发了一个自然的下一步：根据从服务器已观测到的更新所估计的每个客户端数据异质性来分配容量。我们以自适应容量分配框架 HAS-FL 为案例，探究这一步是否可行。首先，在可复现的数据划分上，以标签分布散度的真实值为基准进行验证后发现，客户端异质性的更新散度估计主要受容量而非数据支配：在两个图像基准和每个随机种子下，这些估计都与设备容量呈强负相关；控制容量后，它们与数据异质性的关联接近于零或为负。任何从子模型更新中估计客户端统计量的方法，都会受到这一此前未被记录的混杂因素影响。其次，自适应分配存在一种隐藏的失效模式：当每个客户端的容量上限都低于完整宽度时，未被覆盖的参数会停留在随机初始化状态，并逐步破坏全局模型。一个简单的覆盖保证即可消除该失效，也解释了均匀分配为何会崩溃。第三，通过预算匹配的对照实验可以确定自适应策略的实际贡献：在两个图像基准上，将相同平均预算随机分配所得的结果与自适应策略相当，差异处于不同随机种子之间的波动范围内；而在自然划分的文本基准上，自适应策略是三种策略中最弱的，同时消耗的容量最多。子模型训练能够以按平方级降低的成本接纳受限客户端，但与全模型训练相比会牺牲相当大的准确率；真正保护这种准确率的是参数覆盖，而不是分配策略的智能程度。

arXiv cs.LG76

消息传递究竟有多重要？面向神经网络图回归的 GNN 层直接替换研究

arXiv:2607.26404v2 公告类型：替换 摘要：图神经网络（GNN）被广泛用作回归器，例如用于预测神经网络架构的准确率。然而，新消息传递（MP）层的开发和基准测试几乎完全围绕分类任务展开，而回归流程通常只采用一种 MP 层，且不进行消融实验。我们探究了 MP 层的选择对图级回归究竟有多大影响。在保持四种现有 GNN 回归器的架构、损失函数和训练方案不变的情况下，我们替换了十种 MP 配置，涵盖卷积式、基于同构和基于注意力的设计。我们在十一个神经网络图数据集上对其进行评估；这些数据集的单图节点数从不足十个到超过一千个不等，样本数从几百个到超过四十万个不等。评估指标包括秩相关性、预测误差、top-$k$ 检索、延迟和内存占用。MP 层的选择会显著改变结果，我们发现，最佳选择取决于图规模、训练集大小和回归目标。在小型架构图上，GEN、$k$-GNN 和 PNA 等经典层以更低的成本达到或超越基于注意力的层的表现，而 GATv2 在仅包含少量大型图的数据集上表现良好。

arXiv cs.LG65

Do Sheaf Neural Networks Use Holonomy? A Measure--Intervene--Control Study

arXiv:2607.19514v3 Announce Type: replace Abstract: Geometric architectures are often motivated by internal mechanisms, but accuracy alone does not show whether predictions use them. In Sheaf Neural Networks (SNNs), edge transports form a connection whose cycle products define holonomy. We ask whether training changes triangle holonomy, whether predictions rely on the learned connection, and whether holonomy drives triangle counting. We use basis-independent loop readouts with identity interventions and shortcut controls. On high-homophily GraphUniverse graphs, triangle counting increases the mean SO(2) triangle rotation in Neural Sheaf Propagation (NSP) from 0.010 to 0.388 radians, while community detection ends at 0.029 radians. With more data, learned SO(2)--NSP outperforms Identity NSP, and replacing its transports after training increases error further. However, ridge regression is more accurate, diagonal maps improve without continuous rotation, and fixed-degree models develop rotation without improved counting. Thus, NSP can learn and rely on a nontrivial connection, but our experiments do not show that triangle holonomy drives its predictions.

arXiv cs.LG78

超越欧氏裁剪：通过黎曼等距策略优化克服 LLM 强化学习中的探索坍缩

arXiv:2607.10169v2 发布类型：替换 摘要：强化学习（RL）已成为提升 LLM 推理能力的主流范式。然而，采用 PPO-Clip 的强化学习算法受探索坍缩的固有限制。后续工作仍主要依赖启发式方法，未能找出 PPO-Clip 失效的根本原因。本文揭示了 PPO-Clip 的基本缺陷：它使用欧氏度量隐式衡量策略差异，这在理论上与策略黎曼流形的内在几何结构不一致。这种几何不匹配导致算法在低概率区域的更新过于保守，而在高概率区域的更新过于激进，最终使探索能力坍缩。为纠正这一几何缺陷，我们提出黎曼等距策略优化（Riemannian Isometric Policy Optimization，RIPO），保证在黎曼流形上进行等距策略更新，从而有效平衡探索与利用。我们进一步证明，RIPO 实现了良好的偏差—方差权衡，有助于稳定优化过程。大量实验表明，在七个竞赛级基准测试中，RIPO 的表现显著优于现有的 LLM 强化学习算法；在 AIME24 上，其性能较 GRPO 提升最高达 60%。

arXiv cs.LG71

System-Prompt Conditioning and Hidden-State Geometry in Four Open-Weight Models: Corrections and What Survives

arXiv:2607.09842v3 Announce Type: replace Abstract: Versions 1 and 2 of this preprint reported that an identity-specifying system prompt leaves a geometric fingerprint in the final-layer hidden-state trajectories of four open-weight language models, and that instruction tuning moves this fingerprint from the direction to the magnitude of the hidden-state vector. An audit of their code and data found the following. The curvature statistic described as Ollivier-Ricci curvature on Euclidean k-NN graphs was a non-standard Forman-type edge statistic on graphs built from temporal and cosine k-NN edges. Its released test permuted pooled edges instead of trajectories, and the published p-values came from unreleased code. The quantity reported as the norm of the first generated state is the state at the last prompt position, from which the first output token is predicted. The generic control prompt was matched to the identity prompt in characters, not in tokens. This version corrects the methods, withdraws the regime-specific claims (one model per regime) and the direction-to-magnitude claim, and re-analyzes the data with added controls. What survives is narrower. Centroid distance, maximum mean discrepancy and a linear probe separate every pair of prompt conditions in every model, while the curvature statistic exceeds its split-half noise floor in only four of twelve comparisons. In Gemma-4-E4B-it this state has a lower norm under the identity prompt than under a token-length-matched generic prompt (138.1 vs. 216.5; Cohen's d = -5.45; n = 20). Its direction also separates the conditions, and the effect fits the state's role in planning the output: the identity prompt instructs a pause before every answer, and the model opens 98 of 100 responses with a pause marker. When the first token is fixed, the norm ordering reverses. The base model continues the prompt template instead of answering. A redesigned follow-up study is in preparation.

arXiv cs.LG76

直接优化非线性回归的平均人口统计均等性

arXiv:2607.05098v2 发布类型：替换 摘要：我们关注这样的回归场景：公平性目标是使敏感属性不同取值对应的平均预测值相等，这一标准称为平均人口统计均等性。直接优化这一标准很困难，因为它依赖于一个未知且会在训练过程中发生变化的条件均值。常见的依赖性惩罚方法和对抗方法并不估计该条件均值，而是将预测结果推向完全独立。即使平均预测值已经相等，这种更强的约束也可能降低准确率。现有的条件均值方法仅适用于线性预测器或低维敏感属性。我们通过使用 DPVar 实现对平均人口统计均等性的直接优化；DPVar 是一种公平性度量，定义为条件均值预测的方差。由于必须随着预测器的变化估计条件均值，优化 DPVar 会形成一个函数型双层问题。我们开发了两种求解器：FBO 使用闭式超梯度，而迭代微分（ITD）求解器则通过对条件均值估计器的更新过程进行微分来求解。不同于以往的条件均值方法，我们的方法适用于非线性预测器和高维连续敏感属性。在一个由 21 个表格回归数据集和 Communities & Crime 数据构建的半合成基准测试中，FBO 和 ITD 获得了不逊于或优于现有方法的准确率-DPVar 权衡。

arXiv cs.LG74

奖励可观测性与 RSSM 世界模型中离线检查点选择的局限性

arXiv:2607.01736v3 公告类型：替换 摘要：我们研究了在 Gymnasium 的 LunarLander-v3 中使用人类演示训练的循环状态空间模型（RSSM）世界模型的闭环特性。我们使用训练好的世界模型进行零样本 CEM 模型预测控制（MPC），并在想象环境中进行演员-评论家（A2C）训练。在 100 个留出的回合上进行评测后，所选的基于模型的 A2C 策略（在世界模型检查点 280 上训练）达到了 +189.5 的平均回报，与表现最佳的无模型 A2C 检查点（+183.7；回合上限分别为 600 步和 1000 步）相当，而实际训练交互次数减少了约 65 倍。我们还将世界模型 MPC 与基于成功演示训练的行为克隆（BC）策略进行了比较。只有在随机动作选择下，BC 策略的平均回报才与 MPC 相当；在相同的 20 个回合中，BC 策略出现了 1 个灾难性回合，而 MPC 没有。随后，我们引入奖励可观测性比例（Reward Observability Fraction，ROF）：它表示在线性化潜在动力学的可观测子空间中，奖励梯度的欧几里得比例。我们证明，接下来的 H 个观测包含关于该子空间中每个方向的 Fisher 信息，而不包含关于与该子空间正交方向的信息。然而，ROF 本身取决于潜变量的缩放方式：重新缩放潜变量会改变 ROF，却不会改变模型，因此不同模型之间的原始 ROF 水平不可比较。将奖励头强制连接到经过后验校正的潜变量 z 上会提高 ROF，并且在我们测试的两组运行上，这一提升通过了坐标不变性检验。最后，我们检验 ROF 或其他离线指标能否预测 MPC 的闭环崩溃。即使数据和配置完全相同，不同训练运行之间也会出现不同程度的崩溃。ROF 无法预测崩溃；我们筛选的 108 个离线汇总指标均未通过置换检验，最佳候选指标在新的运行上也会失效。仅凭模型和记录数据从离线结果预测崩溃仍是一个开放问题。

arXiv cs.LG76

Red Queen G\"odel Machine：共同进化的智能体及其评估器

arXiv:2606.26294v3 公告类型：替换 摘要：自我改进型智能体在智能体编码基准测试中已达到最先进水平，但其搜索方法假设评估标准是静态不变的。这忽略了进化的一个核心特征：物种会随着环境的变化而适应。我们提出 Red Queen G\"odel Machine（RQGM），一种针对非平稳效用进行递归自我改进的进化框架。该框架使学习型评估器能够与其引导的智能体共同改进。在 DeepSWE 上，RQGM 通过加入互补的“智能体作为评审者”代码审查信号，超越了固定评估器基线：共同进化的评审者对编码器生成的补丁进行评分，以引导搜索。在较低推理投入下，RQGM 编码器在留出任务上的通过率达到 82.1%，而基线为 75.0%；在较高投入下，其表现几乎达到 GPT-6 Astra 模型的水平。在科学论文写作与评审，以及奥林匹克竞赛级别的证明写作与评分任务中，共同进化的评估器能够提供评估标准。以人类 IMO 评分为锚点，一名共同进化的评分器自行撰写阶段性评分标准，并以低 3 倍的搜索成本超越静态基线，推动证明器取得最高平均分。由于 RQGM 能够跨轮次修改搜索目标，因此可以对搜索过程进行正则化。例如，RQGM 通过加入额外的对抗性目标，发现对 AI 作品和人类作品同样严格的评审者，从而减少自我偏好偏差。在这些经过校准的评审者引导下，共同进化的写作者在“智能体作为评审者”评审面板下的接受率达到基线的 1.78 至 1.86 倍。RQGM 使自我改进系统成为可能：智能体与评估器能够在递归过程中相互促进，突破静态评估的限制。

arXiv cs.LG72

Neural Conjugate Aggregation：异质传感器偏差下可辨识的无监督多传感器回归

arXiv:2606.22200v2 发布类型：替换 摘要：我们研究不确定性下基于回归的数据融合问题：有多个带噪声且存在偏差的测量源可供使用，但训练期间缺少真实标签。这一场景常见于传感器网络、仿真集成以及监督成本高昂或难以实现的科学监测系统。我们提出 Neural Conjugate Aggregation Model（NCAM），这是一个将神经网络与共轭高斯推断相结合、用于无监督多源融合的层次贝叶斯框架。NCAM 根据上下文协变量学习各数据源特有的偏差和可靠性，从而针对潜在目标变量得到具有解析可处理性的后验分布，并分解认知不确定性与偶然不确定性。通过传感器锚定和方差正则化，我们解决了结构性不可辨识问题，实现了稳定且可解释的后验聚合。为利用有限样本保证性补充贝叶斯不确定性，我们整合了局部自适应蒙特卡洛保形预测，在可交换性假设下生成具有覆盖率保证的异方差预测区间。在合成数据集和真实世界空气质量数据集上的实验表明，与包括均值聚合、概率 PCA 和 Kalman filtering 在内的无监督基线方法相比，该方法具有更高的预测准确性和校准良好的不确定性。

arXiv cs.LG77

从自身解中学习：面向可验证奖励强化学习的自条件信用分配

arXiv:2606.18810v2 发布类型：替换 摘要：带有可验证奖励的强化学习（RLVR）推动了用于推理任务的 LLMs 训练取得重大进展，但 GRPO 等代表性方法在所有 token 间分配均等的信用，将梯度浪费在常规 token 上，同时对关键推理步骤的信用分配不足。现有的 token 级信用分配方法需要模型自身 rollout 之外的资源。GRPO 的变体依赖过程奖励模型或真实答案。知识蒸馏通过每个 token 的散度分配信用，但需要外部教师（On-Policy Distillation）或特权信息（On-Policy Self Distillation）。然而，这些依赖限制了其在纯 RLVR 环境中的适用性。我们观察到，以模型自身经过验证的轨迹为条件，会在原始分布与条件分布之间诱导出可测量的逐 token KL 散度；我们还证明，当存在多条经过验证的轨迹时，从由这些轨迹构建的自教师进行蒸馏会导致不可行的加权平均解。我们提出 SC-GRPO（Self-Conditioned GRPO），将前述 KL 散度作为乘法权重作用于 GRPO 梯度。在涵盖数学、代码和智能体任务的五个基准测试中，SC-GRPO 始终优于 GRPO 8.1%，优于 DAPO 5.9%，并展现出更强的 OOD 性能。此外，SC-GRPO 的性能高于 OPD。

arXiv cs.LG72

S4oP：面向资源受限设备的结构化状态空间模型算子级剪枝

arXiv:2606.18096v2 公告类型：替换 摘要：结构化状态空间模型（SSM），包括 S4 和 S4D 架构，近年来已成为基于注意力的模型的有力替代方案，能够捕捉序列数据中的长程依赖关系。尽管这些模型在经验性能方面表现出色，但由于计算和内存开销较大，在时间和资源受限的环境中部署仍然面临挑战。本文提出了一种针对基于 S4 和 S4D 的模型的新型增量式算子级剪枝方法，在保持预测性能的同时显著降低推理成本。据我们所知，这是首项系统研究针对 SSM 的结构化算子剪枝工作的研究。我们的方法通过交替执行结构化掩码和微调，逐步剪除模型算子，同时联合监测准确率和推理延迟。我们在统一的训练与评估框架中实现了该方法，从而能够系统地探索效率与准确率之间的权衡。在多个基准数据集上的实验表明，在大多数情况下，剪除多达 70% 的模型算子仍能保持原始模型的性能，同时显著降低推理延迟。这些结果表明，结构化算子剪枝是提升 SSM 效率的一种有效且此前尚未被探索的策略，有助于推动其在实际资源受限场景中的部署。

arXiv cs.LG77

在生成空间中学习隐式偏差以加速蛋白质动力学模拟

arXiv:2606.01833v2 公告类型：替换 摘要：蛋白质动力学的生成式模拟器能够以分子动力学一小部分的成本生成合理的轨迹，但它们会继承训练分布，并且在长时域外推过程中往往会重复访问已知状态，而不是到达稀有状态。受经典增强采样的启发，我们在预训练模拟器的生成空间中引入一种隐式的、依赖历史的偏差。具体而言，历史感知评分估计器通过距离加权偏差增强冻结的模拟器，引导反向时间采样远离此前生成的结构，并通过环境支持项进行正则化。为在长时域内保持结构有效性，我们采用基于评分的细化步骤，利用冻结的模拟器将漂移后的样本重新投影到数据流形上。实验表明，该方法：（i）在 DynamicPDB-80 上将多样性提升了 $35\%$；（ii）对于 $12$ 个零样本 Fast-Folding 蛋白，仅使用学习到的偏差，就能以高达约 ${\sim}15\times$ 的速度达到无偏模拟器的覆盖范围；将其与细化步骤结合后，达到该覆盖范围的速度最高提升至约 ${\sim}37\times$，同时覆盖的低能量状态数量增加至约 ${\sim}3\times$。代码即将发布。

arXiv cs.LG78

面向决策的上下文线性优化策略内学习与部分反馈

arXiv:2606.01081v2 公告类型：替换 摘要：面向决策的学习（DFL）通过优化下游决策质量，而非单独的预测准确率，来训练预测模型。对于上下文线性优化，现有大多数 DFL 方法都假设使用离线数据，并且能够完整观测目标成本向量。我们针对部分反馈下的序列上下文线性优化，提出了一种策略内学习方法，将标准的 bandit 反馈设置进行了推广。我们的方法学习一种随机的“预测后优化”策略：从条件分布中采样成本向量预测，并求解由此得到的下游线性优化问题。为更新这一分布模型，我们引入了一种由两个部分组成的混合梯度估计器。第一部分是得分函数估计器，它能够提供无偏但可能具有较高方差的策略梯度估计。第二部分是面向决策的插件组件，它利用对潜在成本向量的辅助干扰估计来挖掘下游优化结构；随着该估计的改进，这一组件将提供更多信息。我们证明，策略梯度范数平方的平均值满足 O(T^-1/2) 界，与标准非凸 SGD 的收敛速率相匹配。在 top-k 选择、最短路径、组合定价以及真实数据能源调度基准上的实验表明，在 bandit 反馈下，混合梯度方法在全部四个基准上都比上下文 bandit 基线取得更低的平均累积遗憾，在其中三个基准上也优于线性 Thompson sampling；实验还表明，该方法同样适用于更丰富的条件生成式成本模型。代码可在 https://github.com/Joeyetinghan/on-policy-bandit-dfl 获取。

arXiv cs.LG76

信赖域 Q Adjoint Matching

arXiv:2605.27079v2 发布类型：替换 摘要：预训练流策略的离策略强化学习仍然面临挑战，因为多步采样过程带来的优化不稳定性使其难以训练。近期，带 Adjoint Matching 的 Q-learning（QAM）将策略改进重新表述为由学习得到的评论家引导的随机最优控制（SOC）问题，从而解决了这一问题。然而，QAM 继承了评论家引导式策略改进的一个根本性脆弱点：微小的评论家误差可能被指数级放大，并经常导致性能崩溃。本文提出 Trust Region Q Adjoint Matching（TRQAM），这是一种稳定的离策略微调算法，通过投影对偶下降自适应地控制微调策略与预训练策略之间的路径空间 KL。具体而言，我们在流策略的采样过程中调整信赖域参数 $\lambda$，并证明 $\lambda$ 会在 SOC 目标中对路径空间 KL 进行精确加权。因此，我们的方法能够在预先设定的 KL 预算内严格控制策略偏离预训练策略的程度，从而实现稳定的离策略强化学习。在 50 个 OGBench 任务上的实验表明，TRQAM 在离线强化学习和离线到在线强化学习中均持续优于以往方法。特别是，TRQAM 在离线强化学习中取得了 68% 的总体成功率，显著高于最强基线的 46%。

arXiv cs.LG73

ROAR：面向零样本时间序列预测的检索机会感知精炼

arXiv:2605.24911v2 公告类型：替换 摘要：检索增强为时间序列预测器提供了历史延续片段，然而，即使候选片段优于基础预测，也未必能改善最终预测结果。我们提出 ROAR，一种面向零样本时间序列预测的检索机会感知精炼框架。为更好地利用这些改进机会，其训练目标根据基础预测的难度以及检索候选片段所带来的相对改进程度，在不同查询之间分配额外权重。在此目标下，ROAR 首先学习聚合对齐的历史候选片段，并使用一个学习得到的门控机制，相对于固定的基础预测器控制候选片段的校正强度。随后，它联合校准预测模块和门控机制，以协调二者的贡献，同时将组合预测锚定到第一阶段的精炼输出。我们推导了精炼增益和机会加权训练损失的精确分解，并在局部线性化条件下刻画了联合校准带来的额外增益。在七个基准数据集上的实验表明，在参与比较的方法中，ROAR 达到了最低的平均 MSE。进一步评估显示，在多个骨干网络系列和检索增强预测器上，ROAR 都能带来平均预测性能提升。

arXiv cs.LG77

MARGIN：面向多智能体基础模型协同的运行时置信度校准

arXiv:2605.22949v4 公告类型：替换 摘要：当协调器比较异构基础模型的答案时，不同应答模型所报告的置信度可能具有不同含义，并且这种含义还会随工作负载变化。本文提出 MARGIN（Multi-Agent Runtime Grading via Incremental Normalisation），一种运行时校准方法。该方法根据观测到的答案结果学习针对不同模型的置信度修正，无需重新训练模型，也不需要留出校准集。MARGIN 在各个置信度区间内跟踪近期准确率和模型给出的置信度，利用二者的比值修正报告的置信度，并将样本稀疏区间的修正结果向模型级估计进行平滑。修正后的分数用于在集体决策中对候选答案加权。评估涵盖代码生成、问答和数学任务，使用包含 18 个模型的模型池，并在分布偏移实验中使用其中的九模型子集。在 BigCodeBench 上，模型平均置信度与准确率呈负相关；在正确/错误回答对中，选择置信度更高的应答模型，其表现低于随机水平。与五种在线校准基线方法相比，这些基线接收相同的反馈，并在每次转换过程中保留所学习的状态，MARGIN 在两次代码生成转换中的分布偏移后期望校准误差均低于这五种方法，在一次问答转换中低于其中四种；剩余的一次问答比较结果尚无定论。在独立的代码生成协同实验中，相较于未经校准的置信度加权，校准提升了正确回答的排序效果，并在三个基准中的两个上使答案选择准确率分别提高了 4.3 和 14.0 个百分点。这些结果表明，当能够获得参与应答模型的正确性反馈时，针对模型的运行时校准有助于应对工作负载变化下的协同决策。

arXiv cs.LG78

蒸馏博弈：自适应评估与高效防御

arXiv:2605.22737v4 公告类型：替换 摘要：蒸馏攻击给模型提供方带来了部署层面的权衡：使模型更有用的同一批输出，也可能让模型更容易被模仿。我们通过受效用约束的教师模型与自适应学生模型之间的极小极大博弈，研究了这一权衡。我们的框架产生了易于处理的单边响应规则：一种自适应评估规则，使学生模型对高价值样本重新加权；以及一种教师模型侧的防御模板，抑制对蒸馏最有用的输出。基于一种低成本的样本价值代理指标，我们提出了 Product-of-Experts（PoE），这是一种简单的、仅需前向传播的防御方法，在生成过程中将教师模型与代理学生模型结合起来。实验证明，自适应评估揭示了显著的被动评估与自适应评估差距：在当前最先进的防御方法上，相比被动评估所显示的结果，自适应学生模型在 GSM8K 和 MATH 上恢复出了多得多的能力。在这一更强的评估下，昂贵防御方法与 PoE 之间表面上的鲁棒性差距大幅缩小，而 PoE 的成本仍显著更低，并且能够保留质量更高的推理轨迹。总体而言，我们的结果表明，强大的蒸馏攻击仍然难以阻止；反蒸馏研究的进展应当依据自适应学生模型，而非被动学生模型进行评估。我们的代码可在以下地址获取：https://github.com/ysfalh/distillation-game】【。

arXiv cs.LG76

超越准确率：EEG基础模型的鲁棒性、可解释性与表达能力

arXiv:2605.17562v2 公告类型：替换 摘要：EEG基础模型（EEG-FMs）主要依据干净、同分布数据上的准确率进行评估；与监督式基线和较弱的冻结表示相比，它们仅展现出有限的性能提升。本研究通过在十个数据集上评估六个EEG-FMs和一个监督式基线，从三个分析层面考察这些结论是否适用于超越干净准确率的情形：（i）鲁棒性：我们施加了测试时扰动，包括加性噪声、随机及基于脑区的通道丢弃，以及特定脑区的噪声注入。分析表明，没有任何单一模型能够在所有失效模式下占据主导地位。噪声鲁棒性最强的模型之一，在通道丢弃下却最为脆弱；而且，当通道被移除而不是进行零填充时，大部分通道丢弃脆弱性会消失。（ii）可解释性：利用EEG-FMs中的归因方法，我们表明，模型总体上会将相关性集中于与任务相匹配的脑区，这与已知的神经生理学规律一致。（iii）表达能力：我们证明，先前归因于低质量预训练表示的仅使用任务头时性能不佳，在很大程度上是由池化策略导致的；当保留其词元级嵌入时，EEG-FMs具备足够的表示能力。此外，通过分块探测和注意力分析，我们表明，后部模块会在微调过程中被重新调整用途，而前部模块已经包含与任务相关的信息。我们的结果表明，对EEG-FMs的结论取决于评估选择；我们建议，未来对EEG-FMs的评估应报告各类扰动下的鲁棒性，生成归因图，并考察多种池化策略。

arXiv cs.LG80

利用梯度预测实现快速对抗攻击

arXiv:2605.14868v2 公告类型：替换 摘要：大规模生成对抗样本是鲁棒性评估、对抗训练和红队测试的核心基础操作，但即使是 FGSM 这类“快速”攻击，也仍然受限于一次反向传播的成本。我们提出了一系列攻击方法，通过轻量级线性回归，利用前向传播的隐藏状态预测输入梯度，从而消除反向传播过程。从理论上看，我们推导出了精确的仿射条件梯度均值，证明了该方法在（理想化的）NTK 机制下的最优性。在实验中，我们的方法应用于实际的有限宽度模型时依然有效；在仅耗费极少时间的情况下，我们保留了 FGSM 大部分的攻击性能，使吞吐量提升了 $532\%$。这些结果表明，在现实的运行时间约束下，梯度预测是显著加速对抗样本生成的一种简单且通用的方法。

arXiv cs.LG77

FeatCal: Feature Calibration for Post-Merging Models

arXiv:2605.13030v2 Announce Type: replace Abstract: Model merging combines task experts into one model and avoids joint training, retraining, or deploying many expert models, but the merged model often still underperforms task experts. We study this performance gap through feature drift, the difference between features produced by the merged model and by the expert on the same input. Our theory decomposes this drift into upstream propagation and local mismatch, tracks how it propagates and combines through later layers in forward order, and links final feature drift to output drift. This view motivates FeatCal, which uses a small calibration set to calibrate the merged model weights layer by layer in forward order, reducing feature drift while staying close to merged weights and preserving the benefits of model merging. FeatCal uses an efficient closed-form solution to update model weights, with no gradient descent, iterative optimization, or extra modules. On the main CLIP and GLUE benchmarks, FeatCal beats Surgery and ProbSurgery, the closest post-merging calibration baselines: 85.5% vs. 77.0%/78.8% on CLIP-ViT-B/32 Task Arithmetic (TA) and 85.2% vs. 83.7%/82.2% on FLAN-T5-base GLUE. On CLIP-ViT-B/32, 8 examples per task reach 82.9%, and 256 examples per task take 53 seconds, about 4x faster than both baselines, showing better sample efficiency and lower calibration cost.

arXiv cs.LG81

Inference-Time Machine Unlearning via Gated Activation Redirection

arXiv:2605.12765v4 Announce Type: replace Abstract: Large Language Models (LLMs) memorize vast amounts of training data, raising concerns regarding privacy, copyright infringement, and safety. Machine unlearning seeks to remove the influence of a targeted forget set while preserving model performance, ideally approximating a model retrained from scratch without it. Once an LLM is in use, every new request to make it forget specific content demands updating its weights. However, unlearning through parameter updates is expensive, hard to audit, and can be undone by quantization. We show that unlearning can be enforced entirely at inference time, without training, gradients, or weight changes. We introduce Inference-Time Unlearning via Gated Activation Redirection (GUARD-IT), a training- and gradient-free method that unlearns via input-dependent activation steering at inference time. GUARD-IT stores the content to be forgotten as a small library of activation directions, and during inference, it routes each query through a similarity gate that activates only for relevant directions and applies them as a norm-preserving rotation of the residual stream, while unrelated queries pass through the unmodified model. The same design carries across three model families and nine checkpoints from 0.8B to 8B parameters, and new forget requests are absorbed by one offline pass of forward passes. On TOFU, against 16 gradient-based and inference-time baselines, and on MUSE and WMDP, GUARD-IT forgets without breaking the model, and on TOFU it is the only method that suppresses memorization in every Llama configuration without collapsing: it keeps utility and fluent generation in every configuration, moves the model's output distribution closest to a model that never saw the forgotten data on the forget01 split, survives 4- and 8-bit quantization and ten sequential forget requests, and holds under jailbreak attacks.

arXiv cs.LG79

期望的批次最优传输计划及其对流匹配的影响

arXiv:2605.12174v2 发布类型：替换 摘要：在大规模学习中，针对随机小批次求解最优传输（OT）是精确 OT 的常见替代方案。在流匹配（FM）中，这种替代方案用于获得类似 OT 的耦合，从而使概率路径变直并降低数值积分成本。然而，重复执行小批次 OT 所诱导的总体层面耦合仍未得到充分理解。我们将这一耦合形式化为期望批次 OT 传输计划 $\overline{\pi}_{k}$，其通过对独立的、大小为 $k$ 的小批次上的经验 OT 传输计划取平均得到。随后，我们证明了其在大批次下的一致性，并在与生成建模相关的半离散情形中，推导出传输成本偏差以及 $\overline{\pi}_{k}$ 收敛至 OT 传输计划的速率。对于 FM，这得到了一种总体耦合，其诱导的速度场具有足够的正则性，能够定义从源分布到离散目标分布的唯一流。最后，我们在一个易于处理的双原子模型以及合成数据和图像实验中，量化了 OT 批次大小与数值积分之间的相互作用。

arXiv cs.LG74

记得遗忘：门控自适应位置编码

arXiv:2605.10414v2 公告类型：替换 摘要：旋转位置编码（RoPE）广泛应用于现代大型语言模型。然而，当序列长度超出训练期间见过的范围时，旋转相位可能进入分布外区域，从而导致虚假的远程对齐、注意力分散以及检索性能下降。现有的解决方案只能部分缓解这些问题，因为它们通常需要以牺牲局部位置分辨率为代价来换取长上下文稳定性。我们提出 GAPE（门控自适应位置编码），这是一种可直接替换使用的位置编码增强方法，在保留旋转几何结构的同时，将内容感知偏置直接引入注意力 logits。GAPE 通过一个依赖查询的门控机制压缩无关上下文，并通过一个依赖键的门控机制保留重要的远距离 token，从而将基于距离的抑制与 token 重要性解耦。我们证明，受到较弱保护的远距离上下文会随着查询门控值的变化呈指数衰减，而被选中的键则可通过地标保护继续保持可访问性。我们进一步证明，GAPE 可以在标准缩放点积注意力中实现。在受控检索和语言建模实验中，GAPE 在长上下文场景下表现出更强的鲁棒性，并可外推至训练长度的 8 倍。我们还将 GAPE 改造并应用于一个预训练的 7B 模型，在标准基准测试中保持了原有性能，并在评估的最长上下文长度下取得了更好的表现。这些结果表明，自适应上下文抑制可以作为位置表示的补充，促进长上下文泛化。

arXiv cs.LG82

别把 Kroneckers 搞乱：高维不完整网格上的高斯过程

arXiv:2605.08036v2 公告类型：替换 摘要：我们提出了 CUTS-GPR，这是一种用于在高维环境中执行数值精确 GPR 的新方法。CUTS-GPR 的核心组件是一种极其快速的核矩阵-向量乘法，其计算规模随训练数据量 $N$ 近似线性甚至呈线性增长，并且随维度 $D$ 呈低阶多项式增长。这是通过将加性核与不完整网格相结合，并利用由此产生的核矩阵结构实现的。我们通过包含数十亿个数据点和数千个维度的基准测试，验证了矩阵-向量乘法的可扩展性。我们进一步在合成数据集上运行完整的 GPR 计算（包括超参数优化），其中最大规模达到 $N = 4\,494\,001$ 和 $D = 500$，展示了 CUTS-GPR 端到端的可扩展性。作为一项现实且具有挑战性的测试，我们最终将 CUTS-GPR 应用于一组包含十个势能面（PESs）的数据集，其规模为 $N = 447\,265$ 和 $D = 24$。这些计算在数小时内完成，表明 CUTS-GPR 能够实现高维 PESs 的贝叶斯建模——这是计算化学领域长期以来的一项挑战。

arXiv cs.LG73

扰动二阶校准的极小极大速率

arXiv:2605.07808v2 公告类型：替换 摘要：二阶校准误差刻画了高阶预测器的认识不确定性估计与其水平集上标签概率的条件方差之间的匹配程度。我们刻画了在对分类器输出施加小扰动的情形下，二分类中二阶校准误差估计的极小极大速率。我们的方法十分简单：向分数坐标添加相互独立、带宽为 $h$ 的 sech 噪声，然后使用低阶多项式，根据扰动后的分数对 $Y^{(1)}$ 和 $Y^{(1)}Y^{(2)}$ 进行回归。关键在于，sech 扰动使校准函数在适当的带状区域内解析。所得估计器的误差为 $O_h(\log^{3/2}n/\sqrt n)$，且具有显式常数。在相同设置下，一个匹配的 $\Omega(1/\sqrt{n})$ 下界表明，该方法除对数因子外达到了极小极大最优性。作为推论，我们给出了扰动二阶 Platt scaling 的有限样本保证，从而得到一种事后处理方法，可同时重新校准扰动高阶预测器的均值预测和认识方差估计。与此同时，我们给出了二阶校准误差的显式双矩公式，并定量地将其与 Ahdritz et al. [2025] 的分桶公式联系起来。实验结果验证了所预测的速率以及重新校准后不确定性的质量。

arXiv cs.LG80

顿悟还是故障？低精度如何驱动 Slingshot 损失尖峰

arXiv:2605.06152v4 公告类型：替换 摘要：深度神经网络在未经正则化的长期训练过程中会出现周期性的损失尖峰，这一现象被称为“Slingshot Mechanism”。现有研究通常将其归因于内在的优化动力学，但其触发机制仍不明确。本文证明，该现象源于浮点运算的精度限制。当训练进入高置信度阶段时，正确类别与其他类别之间的 logit 差异可能超过吸收误差阈值。此时在反向传播过程中，正确类别的梯度会被精确舍入为零，而错误类别的梯度仍保持非零状态。这破坏了跨类别梯度的零和约束，并在分类器层的参数更新中引入系统性漂移。我们证明，这种漂移会与特征形成正反馈回路，导致全局分类器均值和全局特征均值呈指数增长。我们将这一机制称为数值特征膨胀（Numerical Feature Inflation，NFI）。该机制解释了 Slingshot 尖峰出现前范数的快速增长、梯度随后重新出现的现象，以及由此产生的损失尖峰。我们进一步表明，NFI 并不等同于观测到的损失尖峰：在更实际的任务中，部分吸收可能不会产生可见的尖峰，但仍可能破坏零和约束，并推动参数范数快速增长。我们的结果将 Slingshot 重新解释为有限精度训练中的一种数值动力学，并为训练后期异常的参数增长和 logit 发散提供了可检验的解释。

arXiv cs.LG73

State Stream Transformer (SST) V2：用于潜在空间推理的非线性递归并行训练

arXiv:2605.00206v2 公告类型：替换 摘要：当前的 Transformer 会丢弃位置之间丰富的潜在残差流，在每个新位置重新构建潜在推理上下文，从而未能充分利用潜在的推理能力。State Stream Transformer (SST) V2 通过在每个解码器层中采用由 FFN 驱动的非线性递归，实现了连续潜在空间中的参数高效推理；其中，潜在状态通过学习得到的混合机制，沿整个序列横向传递。该机制还支持在推理时针对每个位置进行连续的潜在思考，在确定输出某个 token 之前投入额外的 FLOPs 来探索抽象推理过程。一个两遍式并行训练过程对顺序递归进行近似，使联合训练在计算上切实可行。隐藏状态分析表明，状态流通过连续潜在空间中尖锐且依赖内容的重组来促进推理；LM head 通过输出分布显现由此产生的潜在信念状态，而状态流则将这些状态向前传递，以影响后续位置。一个经过训练的探针显示，在第一个生成 token 时，潜在状态就已经能够预测：对于后续每个位置，在进行额外潜在计算后，最终答案是否会保持正确或出错。研究者仅使用少量 GSM8K 样例数据，将该模型联合训练到一个现有的 27B 骨干模型中，并使用 oracle 将每个问题路由到每个 token 一至四次递归前向传递的深度。在分布外 GPQA-Diamond 评测中，SST 达到了 61.11% 的架构容量上限，比与其微调设置匹配的基线高出 15.15 个百分点，并使该基线在 GSM8K 上剩余的错误减少了 46%。总体而言，这些结果提供了一种高效训练非线性递归的方法，并表明，与训练设置相同的其他 Transformer 相比，状态流能够提供额外的推理能力。