arXiv:2610.13764v1 发布类型：cross 摘要：先验数据拟合网络（PFNs）经过训练，用于近似合成先验的贝叶斯后验预测分布（PPD），但关于其近似质量的研究结果却出人意料地有限。我们从经验风险最小化的角度出发，将 PFNs 的部署误差分解为先验误差、上下文误差和摊销误差，并在现实先验下，以参考 PPD 为基准衡量摊销误差。结果表明，PFNs 通常能够很好地恢复目标 PPD。然而，我们发现，部分残余摊销误差仍然存在，尤其是在先验预训练分布下的\textit{罕见}情形中；即使扩大模型规模，这种误差仍未消失。这表现为独立预训练的 PFNs 之间存在分歧，并导致推理时预测器的不确定性。作为补救措施，我们研究了多种类型的贝叶斯模型平均，发现它们能够持续降低这种不确定性，并改善预测效果，直至全尺寸 TabICLv2 模型。
arXiv:2610.13744v1 公告类型：cross 摘要：在策略自蒸馏有望将可验证奖励 RL 的稀疏结果信号替换为稠密的 token 级信用分配：一个以参考解为条件的教师模型对学生模型自身生成的轨迹进行评分，然后将由此产生的分布偏移蒸馏回策略中。我们研究这一评分信号是否确实包含纠正性信用。利用学生模型生成轨迹中的金标准错误片段，我们针对自蒸馏目标所使用的两种信号——完整分布 KL 和 token 对数比值——测试两个性质：它们能否定位错误，以及能否促使概率远离学生模型生成的错误 token。结果表明，这两种信号既不具备上述任一性质，也无法在同一个问题内可靠地区分正确轨迹和错误轨迹。我们认为，这种失败具有结构性：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这一搜索。对于同一个模型，在拥有相同特权信息的情况下，如果允许其生成批评，就能更好地定位错误。这促成了\emph{批评条件化自蒸馏}：首先对当前轨迹生成批评，然后让评分教师以该批评为条件。由此产生的信号能够定位错误，在错误片段内部具有纠正作用，并会将概率推向那些启动回溯的 token，例如“Wait”、“But”和“Actually”。我们进一步表明，这种批评在测试时和冷启动 GRPO 中都很有用：在测试时，将批评置于上下文中并从错误轨迹继续生成，可以解决模型通过采样无法解决的数学问题；在冷启动 GRPO 中，它能为仅凭可验证奖励无法提供任何信号的提示提供优势信号。
arXiv:2610.13740v1 公告类型：cross 摘要：世界-动作模型（WAM）能够预测机器人的动作以及这些动作将产生的观测结果。然而，性能最强的模型依赖视频扩散 Transformer，其计算开销对于资源受限的边缘设备而言过高。我们提出 SmolWAM，这是一种潜在 WAM，由拥有 2B 参数的 Cosmos Policy 构建而成：保留其预训练主干网络，并重建其推理接口，包括单帧视觉潜变量、保留主干网络注意力汇的缓存文本特征、28 个 Transformer 模块中的 12 个，以及从中读取动作和未来视觉潜变量的 1,008 个 token，并在一次整流流步骤中完成读取。SmolWAM 仅用 3.6 个 GPU 小时训练完成，在 400 个 LIBERO 回合中的成功率达到 95.5%；对于每个包含 16 个动作的分块，其延迟为 57 ms，计算量为 2.3 TFLOP，GPU 内存占用为 2.4 GiB。与教师模型相比，它的速度快 11 倍，FLOP 少 18.5 倍，内存占用降低 3.2 倍，同时其世界头仍能预测场景运动。
arXiv:2610.13708v1 公告类型：cross 摘要：长上下文服务在硬件达到其有效吞吐量之前就会耗尽 KV 内存。HiSparse 将历史记录存储在主机内存中，仅获取选定条目，但它在任何负载下都使用相同的缓存预算，也不支持 DSpark 和 DFlash2 等草稿模型推测解码。我们提出 Adaptive DHiSparse，支持基于层级稀疏 KV 的推测解码，并根据负载调整驻留内容。它会保护所需的工作集，在 GPU 内存有余量时保留额外历史记录，并通过精确融合检索恢复其余内容。DSpark 和 DFlash2 保持各自的提议与接受规则：查询共享缺失行检索，草稿 KV 使用窗口限制的环形缓冲区，验证暂存区则在各层组之间复用。在 100K 上下文和并发数 128 下，采用 DFlash2 的 GLM-5.3 每个解码 GPU 可达到 793 个输出 token/s，分别是 HiSparse 的 1.45$\times$ 和非推测自适应服务的 1.27$\times$。在与 HiSparse 相同的延迟上限下，根据每 token 的延迟限制不同，其可支持的并发数最高提升至 4$\times$，输出量提升至 2.3 至 3.7$\times$。在 500K 上下文和并发数 512 下，DeepSeek-V4.1-Flash 采用 DSpark 的 Adaptive DHiSparse，其输出量达到采用 DSpark 的常驻式服务的 1.85$\times$。在负载阶跃变化期间，可选的驻留机制使低负载下主机获取量从选定行的 14.2% 降至 1.4%，并能在压力下释放内存。
arXiv:2610.13687v1 公告类型：cross 摘要：音频-视觉数据集蒸馏旨在从大型配对音频-视觉数据集中合成一个小型数据集，同时几乎保留其对神经网络的训练效用。现有方法（如 DM 和 AVDD）面临两个关键局限：1）它们的内存消耗很大，难以扩展到复杂架构和更高的每类样本数（SPC）设置；2）它们通常无法保留较强的跨模态语义对应关系。为解决这些问题，我们提出 X-AVDD，一种基于交叉注意力的蒸馏方法，可在合成过程中显式捕获模态间关系。通过将跨模态对齐与联合优化解耦，X-AVDD 显著提高了内存效率，使端到端合成成本降低约 $8\times$ GPU 小时，同时生成高度对齐的合成数据。实验结果表明，X-AVDD 的性能显著优于其他音频-视觉蒸馏方法。在 VGGSound（一个由 YouTube 短视频片段构成的音频-视觉数据集）上，当 SPC=$10$ 时，X-AVDD 将 top-1 测试准确率从 $8.2\%\rightarrow24.0\%$ 提升至 $24.0\%$；当 SPC=$20$ 时，则从 $9.8\%\rightarrow26.5\%$ 提升至 $26.5\%$。此外，X-AVDD 提升了跨架构泛化能力（例如，在 AVE 数据集上、SPC $=50$ 时，针对 ViT 目标模型的准确率从 $25.5\%\rightarrow35.3\%$），并成功扩展至 AudioCLIP 等复杂架构：仅使用完整数据集的 $5.65\%$，便达到了 $62.3\%$ 的准确率，而完整数据集的准确率为 $72.4\%；与使用完整数据集相比，训练时间缩短了 $9\times$。
arXiv:2610.13674v1 Announce Type: cross Abstract: Linearizing softmax attention offers a route to efficient Transformer inference, but preserving pretrained attention remains challenging. We identify an important source of approximation error overlooked by standard linearization methods: a small number of outlier dimensions contribute disproportionately to query-key dot products and account for a large fraction of the approximation error. Motivated by this heterogeneity, we propose Outlier-Aware Attention Linearization (OAL), a dimension-aware method for constructing quadratic attention approximations. Starting from a second-order Taylor approximation, we introduce a Hadamard-product formulation that makes individual query-key contributions explicit. This formulation relaxes globally shared coefficients to support dimension-specific linear terms and cross-dimensional quadratic interactions while preserving separable evaluation. To retain this flexibility with fewer parameters, OAL groups dimensions with similar contribution scales to share coefficients, while allowing distinct treatment of the few outliers. The resulting positive quadratic kernel is calibrated against pretrained attention outputs and admits linear-time evaluation with respect to sequence length for fixed head dimensions. On Qwen2.5-0.5B, OAL reduces frozen-attention output relative MSE by approximately 8.9% compared with DiJiang. Replacing middle-layer attention modules and jointly fine-tuning the kernel coefficients with LoRA further lowers WikiText-103 perplexity from 31.71 to 27.50 compared with a learned global quadratic, while improving accuracy on PIQA, HellaSwag, and ARC-E. These results demonstrate the value of outlier-aware dimension grouping for both attention approximation and pretrained-model conversion. The code is available at https://github.com/wuqianyue09/OAL
arXiv:2610.13663v1 公告类型：cross 摘要：许多机器学习方法采用两层结构：专家先选择一类方法，而在该类别中，关键组件的选择至关重要，通常需要人工完成。本文针对这些组件的自动调优问题，提出了一个可迁移到不同性质模型的框架。该多智能体大型语言模型（LLM）框架包含三个角色——分析员、编码员和记录员——并配备实验日志和沙箱化执行环境。不同于优化整个机器学习脚本或在离散空间中搜索架构的系统，该框架在一个开放但语义范围狭窄的空间中运行：智能体仅为指定组件生成代码，而保持整体网络结构不变。该方法从两个方向进行了验证：调优一个采用相关性学习的分类脉冲神经网络，以及利用物理信息神经网络（PINN）求解高阶微分方程。在五项任务中——MNIST 和 Digits 上的脉冲分类，以及广义非线性 Schrödinger 方程（GNLSE）和 Kuramoto--Sivashinsky（KS）方程的边值问题——该智能体均优于基线方法：分类准确率分别提高了 13 个百分点（MNIST）和 6 个百分点（Digits）；相对于解析单孤子解的误差降低了约 2491 倍；在采用高斯扰动的选定 GNLSE 实验中，不变量保持误差降低了约 325 倍，在多次初始化的平均结果中降低了 100 倍以上；对于采用高斯扰动的 KS 问题，质量漂移降低了 14 倍。因此，该框架能够在不改变自身内部结构的情况下，针对性质不同的任务调优关键组件。
arXiv:2610.13656v1 Announce Type: cross Abstract: Latent field models are essential for spatial statistics, but the posterior distribution of the latent field, even with a Gaussian process (GP) prior, is analytically intractable whenever the likelihood is non-Gaussian. Existing approximations are either too slow or too restrictive for large non-Gaussian datasets. We present a scalable variational inference framework that mirrors the sparse nearest-neighbor autoregressive structure of the prior in the variational family, uses normalizing-flow conditionals for expressiveness, and amortizes all variational parameters via a single shared neural conditioner. Doubly stochastic optimization with reduced ancestor sets achieves polylogarithmic complexity per iteration.
arXiv:2610.13653v1 Announce Type: cross Abstract: Reinforcement learning with verifiable rewards (RLVR) has substantially improved LLM reasoning, yet growing evidence suggests it mainly performs distribution sharpening: concentrating probability mass on reasoning paths the base model already produces. Recent work therefore seeks RLVR's gains without needing reward signals, by sampling from the power distribution $\pi_\alpha \propto \pi_{\text{base}}^\alpha$ via Markov chain Monte Carlo or sequential Monte Carlo. We show that these samplers fail to converge to $\pi_\alpha$ under realistic compute budgets, and that their gains are largely recreated via simple Best-of-$N$ with appropriate grading . This suggests they succeed by selecting high-probability sequences, not by approximating $\pi_\alpha$, raising a natural question: is the power distribution itself a worthwhile target? We test this hypothesis directly by fine-tuning the base model to match $\pi_\alpha$, sidestepping sampler convergence issues entirely. Despite approximating the target far more faithfully than existing samplers, this strategy yields gains that are noisy and specific to certain models and sampling tasks. Together, our results suggest that the value of power sampling lies not in faithfully targeting $\pi_\alpha$, but in the simpler goal of extracting sequences the base model already deems likely.
arXiv:2610.13649v1 公告类型：cross 摘要：机器学习方法正日益用于直接根据分子结构预测化学性质，以绕过量子力学计算通常高昂的成本。近期研究表明，在此类机器学习模型中加入基态电子密度作为输入可以提高预测准确性。本文采用了近期提出的替代泛函框架，该框架最初是为无轨道密度泛函理论开发的，并将其扩展到分子性质预测。我们表明，将基态密度作为模型输入，同时约束其为替代泛函的最小值，在 QM9 数据集七种广延性质中的六种上超越了当前最先进的性能。此外，该方法在取自 QM40 数据集的较大分子上展现出更强的泛化能力。对于两个数据集中的所有广延性质，我们的方法都优于那些利用基态密度提供信息、但不施加替代泛函约束的模型。
arXiv:2610.13628v1 公告类型：cross 摘要：视觉-语言-动作（VLA）策略发出稀疏目标，这些目标抵达机器人控制器时存在延迟且不规律，因此，即使预测的动作合理，也可能在人员附近产生突兀运动。现有解决方案的评估所使用的数据流、延迟和指标各不相同。JitterVLA通过不同控制器重放完全相同的指令和到达轨迹，从而单独分析控制器的影响。我们将其应用于合成到达动作、20人的手部轨迹、三个开源 VLA 流程（838个回合）以及一台实体 UR3。在延迟200毫秒的人体运动中，插值使所有来源的建模 p99 加加速度均有所降低，降幅为83%（从615降至106 m/s^3），代价是2.0厘米的跟踪误差；这一效果在新增的598个回合中也得到了复现。在更大的代价下，受加加速度限制的生成方式进一步降低了加加速度。熵与不连续性之间的关联在两个流程中呈现方向相反且可复现的结果；熵门控在其中一个流程中有效，但在另一个流程中无效。在 UR3 上，插值使六组探索性配对中的加速度计推导加加速度降低了3.0%至14.0%，而基于位置推导的指标未能解释这一差异。JitterVLA支持在开展以人为中心的研究之前进行筛选；代码和数据将发布。
arXiv:2610.13625v1 公告类型：cross 摘要：一项研究的外部有效性，是指其研究结果能够推广到未见过的实验条件（例如数据集）的程度。我们将研究结果与其研究问题一同形式化，并将外部有效性定义为：研究的两个相互独立且规模相同的重复实验所产生的结果，其最大均值差异（MMD）低于给定容差的概率。这种方法的核心在于选择结果空间以及适用于 MMD 的再生核；它足够灵活，可以应用于多种不同类型的结果和研究问题。此外，我们建立了研究规模与 MMD 分位数之间的渐近幂律关系，并利用该关系根据小规模初步研究估计具备外部有效性的研究所需规模。我们将该框架应用于带有并列名次的排名问题，并讨论适用于不同研究问题的核函数。在现有案例研究和模拟设计的新研究上的实验展示了该框架的适用性。我们将代码作为 genexpy Python 模块的一部分发布。
arXiv:2610.13614v1 Announce Type: cross Abstract: We discuss three simple connections between generative diffusion and optimal transport. First, the joint law of the data and of their Ornstein-Uhlenbeck noising is, at every time, the solution of an entropic optimal-transport problem, at a temperature set by the noise level. Backward diffusion can consequently be read as an annealing which gradually decreases the entropic regularization. Second, we study the speciation transition--how the modes of the data distribution emerge during generation--and compare how it happens in diffusion and flow matching with respect to optimal transport. Using Gaussian mixtures as high-dimensional example, we show that the dynamical instability through which diffusion and flow matching separate the modes becomes, for optimal transport, an exponentially thin boundary layer at the beginning of generation, which is rounded by entropic regularization. Third, considering a generic forward dynamics with a general confining potential, we show that the backward process driven by the score also satisfies a drift-based variational principle whose minimal cost is the entropy difference between initial and final distributions.
arXiv:2610.13608v1 公告类型：cross 摘要：语音强度转换是在保留语音内容和说话人身份的同时，以不同的语音强度重新生成录制的语句，而不是简单地缩放其振幅。现有系统通过参考语句或少量离散类别来控制强度。与之不同，我们在连续的 dB 刻度上，使用任意目标声压级（SPL）控制转换。我们训练了一个无需并行数据的条件循环一致 GAN 轻量级转换器，用于转换冻结语音编码器提取的特征，再由预训练声码器重新合成语音。我们比较了三种表示形式：对数梅尔频谱图、WavLM 和 SpeechTokenizer，并提出一种客观评估方案，在经过校准的语料库上测量实际实现的强度变化与目标强度变化之间的差异。使用 WavLM 时，转换器实现了目标强度变化的 83%，并且还会改变基频。感知评估证实，在振幅归一化的刺激材料上，感知到的语音强度会随目标声压级的提高而增加。
arXiv:2610.13606v1 公告类型：cross 摘要：相关矩阵同时包含非线性的正定性约束以及行列同步置换对称性。因此，对其进行生成涉及两个不同的问题。首先，无论变量如何排序，每个输出都必须保持在相关椭圆体上。其次，生成器必须学习经验数据在该有效空间内部所占据的领域特定分布。现有的金融图像生成器将这两个问题混为一谈：它们学习有序的矩阵条目，随后再修复无效采样结果。我们提出了 CorrFlow，将二者分离处理。广义 Fisher 变换将满秩相关矩阵双射到无约束坐标，从而无需投影即可保证输出有效。图流匹配网络在这些坐标中学习经验分布，并且具有置换等变性：重新排列变量只会相应地重新排列输出。我们在 $80\times80$ 的台湾股票矩阵上比较了条件式 CorrGAN 的复现版本、图像扩散模型和 CorrFlow，其中每种神经方法使用五个随机种子。CorrFlow 无需修复即可生成 100% 有效的采样结果，并取得了特征切片 Wasserstein 距离 $.712\pm.141$；相比之下，CorrGAN 和图像扩散模型在将无效输出投影回相关空间后，该距离分别为 $4.339\pm.252$ 和 $4.610\pm.191$。与历史查找相比，CorrFlow 也改善了这一距离，但历史查找具有更高的局部覆盖率。这些结果支持在所评估的训练预算下采用这一组合构造；但它们并未证明其优于经过充分调优的图像模型，也未分离各个组件的贡献。
arXiv:2610.13590v1 Announce Type: cross Abstract: Recent results [arXiv:2602.04378, arXiv:2602.22608] have established worst-case objective-error lower bounds of order $1/T^2$ after $T$ linear minimization oracle (LMO) calls, matching the upper bound [arXiv:1406.1305] in its dependence on $T$ and thereby resolving a long-standing open question. Upon close inspection, however, both lower bounds are somewhat brittle. The first [arXiv:2602.04378] applies only to the standard Frank--Wolfe algorithm, and, as we show, its prescribed slow exact-line-search trajectories can amplify sufficiently small initialization errors exponentially, corresponding to roughly one additional bit of initialization accuracy per iteration. The second [arXiv:2602.22608] obtains lower bounds for any deterministic LMO-based first-order method via a resisting oracle that adversarially adapts to the queries of the algorithm. In both cases it is conceivable that randomization may circumvent these lower bounds; in particular, neither establishes a lower bound for unrestricted randomized first-order LMO methods. We close this gap by proving an $\Omega(L\operatorname{diam}(S)^2/T^2)$ distributional lower bound for randomized first-order linear minimization oracle methods over strongly convex sets. While our construction reuses the family of [arXiv:2602.22608], our proof characterizes the conditional distribution of the hidden permutation after adaptive queries and bounds the expected decrease of a combinatorial statistic controlling optimizer variance. We further show that the same error threshold holds with probability at least $3/4$ and yields a stopping-time tail bound.
arXiv:2610.13588v1 公告类型：cross 摘要：对电动汽车（EV）充电需求进行不确定性量化，对于将电动汽车普及给电力系统带来的日益增长的压力转化为灵活性来源至关重要。我们研究了苏格兰公共充电站的大规模数据集，其中需求呈现出分层结构，涵盖从单个充电点到区域和全国范围的多个聚合层级。充电基础设施在持续演变：不断有新充电站投入部署，现有充电站也会偶尔移除，因此需要针对这一不断变化的结构设计预测与不确定性量化方法。为应对这些挑战，我们将分层预测与保序预测在缺失数据方面的最新进展相结合。所研究的保序程序能够在分层结构的每个节点生成有效的预测区间，而算法 CP-MNR-Nested 则能够成功考虑数据的时变分层结构。
arXiv:2610.13578v1 Announce Type: cross Abstract: Pre-trained robot policies, such as Vision-Language-Action (VLA) models, provide a strong foundation for generalist robotic manipulation, but adapting them to new tasks with only a few demonstrations remains challenging. Directly fine-tuning a pre-trained policy often achieves strong in-distribution performance, yet it can distort the representations learned during pre-training and weaken the model's generalization ability under out-of-distribution shifts. We propose Retrieval-Anchored Representation Alignment (RARA), a two-stage adaptation method, to address this issue. First, RARA retrieves representation features from pretraining with similar task intent and motion, and aligns the policy's representations of the target demonstrations with the pre-trained representations of the retrieved demonstrations. Second, RARA fine-tunes the policy on the target demonstrations while limiting how much its representations of the retrieved demonstrations change during fine-tuning. By reducing the representation mismatch before action learning and preserving pre-trained knowledge during adaptation, RARA limits unnecessary representation drift during fine-tuning. Experiments with Diffusion Policy and GR00T on 13 tasks in RoboTwin, RoboCasa, and on a real robot show that RARA improves the average success of fine-tuning by 9.5 points in-distribution and 13.6 points out-of-distribution, and outperforms all compared baselines. Project page: https://shua-kang.github.io/RARA_robot/
arXiv:2610.13536v1 Announce Type: cross Abstract: When a language model is distilled from a teacher that shares its base parameters, the student can inherit behavioural traits of the teacher---including misalignment---even from data that is semantically unrelated to the trait (Cloud et al., 2026). All existing defences require knowing the trait. We remove this requirement and prove that a subliminally transferred trait can be recovered from the parameter updates alone, without supervision, by exploiting a single asymmetry: the trait is expressed consistently across diverse datasets generated by the teacher, whereas task-specific and shared capabilities vary. The resulting estimator returns a weight-space direction that can be amplified to discover and interpret the trait or projected out to suppress it. Applied to the subliminal-learning benchmarks of (Cloud et al., 2026), our method recovers the transmitted animal-preference traits without any trait labels and suppresses their expression with almost no impact to task performance.
arXiv:2610.13527v1 公告类型：cross 摘要：多模态语言模型（MLLMs）展现出令人期待的空间推理能力，但支撑这些能力的内部机制仍缺乏充分理解。我们发现了 S-Space，这是一个线性表示子空间，其中对象标记表示沿水平、垂直和距离轴编码连续坐标。尽管我们通过对对象标记激活相对于空间答案得分进行微分来识别这些轴，S-Space 是内在的，而非由特定数据或提示诱导产生的；即使面对非空间问题，它仍然具有可读性。我们表明，S-Space 充当了 MLLMs 的内部空间工作区。感知模块将对象位置编码其中，形成可直接读取并用于支持准确空间判断的空间表示。内部推理会对其进行变换，以应对视角变化。言语回答会选择性地访问该空间，这一点得到因果干预的证实：因果干预能够改变空间判断，同时基本保持非空间回答不变。案例研究进一步表明，S-Space 能够为未见过的实体和观察者分配位置，并将物理方向与抽象语言含义联系起来，这揭示了大规模语言训练的能力与局限。最后，我们将 S-Space 用作诊断空间推理失败的工具。方向词的读取结果揭示了基于基本方位的参照系与基于图像相对位置的参照系之间存在系统性耦合。更重要的是，感知—计算分解揭示了一个关键瓶颈：MLLMs 能够形成有能力的空间表示，却无法完成跨视角变化进行可靠推理所需的空间变换。
arXiv:2610.13518v1 公告类型：cross 摘要：在机器学习中，自注意力动力学描述了transformer的注意力机制，其处理方式是将transformer的层索引视为时间索引。尽管这一动力系统天然是离散时间的，但人们通常在连续时间框架下对其进行研究。本文旨在对自注意力动力学的离散时间版本进行全面研究：完整分类其平衡点，并研究这些平衡点的稳定性特征，涵盖单头和多头两种情况。我们证明，在这两种情况下，动力学的主要吸引子都是与值矩阵的主特征向量对齐的共识平衡点（在单头情况下为值矩阵，在多头情况下为相应的权重矩阵），尽管至少在单头情况下，还可以证明存在其他局部渐近稳定的二分图平衡点。通过考察一个真实transformer学习到的权重矩阵，我们验证了这一行为。
arXiv:2610.13480v1 Announce Type: cross Abstract: Nonlinear model predictive control (NMPC) can be applied to large nonlinear systems with complex objectives while enforcing constraints, but the cost of solving the underlying optimization problems limits real-time application for systems with fast dynamics or many states. Neural networks can reduce this online cost by approximating the control law, but may violate constraints and typically require many precomputed optimizer solutions for training. The learning-based iterative solver for constrained optimization (LISCO) instead learns to predict primal-dual steps toward satisfaction of the Karush-Kuhn-Tucker (KKT) conditions through self-supervised training without precomputed solutions, but its dense, monolithic architecture grows with the prediction horizon. We remove this horizon dependence by exploiting the temporal structure of the problem in the solver architecture, which makes the network size independent of the horizon while leaving the training loss and the solver iteration unchanged. A closed-loop resampling strategy further aligns the training distribution with closed-loop operation at no additional sampling cost. On an economic NMPC benchmark of a CSTR cascade, the proposed solver scales to larger problems than monolithic LISCO and achieves median speedups of up to a factor of four over IPOPT. In closed loop, it achieves comparable control performance to IPOPT with no observed constraint violations.
arXiv:2610.13477v1 Announce Type: cross Abstract: We derive approximation rates for Sobolev functions defined on the complex unit sphere and complex projective space, representing quantum states, and on the special and projective unitary groups, representing quantum unitary operations. By using harmonic analysis on compact groups and compact homogeneous spaces, we characterize the corresponding Peter--Weyl decompositions and Sobolev spaces via irreducible representations and the Laplace--Beltrami operator. Combining spectral truncation with finite-depth quantum-circuit approximation, invoking the Solovay--Kitaev theorem, we establish quantitative rates that separate the spectral truncation error from the circuit approximation error.
arXiv:2610.13461v1 公告类型：cross 摘要：AI 系统正在数学领域取得快速进展，但这种进展很难衡量。已解决问题的基准会趋于饱和，而在开放问题基准中，每个问题只能被首次解决一次。我们提出了 SqueezeBench，这是一种抗饱和基准：一次成功会提高标准，而不是移除问题。每个问题确定一个整数函数 $f(n)$，其取值仅在较小的 $n$ 上已知，基准则持续维护该函数的下界记录和上界记录。记录是一个可计算的 Lean 函数，并附有机器检查的证明，证明其确实界定了 $f$。提交内容需要提出一个新函数，并证明它界定了 $f$、对任意 $n$ 都不劣于当前记录，且在某个 $n$ 上严格更优。一旦被接受，它就会成为下一份提交必须超越的记录。因此，该系统不仅选择界，还选择其证明；它既可能在某个单独的 $n$ 上改进记录，也可能改进其增长率。在每个 $n$ 上，两条记录之间的差距表明，经认证的界距离确定 $f(n)$ 还有多远。每个证明都由两个相互独立的 Lean 内核检查，因此无需裁判检查数学内容。这些检查还会拒绝一种通过在较小 $n$ 上穷举搜索来计算 $f$ 的函数，而维护者只需阅读提交者的报告，并检查其是否在更大的 $n$ 上进行此类搜索。我们发布了十个来自极值组合学的问题、二十条已证明的初始记录以及准入工具。作为基线，基于前沿语言模型的智能体在每条记录最多使用一小时的情况下，有 82 份提交被接受，并改进了每一条记录，且没有超出已发表文献的范围。随后，基于另外两个更新模型的智能体从这些记录出发，又有 60 份提交被接受，并再次改进了 20 条记录中的 19 条。对于十个问题中的八个，至少有一条记录在渐近意义上仍落后于已发表的最佳界。
arXiv:2610.13442v1 公告类型：cross 摘要：压缩方案为推导依赖于数据的学习算法风险界提供了一个通用框架。对于基于偏好压缩的学习规则，现有结果根据依赖于样本的复杂度 $\boldsymbol{k}$ 对风险给出上界，其中 $\boldsymbol{k}$ 定义为压缩集与训练样本中重构假设不适用的样本所组成集合的基数。然而，这些结果在 $\boldsymbol{k}/N$ 之上产生了一个量级为 $O(\sqrt{\ln N/N})$ 的裕量。在本文中，我们证明这一对数因子并非内在因素。我们证明，对于任意固定的置信水平 $1-\delta$，以至少 $1-\delta$ 的概率，风险满足 $$ \frac{\boldsymbol{k}}{N} + O\left(\frac{1}{\sqrt{N}}\right), $$ 且该结论对 $\boldsymbol{k}$ 的所有可能取值一致成立。因此，基于偏好压缩的学习算法的风险估计达到了与固定事件概率的经验估计相同的大数定律速率。我们还证明了首项 $\boldsymbol{k}/N$ 是必要的，并考察了它与经验风险之间的关系。特别地，我们确定了若干情形：在这些情形下，经验风险保持 $O(1/\sqrt{N})$ 的收敛速率；同时也确定了另一些情形：在这些情形下，经验风险的收敛速度更慢，或不再具有一致性，而基于复杂度的估计量仍保持 $O(1/\sqrt{N})$ 的速率。
arXiv:2610.13440v1 Announce Type: cross Abstract: Recent accent classification systems can achieve high accuracy in standard in-corpus evaluations. However, when speakers overlap between the training and test sets, such results may overestimate model robustness compared with real-world deployment scenarios. This study revisits the robustness of DistilHuBERT-based accent classification by using L2-ARCTIC and multiple external English accent datasets. The comparison covers file-level and speaker-disjoint splits, along with balanced external-data training and teacher-student pseudo-labeling. The large performance gap between in-corpus and external evaluations suggests that file-level evaluation substantially overestimates performance, while speaker-disjoint evaluation can provide a more realistic estimate of the generalization to unseen speakers. In this study, models trained on external data alone do not reliably generalize to L2-ARCTIC. Among the tested configurations, balanced external-data training offers the most promising supervised setting. The pseudo-labeling experiments further indicate that confidence-based filtering alone is insufficient under domain mismatch. Overall, this study suggests that robust accent classification evaluation should simultaneously include speaker-disjoint evaluation and cross-corpus testing.
arXiv:2610.13432v1 Announce Type: cross Abstract: Earnings call transcription presents a realistic continual learning scenario where Automatic Speech Recognition (ASR) systems are updated with new recordings but risk catastrophic forgetting of previously learned financial speech patterns. Adapting Whisper-small from a general-domain speech corpus to the Earnings22 benchmark reveals the opposite: all evaluated methods exhibit improvement on held-out financial speech from the same domain during adaptation rather than forgetting. This task complementarity makes regularization counterproductive. Nevertheless, when regularization is warranted, a layer-wise mini-Kronecker-Factored Approximate Curvature (mini-KFAC) approximation seems to achieve lower word error rates (WERs) and more stable optimization than standard diagonal Elastic Weight Consolidation (EWC). The results suggest that task complementarity should be assessed before applying continual learning constraints, and prefer mini-KFAC EWC over diagonal EWC when needed.
arXiv:2610.13430v1 公告类型：交叉收录 摘要：时间序列因果发现——即检测时间序列之间因果关系的过程——源于半个多世纪前的信号处理研究。此后，这一领域持续受到广泛而积极的关注，并在统计学、动力系统和机器学习等领域中演化出不同的形式。对于初入者而言，这一分散且不断演变的研究领域可能令人望而生畏。本教程为不同研究社群中的时间序列因果发现提供了统一概述。我们介绍了现代因果发现方法所采用的关键原理，并讨论了这些方法的局限性与假设。我们还讨论了如何对因果发现方法进行评估、基准测试和微调。此外，我们探讨了时间序列因果发现如何日益成为农业与地球科学、医疗健康以及人工智能系统中下游任务的关键。我们相信，本教程既能帮助读者梳理近期涌现的大量因果研究，成为一项宝贵资源，也能邀请信号处理领域的读者参与因果问题的研究。为进一步帮助读者，我们维护了一个配套代码仓库，提供实用代码包和资源的链接，地址为 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery。
arXiv:2610.13406v1 公告类型：cross 摘要：相比于对荒漠化进行制图，荒漠化预测受到的关注要少得多。我们在巴西半干旱的 Ceará 州开展研究，在约 2.2 km 分辨率的 256x206 网格上，使用 2000—2023 年的十个年度地球观测（EO）变量训练卷积 LSTM（ConvLSTM），以衡量卫星数据能够预测由 MapBiomas 派生的退化指数（IDV）年际演变的程度。该网络在最近观测状态的基础上预测有界变化，分两个阶段进行训练（先进行单步训练，再进行递归滚动预测），并在连续的空间与时间留出集上进行评估。2000 年至 2023 年间，全州平均 IDV 从 0.238 升至 0.350，年均增幅约为 0.005；但像元级变化主要由年际跳变主导，即使将所有通道输入梯度提升模型，也只能解释其 4.7% 的方差。在这一上限的背景下，ConvLSTM 在留出的南部带状区域中，相较于持久性基线，将提前一年预测的 RMSE 降低了 1.6%，将提前四年预测的 RMSE 降低了 4.4%（p < 0.001）；它优于带恒定漂移的持久性基线，并重现了区域漂移的 53%—69%。考虑漂移的基线模型从第三年起才有所帮助，在六年预测时最多可将 RMSE 降低 4.4%。一种较早的模型形式每年重新绘制整个场，其预测的变化与观测变化无关（相关系数为 -0.06），递归运行时还产生了虚假的下降趋势。通道消融结果表明，高程和 EVI 会使预测性能下降，而坡度和坡向没有可测量的影响。蒙特卡洛 dropout 和随机情景图呈现了期望值预测所掩盖的不确定性。在气候学强迫下，平均 IDV 将从 2023 年的 0.350 上升至 2030 年的 0.370。因此，基于 EO 的荒漠化预测对于区域趋势是可靠的，但对于单个像元并不可靠。
arXiv:2610.13397v1 Announce Type: cross Abstract: We develop a model-free, noise-aware Bayesian clustering framework that constructs a martingale posterior over clusterings from a predictive Bayesian perspective. This avoids explicit likelihood-prior model specification, expensive MCMC sampling, and mode-seeking variational approximations, while accommodating irregular cluster shapes and enabling parallel generation of posterior draws. To interpret the posterior over high-dimensional, noise-aware clusterings, we introduce a Wasserstein-type summarization method. Using a novel noise-aware loss, this approach compresses the large collection of posterior draws into a small set of weighted representatives, capturing distinct cluster structures and noise assignments. Further, we marginalise the uncertainty in the density level, avoiding reliance on a specific choice. We establish theoretical properties of the proposed loss and guarantees for the level-marginal posterior approximation. Results demonstrate the framework's effectiveness in capturing clustering and noise uncertainty.
arXiv:2610.13370v1 公告类型：交叉收录 摘要：混合专家（MoE）模型已成为前沿大语言模型的标准架构。每个 Transformer 块中的多个并行专家，理论上能够在预训练期间按领域、语言或模态等类别形成专业化分工。然而，当不同类别之间的数据不平衡时，少数类别可能集中在专家池中的一小部分专家上，或低效地分散到各个专家上，从而实际上限制了这些类别可用的模型容量。在本研究中，我们证明，以类别为条件的专家选择偏置可以优先将不同类别的词元路由至专门的专家池。通过根据输入类别施加偏置，我们提供了一种简单的方法，以诱导与类别对齐的软性专业化分工。这种干预促使不同类别倾向于使用不同的专家子集，同时在有益时保留跨类别共享。更重要的是，它能够为原本因数据稀缺而处于不利地位的类别超额分配专家容量。在参数规模最高达 10.6B 的模型中，我们观察到了跨模态、低资源语言和代码方面的性能提升。在最小和最大的模型规模下，这些收益分别相当于为基线额外分配 18.5% 和 2.7% 的训练词元。总体而言，我们的结果表明，专家偏置可以作为一种轻量级的类别层面专家分配控制手段，在保留标准 MoE 推理方式的同时，为低资源类别腾出容量。
arXiv:2610.13361v1 公告类型：cross 摘要：随着软件的生产逐渐转由软件本身完成，编码代理越来越多地受托构建适配用户自身工作流的代理。这种委托隐含着一个未被明说的假设：交付的代理将忠实地满足其构建所依据的需求，而不只是表面上看起来满足。现有的基准测试中没有任何一个检验这一假设。我们推出 AgentSWE，这是一个涵盖代理开发生命周期三个阶段的代理软件工程基准：根据自然语言需求创建完整代理、编辑生产环境中的代理代码库，以及朝着可度量目标进行优化。其中的 25 项任务均被设计成委托，而非考试：构建者根据少量示例案例进行迭代，而验收则在保留案例上测试冻结后的提交，这些案例旨在覆盖完整需求，并依据从需求中推导出的评分标准对行为进行评估；评估采用严格的通过/失败门槛，或者在“优化”阶段依据源基准自身的目标进行评估。我们在不同模型和工具框架上评估了多种编码代理，发现没有任何一个能够接近于交付需求所要求的结果：构建者所展示的能力与其实际交付成果之间存在差距，这并非偶发现象，而是普遍情况。配套的失败轨迹实证分析识别出了一些反复出现的失败模式，包括对可见案例过拟合、代码看似完整但运行时内容空洞，以及毫无依据地宣称已完成；这些都可以作为信号，帮助编码代理学习如何构建受托要求它们构建的代理。
arXiv:2610.13353v1 Announce Type: cross Abstract: Multimodal emotion preference learning uses pairwise comparisons to identify which open-ended emotion descriptions align more closely with human judgments. However, existing methods primarily focus on the final preference decision and provide little explicit supervision for localizing and correcting erroneous content. To address this limitation, we propose EmoGavel, a Grounding-Aware reinforcement learning framework with Verifiable rewards for multimodal Emotion preference Learning. We first introduce grounded supervised fine-tuning (Grounded SFT), which exploits controlled-error construction information to jointly learn preference prediction, error localization, repair, and missing-evidence recovery. We then optimize these verifiable outcomes with grounding-aware group relative policy optimization (GA-GRPO), combining preference-gated grounding rewards with dynamic zero-variance rescue to prioritize preference correctness and recover learning signals from all-wrong groups. Experiments on EmoPrefer and controlled-error evaluation sets show that EmoGavel improves both natural preference prediction and controlled-error discrimination while maintaining strong error-grounding performance. Our code and model checkpoints will be released once the paper is accepted.
arXiv:2610.13330v1 公告类型：cross 摘要：针对复杂化学任务设计工具集成的推理智能体系统，仍然是一项根本性挑战。尽管近期的化学智能体通过集成外部工具展现出了良好的性能，但它们仍然建立在自回归范式之上，而该范式天然受到因果注意力和从左到右生成的限制。因此，它们往往难以实现双向分子理解、全局协调的工具规划以及多源证据整合。为应对这一挑战，我们提出了 ChemDiffAgent，这是首个用于工具集成化学推理的掩码扩散语言智能体。该方法将化学推理重新表述为对交错的推理轨迹和工具使用轨迹进行迭代去噪，使工具使用决策能够在完整轨迹上下文中联合确定，从而更好地使智能体的决策边界与其知识边界相匹配。我们进一步分析了这一范式如何通过训练期间更具挑战性的填空子问题，以及推理期间灵活的任意顺序解码，来提升智能体推理能力。随后，我们提出了一个两阶段后训练框架，包括智能体监督微调和方差缩减偏好优化，以增强工具使用与推理能力。我们还构建了一个综合基准，涵盖单轮和多轮工具使用场景下的六项化学任务。在预算和评测条件匹配的情况下，ChemDiffAgent 始终优于自回归智能体，整体性能提升约 20%。值得注意的是，我们的 8B 模型达到了与 GPT 5.5 和 Claude Opus 4.7 等规模显著更大的前沿模型相当的性能，在某些情况下甚至超过了它们。代码见 https://github.com/bilemond/ChemDiffAgent。
arXiv:2610.13325v1 公告类型：cross 摘要：智能体式工作负载会在多次调用之间重复发送几乎不变的长上下文。如今，前缀缓存可以跳过其中大部分预填充阶段，但每个请求仍必须先完成全部分词，之后才能查询缓存。分词这一长期以来被视为无关紧要的 CPU 阶段，如今却成为首 token 生成时间（TTFT）中占比最大的部分；而为整个 GPU 集群执行分词的前端，则限制了其能够供给的 GPU 数量。我们提出 GraphTok，这是一种 GPU 分词器，可将从预分词、字节对编码（BPE）合并到 token ID 组装的完整编码流程，作为一张可重放的 CUDA 图运行。GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID；对于 GPU 无法占优的短输入，则将其交给 CPU 引擎处理；同时，它还可以接入未经修改的 vLLM 和 NVIDIA Dynamo。GraphTok 在包含数据传输的情况下，可在 1.7–3.2 毫秒内编码一百万个 GPT-2 token；在 Llama 3 上，其速度比最强的 CPU 分词器 gigatoken 快 4.7–6.0 倍。在 TokTier 自有的单请求基准测试中，其速度比 gigatoken 快 2.6–3.9 倍，最高比 TokTier 快 18.1 倍。在使用缓存前缀的 vLLM 中，它将平均 TTFT 降低了 2.1–2.4 倍。最大的提升体现在容量方面。在 2 秒 P99 目标下，配备 GraphTok 的单个 Dynamo 前端可持续处理 518 个请求/秒、每个请求包含 12.1 万个 token 的流量，相当于高峰时段 56 个 GPU 的负载；相比之下，使用 gigatoken 时为 296 个请求/秒，使用默认分词器时仅为 18.5 个请求/秒。在 12.1 万至一百万个 token 的范围内，其可承载负载是 gigatoken 的 1.75–2.5 倍；在 gigatoken 的尾延迟失控的情况下，P99 最多可降低 64 倍。
arXiv:2610.13315v1 Announce Type: cross Abstract: This paper considers channel state information (CSI) prediction using neural networks for time-varying multi-antenna channels from noisy historical observations. The main challenge is to exploit temporal correlation while distinguishing channel evolution from observation noise. We propose JEPA-kMMVAE, which combines a joint-embedding predictive architecture with a k-memory Markov variational autoencoder to predict future CSI through temporally structured latent representations. The framework supports direct prediction and residual corrections relative to the latest latent state and noisy CSI observation. Simulation results show that the residual configuration outperforms the evaluated baselines at moderate and high input CSI signal-to-noise ratios, while sequence baselines remain more accurate under stronger noise.
arXiv:2610.13300v1 公告类型：cross 摘要：对空间音频引发的人体反应进行建模，需要同时理解听到的内容及其来源方向。以往工作基于完整的声学与空间输入序列离线生成人体动作。然而，人类在对声音做出反应时，并不知道接下来会听到什么。我们提出 Sonic-AMG，据我们所知，这是首个基于空间音频进行流式人体动作生成的框架。该模型将声学内容和相对于身体的声源几何信息编码为独立的标记。以这些标记为条件，带有流模型头的因果 Transformer 生成连续的动作潜变量，随后由因果解码器重建动作片段。标准的教师强制训练从真实动作中获取动作历史和相对于身体的声源位置，而流式推理则依赖生成的动作来获取二者，从而导致训练与推理之间的不匹配。为减小这种历史信息差异，我们引入了 rehearsal training，将完整序列的教师强制监督与短程自回归自主滚动过程中的监督预测相结合。为使空间条件与生成的动作保持一致，我们提出了 spatial feedback，在 rehearsal training 和推理过程中，均根据生成的根部姿态重新计算相对于身体的声源位置。在 SAM 上，Sonic-AMG 取得了当前最佳的 FID 和 R-precision。该方法还支持实时在线生成跨不同声音事件和声源位置的连贯反应。项目页面：https://jingchengni.com/sonic-amg/。
arXiv:2610.13299v1 公告类型：交叉 摘要：预训练视觉 Transformer 学习涵盖空间 patch 令牌和非空间令牌的结构化图像表示。近期分析表明，非空间寄存器令牌编码了光照、模糊和风格等全局场景属性。然而，基于 patch 的图像解码器会丢弃这些输出，使解码器只能从 patch 中恢复图像外观。我们研究了在完整的空间 patch 表示已经可用的情况下，保留寄存器特征是否能够改善解码。我们使用配备寄存器的冻结编码器和表示自编码器（RAEs）来探讨这一问题。我们的解码器通过联合自注意力同时处理四个寄存器令牌和全部 patch 令牌。我们采用外观探针、成对重建误差分析以及固定解码器下的寄存器替换实验，考察寄存器能够提供哪些全局图像属性，以及这些属性的取值如何影响重建像素。对于生成任务，我们训练了一个多头注意力池化（MHAP）预测器，从采样得到的 patch 中恢复寄存器特征，同时保持预训练扩散模型及其样本不变。在 ImageNet-1K 上，我们的 ViT-B 解码器使用 DINOv2 和 DINOv3 时，平均重建 FID 分别达到 0.472 和 0.442；相较于各自仅使用 patch 的基线，分别降低了 9.5% 和 5.2%。对应的 PSNR 分别为 19.73 和 20.54 dB。在生成任务中，在相同采样 patch 上，我们的 DINOv2 模型取得了 1.641 的平均 FID，比仅使用 patch 的基线低 9.8%。
arXiv:2610.13287v1 Announce Type: cross Abstract: Prompt optimizers rewrite a prompt to raise one target metric, but prompts also state requirements the metric does not score, such as an output format, citations, or abstention. In a preregistered study, we run GEPA, MIPROv2, and TextGrad on HotpotQA, SQuAD 2.0, and IFEval and count per-item violations of unscored requirements with deterministic checks. By the preregistered criterion, all three optimizers produce regressions, substantially on HotpotQA, where net regression in citation validity reaches 10.7 to 41.6 points while exact match rises by 21 to 34 points. A post-hoc decomposition changes this reading. The optimized prompts elicit reasoning before the required JSON object, and under the 200-token output cap used throughout, 13.9% to 47.0% of responses end before any answer appears. Among parseable outputs, net regression is within 3 points of zero. With a 1,024-token cap, extraction failures disappear, content regression stays below 1 point, and exact match rises further. Two simple gates fail the preregistered criterion. The side effect is narrower than hypothesized: optimized prompts are more accurate and break an explicit output contract, and a lenient target metric does not show the cost.
arXiv:2610.13264v1 Announce Type: cross Abstract: On-policy distillation (OPD) reveals versatility and convenience during VLM post-training, providing dense supervision for student from teacher. However, we observed an anomaly that the distilled VLM could still answer the questions accurately even when the related visual regions were masked or replaced with noise. Building on this observation, our quantitative and qualitative experiments demonstrate that OPD, which uses the answer as a hint, has failed to teach students to genuinely seek out and rely on visual evidence. Our theoretical analysis suggests that this failure arises from a shortcut enabled by the lack of visual constraints during distillation. To address the issue, we introduce Contrastive Vision On-policy Distillation (CV-OPD), which compares teacher distributions induced by positive and negative crops while conditioning on the same student prefix and augments optimization with a margin-based contrastive constraint, which is modulated with discrepancy gating across token and sample level. Specifically, CV-OPD first introduces a negative teacher unrelated to the answer and designs a Contrastive Divergence Loss (CDL) that constrains the feature distribution of student by contrasting the positive and negative teachers, correcting how the student exploits visual regions. The CV-OPD introduces a Discrepancy Aware Gate (DAG) that uses token-level and sample-level discrepancies to select visually relevant tokens for optimization, directing the student's attention toward visual content. Extensive experiments across a broad range of fine-grained visual benchmarks demonstrate that CV-OPD substantially alleviates shortcut and consistently improves the visual reasoning capabilities of existing VLMs.