arXiv:2610.13851v1 公告类型：cross 摘要：我们为从数据中学习并通过有限次去噪步骤实现的条件扩散模型建立有限样本保证。我们的方法使评分函数训练目标与采样网格相匹配，从而能够对统计估计误差和数值离散化误差进行联合分析。在条件密度模型光滑的假设下，我们推导出生成分布误差的高概率界，并量化所需的评分函数评估次数。对于任意光滑性指标 $\beta>0$，适当的网格都能使相对于原始目标分布的平均条件 Kullback--Leibler（KL）散度达到 $\widetilde O_p(n^{-2\beta/(d_x+d_y+2\beta)})$，无论是否采用提前停止。完整采样器和提前停止采样器的平均目标总变差（TV）误差均达到 $\widetilde O_p(n^{-\beta/(d_x+d_y+2\beta)})$。其中，$n$ 是样本量，$d_x,d_y$ 分别是数据维度和条件维度，误差则关于条件变量取平均。总变差界与现有条件分布估计理论中已确立的速率一致，仅相差对数因子。
arXiv:2610.13816v1 公告类型：cross 摘要：通用机器人策略通过模仿学习进行训练，其能力受示范数据的质量和覆盖范围限制。强化学习可以通过微调策略权重，或训练一个小型模块来引导冻结生成式策略的输入噪声，从而改进并扩展这些策略。当任务按顺序到来时，这两种方法都会遭遇灾难性遗忘。针对某个任务进行微调会损害先前任务的性能，而仅进行引导则只是将遗忘转移到了共享的引导模块上。我们提出了 Dream to Remember（D2R），它持续将一个冻结的通用策略引导至新任务，同时保留其早期技能。当引导模块学习新任务时，一个冻结的预训练世界模型通过想象中的轨迹演练先前任务，在没有回放缓冲区或新数据的情况下，使该模块保持其早期行为。当世界模型足够忠实时，D2R 完全通过想象来学习新任务。否则，它在环境中学习任务，同时仅利用世界模型演练先前任务。在 CALVIN 上，D2R 完全通过想象按顺序改进了八个任务，使平均成功率从 63.7% 提升至 74.8%；而在相同任务序列上使用 LoRA 微调则使其降至 11.7%。借助冻结的现成通用策略和世界模型 $\pi_0$ 与 A2World，D2R 在环境中学习未见过的 LIBERO-90 任务，同时保持 $\pi_0$ 在其经过微调的 LIBERO 套件上的性能，尽管该世界模型的准确度不足以进行策略优化。最后，在真实的 Franka 机器人上，D2R 完全通过想象按顺序改进了三个任务，同时保留了早先的改进。
arXiv:2610.13808v1 Announce Type: cross Abstract: Variational quantum circuits (VQCs) are highly sensitive to circuit architecture, yet most quantum machine learning pipelines select a single best design and discard the remaining candidates. This paper addresses whether the structural diversity across quantum circuit search spaces can be used to produce stronger predictions through model fusion. We apply Combinatorial Fusion Analysis (CFA), a model fusion framework that selects and combines multiple scoring systems using rank-score function (RSF) and cognitive diversity (CD), to a pool of 29 architecturally diverse classical models and quantum circuits. Using a diversity-aware model selection method, we identify subsets of maximally diverse models and combine them with both score and rank combination. Experiments on four binary classification benchmarks covering different domains demonstrate that CFA-based hybrid classical-quantum fusion consistently outperform the best individual model on every dataset considered with improvements up to 6.03% in accuracy. When comparing with relevant literatures, the CFA framework further achieves superior performance across all four datasets.
arXiv:2610.13804v1 公告类型：交叉 摘要：线性偏微分方程（PDE）的 Gaussian Process 求解器返回的是后验分布而非点估计，但它们仅基于等式信息进行条件化：PDE 残差、边界数据和测量值。许多我们关注的解还满足不等式约束，包括非负性、单调性和无套利性，而仅通过等式条件化无法强制满足这些约束。我们证明，对 Gaussian Process 先验同时施加线性等式观测和有限维不等式事件的条件化，在解空间上的 Borel 测度意义下，等价于依次进行条件化。因此，物理信息后验可以作为虚拟点处不等式更新的有效先验。组合后的分布虽为非高斯分布，但可以通过截断高斯矩进行计算，且无论 PDE 条件化还是不等式更新都无需修改。我们在 Poisson 基准测试、期权价格曲面和空气质量场上评估了该构造。在边界数据不完整的情况下，单调性约束使二维 Poisson 重建的误差降低了 $63\%$。在一条删减至仅保留 20 个报价的真实 S&P 500 期权链上，无套利约束使留出外推误差降低了 $22\%$，并将日历套利率从 $10\%$ 降至 $1\%$。在四个真实空气质量快照上，在监测点数量最少时，非负性使基于高斯矩的负值尾部代理指标降低了 $74\%$。不同数据情形下，平均准确率和约束诊断指标的变化各不相同。在等式后验下，带噪声的虚拟约束事件的概率衡量了更新前与指定边界的一致程度。该构造将可接受性从后处理步骤转变为概率 PDE 求解器中的条件化信息。
arXiv:2610.13799v1 公告类型：cross 摘要：在平均光滑性条件下，方差缩减能够提高随机非凸优化的收敛速度。现有的自适应方差缩减方法专门针对平均光滑性设计，无法适应标准光滑性。本文研究如何在不知道光滑性常数或方差上界的情况下，使同一个算法适应这两种设置以及无噪声设置。给定梯度预算 $T$，我们提出一种两阶段方法。第一阶段比较两个独立梯度，并在它们的差异超过阈值时切换到归一化动量。该阶段不仅为标准光滑性和无噪声设置提供具有相应保证的候选点，还确保第二个方差缩减阶段中的期望函数值差距有界。由此得到的收敛速率在平均光滑性下为 $O(T^{-1/3})$，在标准光滑性下为 $O(T^{-1/4})$，在无噪声情况下为 $O(T^{-1/2})$。当 $T$ 未知时，我们提出一种双路径方法，在随机设置下以带对数因子的相应速率达到收敛。具体而言，我们使用方差缩减路径处理平均光滑性，并使用 AdaGrad-Norm 处理标准光滑性和无噪声设置。这两种方法都不会从初始点重新开始，也不要求每轮增加预言机调用次数。
arXiv:2610.13787v1 公告类型：cross 摘要：我们针对目标函数既不光滑也不凸、且带有凸约束集的随机优化问题，提出了新的算法。我们的算法能够返回一个 $(\delta,\varepsilon)$-Goldstein stationary point，该概念最近由 Liu et al. (2024) 针对带约束问题提出；同时，算法具有更优的复杂度，并且在多种情形下首次实现了该任务的最优收敛率。具体而言，我们设计了基于投影和无投影的算法：使用随机梯度时，可达到 $\widetilde O(\delta^{-1}\varepsilon^{-3})$ 的复杂度，我们证明该复杂度是最优的；使用零阶查询时，可达到 $\widetilde O(d\delta^{-1}\varepsilon^{-3})$ 的复杂度，该复杂度关于维度 $d$ 的依赖也是最优的，并且优于已有工作。值得注意的是，我们以下界的形式给出了 Frank-Wolfe gap，并且即使对于光滑问题也成立，这一结果本身也具有独立意义。这些结果表明，在非凸随机优化中，约束的存在和非光滑性都不会导致收敛率下降。我们的分析基于将问题归约为在线线性优化，并扩展了无约束优化中的相关技术。
arXiv:2610.13773v1 Announce Type: cross Abstract: Multiple-gradient descent is typically formulated in Euclidean geometry, whereas matrix-aware optimizers use directions induced by other norms. We analyze a single-loop multi-objective method combining a norm-constrained linear minimization oracle with entropic updates of task weights. For any finite-dimensional norm pair, we establish an $O(T^{-1/2})$ ergodic stationarity rate in the deterministic setting, deriving the required trajectory gradient bound from smoothness and lower-boundedness in the unregularized case. With stochastic gradients and a bounded-gradient assumption, one persistent blended-gradient momentum buffer yields an $O(T^{-1/4})$ rate whose leading term has no explicit dependence on the number of tasks. We also establish static regret for the inner weighting objective on arbitrary bounded gradient sequences and, with entropy regularization and a weight floor, iteration-wise inner-gap control after burn-in while retaining ergodic stationarity, conditional on a trajectory gradient bound. The optimal blended gradient can be nonunique in spectral and sign geometries, motivating a selection-independent inner gap. Our analysis extends the spectral construction studied by concurrent MOON to general norms. Experiments compare the method with existing multi-task optimizers and examine its oracle, weighting, and momentum choices.
arXiv:2610.13768v1 公告类型：cross 摘要：使用 DP-SGD 训练的模型会泄露哪些信息，使攻击者能够从中恢复数据？其 $(\varepsilon,\delta)$ 保证无法直接回答这一问题。我们推导出一个可在训练前计算的失真界限，即使攻击者能够观察训练期间的参数轨迹、知晓其他所有训练记录以及生成这些训练记录的总体分布，该界限仍然适用。分析者可以选择衡量误差所使用的表示形式，从而使该界限能够针对特定应用中对隐私敏感的重构方面。我们的信息论框架将两个贡献因素分离开来：训练所泄露的关于某条记录的信息，通过条件互信息度量；以及数据分布中原本就存在的不确定性，通过源熵度量。率失真理论将二者结合起来，为每一种重构攻击的期望误差给出一个下界。对于 DP-SGD，信息泄露界限仅取决于抽样率和噪声乘数，而源熵则可根据一个样本以有限样本置信度给出下界。正交分块构造使所得界限在高维图像上仍具有信息量。我们在像素空间和 LPIPS 特征空间中实例化了该框架，据我们所知，这是首个直接用 LPIPS 度量重构失真的下界。在一系列图像数据集上，这些界限表明，在启发式推荐的隐私预算范围内及更大范围内，都存在不可避免且非平凡的期望重构误差。实验将这些界限与强大的重构攻击进行比较，并确定了剩余松弛的主要来源。
arXiv:2610.13766v1 Announce Type: cross Abstract: Geospatial foundation models can support disaster damage assessment, but high accuracy on familiar disasters may hide shortcut learning: prediction from event or scene characteristics rather than evidence that transfers to a new disaster. We study embeddings from TerraMind, Prithvi-EO-2.0, DOFA, and DINOv3 on the multi-disaster datasets xView2 and BRIGHT. Holding out an entire disaster, instead of randomly splitting image tiles, reduces mean balanced accuracy from 0.807 to 0.638 on xView2 and from 0.818 to 0.568 on BRIGHT. Four sets of tests examine what information supports prediction: event and acquisition context, before/after image inputs, building count, and correct image pairing. Pre-event images remain predictive, and a classifier given only the annotated number of buildings reaches balanced accuracy of 0.629 and 0.653. Combining before/after features performs best on average on xView2, but does not improve over pre-only features on BRIGHT. Shuffling image pairs within the same disaster and damage class causes modest losses. Motivated by these findings, we test whether feature transformations learned only from training disasters improve generalization to unseen disasters. These transformations improve performance, with supervised contrastive learning performing best on xView2 and PCA on BRIGHT. Our results highlight the importance of evaluation on unseen domains for assessing model robustness and show that simple feature-level transformations can improve generalization. Code and experiments can be found at https://github.com/alishibli97/gfm-shortcut-learning.
arXiv:2610.13744v1 公告类型：cross 摘要：在策略自蒸馏有望将可验证奖励 RL 的稀疏结果信号替换为稠密的 token 级信用分配：一个以参考解为条件的教师模型对学生模型自身生成的轨迹进行评分，然后将由此产生的分布偏移蒸馏回策略中。我们研究这一评分信号是否确实包含纠正性信用。利用学生模型生成轨迹中的金标准错误片段，我们针对自蒸馏目标所使用的两种信号——完整分布 KL 和 token 对数比值——测试两个性质：它们能否定位错误，以及能否促使概率远离学生模型生成的错误 token。结果表明，这两种信号既不具备上述任一性质，也无法在同一个问题内可靠地区分正确轨迹和错误轨迹。我们认为，这种失败具有结构性：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这一搜索。对于同一个模型，在拥有相同特权信息的情况下，如果允许其生成批评，就能更好地定位错误。这促成了\emph{批评条件化自蒸馏}：首先对当前轨迹生成批评，然后让评分教师以该批评为条件。由此产生的信号能够定位错误，在错误片段内部具有纠正作用，并会将概率推向那些启动回溯的 token，例如“Wait”、“But”和“Actually”。我们进一步表明，这种批评在测试时和冷启动 GRPO 中都很有用：在测试时，将批评置于上下文中并从错误轨迹继续生成，可以解决模型通过采样无法解决的数学问题；在冷启动 GRPO 中，它能为仅凭可验证奖励无法提供任何信号的提示提供优势信号。
arXiv:2610.13740v1 公告类型：cross 摘要：世界-动作模型（WAM）能够预测机器人的动作以及这些动作将产生的观测结果。然而，性能最强的模型依赖视频扩散 Transformer，其计算开销对于资源受限的边缘设备而言过高。我们提出 SmolWAM，这是一种潜在 WAM，由拥有 2B 参数的 Cosmos Policy 构建而成：保留其预训练主干网络，并重建其推理接口，包括单帧视觉潜变量、保留主干网络注意力汇的缓存文本特征、28 个 Transformer 模块中的 12 个，以及从中读取动作和未来视觉潜变量的 1,008 个 token，并在一次整流流步骤中完成读取。SmolWAM 仅用 3.6 个 GPU 小时训练完成，在 400 个 LIBERO 回合中的成功率达到 95.5%；对于每个包含 16 个动作的分块，其延迟为 57 ms，计算量为 2.3 TFLOP，GPU 内存占用为 2.4 GiB。与教师模型相比，它的速度快 11 倍，FLOP 少 18.5 倍，内存占用降低 3.2 倍，同时其世界头仍能预测场景运动。
arXiv:2610.13708v1 公告类型：cross 摘要：长上下文服务在硬件达到其有效吞吐量之前就会耗尽 KV 内存。HiSparse 将历史记录存储在主机内存中，仅获取选定条目，但它在任何负载下都使用相同的缓存预算，也不支持 DSpark 和 DFlash2 等草稿模型推测解码。我们提出 Adaptive DHiSparse，支持基于层级稀疏 KV 的推测解码，并根据负载调整驻留内容。它会保护所需的工作集，在 GPU 内存有余量时保留额外历史记录，并通过精确融合检索恢复其余内容。DSpark 和 DFlash2 保持各自的提议与接受规则：查询共享缺失行检索，草稿 KV 使用窗口限制的环形缓冲区，验证暂存区则在各层组之间复用。在 100K 上下文和并发数 128 下，采用 DFlash2 的 GLM-5.3 每个解码 GPU 可达到 793 个输出 token/s，分别是 HiSparse 的 1.45$\times$ 和非推测自适应服务的 1.27$\times$。在与 HiSparse 相同的延迟上限下，根据每 token 的延迟限制不同，其可支持的并发数最高提升至 4$\times$，输出量提升至 2.3 至 3.7$\times$。在 500K 上下文和并发数 512 下，DeepSeek-V4.1-Flash 采用 DSpark 的 Adaptive DHiSparse，其输出量达到采用 DSpark 的常驻式服务的 1.85$\times$。在负载阶跃变化期间，可选的驻留机制使低负载下主机获取量从选定行的 14.2% 降至 1.4%，并能在压力下释放内存。
arXiv:2610.13687v1 公告类型：cross 摘要：音频-视觉数据集蒸馏旨在从大型配对音频-视觉数据集中合成一个小型数据集，同时几乎保留其对神经网络的训练效用。现有方法（如 DM 和 AVDD）面临两个关键局限：1）它们的内存消耗很大，难以扩展到复杂架构和更高的每类样本数（SPC）设置；2）它们通常无法保留较强的跨模态语义对应关系。为解决这些问题，我们提出 X-AVDD，一种基于交叉注意力的蒸馏方法，可在合成过程中显式捕获模态间关系。通过将跨模态对齐与联合优化解耦，X-AVDD 显著提高了内存效率，使端到端合成成本降低约 $8\times$ GPU 小时，同时生成高度对齐的合成数据。实验结果表明，X-AVDD 的性能显著优于其他音频-视觉蒸馏方法。在 VGGSound（一个由 YouTube 短视频片段构成的音频-视觉数据集）上，当 SPC=$10$ 时，X-AVDD 将 top-1 测试准确率从 $8.2\%\rightarrow24.0\%$ 提升至 $24.0\%$；当 SPC=$20$ 时，则从 $9.8\%\rightarrow26.5\%$ 提升至 $26.5\%$。此外，X-AVDD 提升了跨架构泛化能力（例如，在 AVE 数据集上、SPC $=50$ 时，针对 ViT 目标模型的准确率从 $25.5\%\rightarrow35.3\%$），并成功扩展至 AudioCLIP 等复杂架构：仅使用完整数据集的 $5.65\%$，便达到了 $62.3\%$ 的准确率，而完整数据集的准确率为 $72.4\%；与使用完整数据集相比，训练时间缩短了 $9\times$。
arXiv:2610.13674v1 Announce Type: cross Abstract: Linearizing softmax attention offers a route to efficient Transformer inference, but preserving pretrained attention remains challenging. We identify an important source of approximation error overlooked by standard linearization methods: a small number of outlier dimensions contribute disproportionately to query-key dot products and account for a large fraction of the approximation error. Motivated by this heterogeneity, we propose Outlier-Aware Attention Linearization (OAL), a dimension-aware method for constructing quadratic attention approximations. Starting from a second-order Taylor approximation, we introduce a Hadamard-product formulation that makes individual query-key contributions explicit. This formulation relaxes globally shared coefficients to support dimension-specific linear terms and cross-dimensional quadratic interactions while preserving separable evaluation. To retain this flexibility with fewer parameters, OAL groups dimensions with similar contribution scales to share coefficients, while allowing distinct treatment of the few outliers. The resulting positive quadratic kernel is calibrated against pretrained attention outputs and admits linear-time evaluation with respect to sequence length for fixed head dimensions. On Qwen2.5-0.5B, OAL reduces frozen-attention output relative MSE by approximately 8.9% compared with DiJiang. Replacing middle-layer attention modules and jointly fine-tuning the kernel coefficients with LoRA further lowers WikiText-103 perplexity from 31.71 to 27.50 compared with a learned global quadratic, while improving accuracy on PIQA, HellaSwag, and ARC-E. These results demonstrate the value of outlier-aware dimension grouping for both attention approximation and pretrained-model conversion. The code is available at https://github.com/wuqianyue09/OAL
arXiv:2610.13663v1 公告类型：cross 摘要：许多机器学习方法采用两层结构：专家先选择一类方法，而在该类别中，关键组件的选择至关重要，通常需要人工完成。本文针对这些组件的自动调优问题，提出了一个可迁移到不同性质模型的框架。该多智能体大型语言模型（LLM）框架包含三个角色——分析员、编码员和记录员——并配备实验日志和沙箱化执行环境。不同于优化整个机器学习脚本或在离散空间中搜索架构的系统，该框架在一个开放但语义范围狭窄的空间中运行：智能体仅为指定组件生成代码，而保持整体网络结构不变。该方法从两个方向进行了验证：调优一个采用相关性学习的分类脉冲神经网络，以及利用物理信息神经网络（PINN）求解高阶微分方程。在五项任务中——MNIST 和 Digits 上的脉冲分类，以及广义非线性 Schrödinger 方程（GNLSE）和 Kuramoto--Sivashinsky（KS）方程的边值问题——该智能体均优于基线方法：分类准确率分别提高了 13 个百分点（MNIST）和 6 个百分点（Digits）；相对于解析单孤子解的误差降低了约 2491 倍；在采用高斯扰动的选定 GNLSE 实验中，不变量保持误差降低了约 325 倍，在多次初始化的平均结果中降低了 100 倍以上；对于采用高斯扰动的 KS 问题，质量漂移降低了 14 倍。因此，该框架能够在不改变自身内部结构的情况下，针对性质不同的任务调优关键组件。
arXiv:2610.13656v1 Announce Type: cross Abstract: Latent field models are essential for spatial statistics, but the posterior distribution of the latent field, even with a Gaussian process (GP) prior, is analytically intractable whenever the likelihood is non-Gaussian. Existing approximations are either too slow or too restrictive for large non-Gaussian datasets. We present a scalable variational inference framework that mirrors the sparse nearest-neighbor autoregressive structure of the prior in the variational family, uses normalizing-flow conditionals for expressiveness, and amortizes all variational parameters via a single shared neural conditioner. Doubly stochastic optimization with reduced ancestor sets achieves polylogarithmic complexity per iteration.
arXiv:2610.13653v1 Announce Type: cross Abstract: Reinforcement learning with verifiable rewards (RLVR) has substantially improved LLM reasoning, yet growing evidence suggests it mainly performs distribution sharpening: concentrating probability mass on reasoning paths the base model already produces. Recent work therefore seeks RLVR's gains without needing reward signals, by sampling from the power distribution $\pi_\alpha \propto \pi_{\text{base}}^\alpha$ via Markov chain Monte Carlo or sequential Monte Carlo. We show that these samplers fail to converge to $\pi_\alpha$ under realistic compute budgets, and that their gains are largely recreated via simple Best-of-$N$ with appropriate grading . This suggests they succeed by selecting high-probability sequences, not by approximating $\pi_\alpha$, raising a natural question: is the power distribution itself a worthwhile target? We test this hypothesis directly by fine-tuning the base model to match $\pi_\alpha$, sidestepping sampler convergence issues entirely. Despite approximating the target far more faithfully than existing samplers, this strategy yields gains that are noisy and specific to certain models and sampling tasks. Together, our results suggest that the value of power sampling lies not in faithfully targeting $\pi_\alpha$, but in the simpler goal of extracting sequences the base model already deems likely.
arXiv:2610.13649v1 公告类型：cross 摘要：机器学习方法正日益用于直接根据分子结构预测化学性质，以绕过量子力学计算通常高昂的成本。近期研究表明，在此类机器学习模型中加入基态电子密度作为输入可以提高预测准确性。本文采用了近期提出的替代泛函框架，该框架最初是为无轨道密度泛函理论开发的，并将其扩展到分子性质预测。我们表明，将基态密度作为模型输入，同时约束其为替代泛函的最小值，在 QM9 数据集七种广延性质中的六种上超越了当前最先进的性能。此外，该方法在取自 QM40 数据集的较大分子上展现出更强的泛化能力。对于两个数据集中的所有广延性质，我们的方法都优于那些利用基态密度提供信息、但不施加替代泛函约束的模型。
arXiv:2610.13628v1 公告类型：cross 摘要：视觉-语言-动作（VLA）策略发出稀疏目标，这些目标抵达机器人控制器时存在延迟且不规律，因此，即使预测的动作合理，也可能在人员附近产生突兀运动。现有解决方案的评估所使用的数据流、延迟和指标各不相同。JitterVLA通过不同控制器重放完全相同的指令和到达轨迹，从而单独分析控制器的影响。我们将其应用于合成到达动作、20人的手部轨迹、三个开源 VLA 流程（838个回合）以及一台实体 UR3。在延迟200毫秒的人体运动中，插值使所有来源的建模 p99 加加速度均有所降低，降幅为83%（从615降至106 m/s^3），代价是2.0厘米的跟踪误差；这一效果在新增的598个回合中也得到了复现。在更大的代价下，受加加速度限制的生成方式进一步降低了加加速度。熵与不连续性之间的关联在两个流程中呈现方向相反且可复现的结果；熵门控在其中一个流程中有效，但在另一个流程中无效。在 UR3 上，插值使六组探索性配对中的加速度计推导加加速度降低了3.0%至14.0%，而基于位置推导的指标未能解释这一差异。JitterVLA支持在开展以人为中心的研究之前进行筛选；代码和数据将发布。
arXiv:2610.13608v1 公告类型：cross 摘要：语音强度转换是在保留语音内容和说话人身份的同时，以不同的语音强度重新生成录制的语句，而不是简单地缩放其振幅。现有系统通过参考语句或少量离散类别来控制强度。与之不同，我们在连续的 dB 刻度上，使用任意目标声压级（SPL）控制转换。我们训练了一个无需并行数据的条件循环一致 GAN 轻量级转换器，用于转换冻结语音编码器提取的特征，再由预训练声码器重新合成语音。我们比较了三种表示形式：对数梅尔频谱图、WavLM 和 SpeechTokenizer，并提出一种客观评估方案，在经过校准的语料库上测量实际实现的强度变化与目标强度变化之间的差异。使用 WavLM 时，转换器实现了目标强度变化的 83%，并且还会改变基频。感知评估证实，在振幅归一化的刺激材料上，感知到的语音强度会随目标声压级的提高而增加。
arXiv:2610.13606v1 公告类型：cross 摘要：相关矩阵同时包含非线性的正定性约束以及行列同步置换对称性。因此，对其进行生成涉及两个不同的问题。首先，无论变量如何排序，每个输出都必须保持在相关椭圆体上。其次，生成器必须学习经验数据在该有效空间内部所占据的领域特定分布。现有的金融图像生成器将这两个问题混为一谈：它们学习有序的矩阵条目，随后再修复无效采样结果。我们提出了 CorrFlow，将二者分离处理。广义 Fisher 变换将满秩相关矩阵双射到无约束坐标，从而无需投影即可保证输出有效。图流匹配网络在这些坐标中学习经验分布，并且具有置换等变性：重新排列变量只会相应地重新排列输出。我们在 $80\times80$ 的台湾股票矩阵上比较了条件式 CorrGAN 的复现版本、图像扩散模型和 CorrFlow，其中每种神经方法使用五个随机种子。CorrFlow 无需修复即可生成 100% 有效的采样结果，并取得了特征切片 Wasserstein 距离 $.712\pm.141$；相比之下，CorrGAN 和图像扩散模型在将无效输出投影回相关空间后，该距离分别为 $4.339\pm.252$ 和 $4.610\pm.191$。与历史查找相比，CorrFlow 也改善了这一距离，但历史查找具有更高的局部覆盖率。这些结果支持在所评估的训练预算下采用这一组合构造；但它们并未证明其优于经过充分调优的图像模型，也未分离各个组件的贡献。
arXiv:2610.13588v1 公告类型：cross 摘要：对电动汽车（EV）充电需求进行不确定性量化，对于将电动汽车普及给电力系统带来的日益增长的压力转化为灵活性来源至关重要。我们研究了苏格兰公共充电站的大规模数据集，其中需求呈现出分层结构，涵盖从单个充电点到区域和全国范围的多个聚合层级。充电基础设施在持续演变：不断有新充电站投入部署，现有充电站也会偶尔移除，因此需要针对这一不断变化的结构设计预测与不确定性量化方法。为应对这些挑战，我们将分层预测与保序预测在缺失数据方面的最新进展相结合。所研究的保序程序能够在分层结构的每个节点生成有效的预测区间，而算法 CP-MNR-Nested 则能够成功考虑数据的时变分层结构。
arXiv:2610.13578v1 Announce Type: cross Abstract: Pre-trained robot policies, such as Vision-Language-Action (VLA) models, provide a strong foundation for generalist robotic manipulation, but adapting them to new tasks with only a few demonstrations remains challenging. Directly fine-tuning a pre-trained policy often achieves strong in-distribution performance, yet it can distort the representations learned during pre-training and weaken the model's generalization ability under out-of-distribution shifts. We propose Retrieval-Anchored Representation Alignment (RARA), a two-stage adaptation method, to address this issue. First, RARA retrieves representation features from pretraining with similar task intent and motion, and aligns the policy's representations of the target demonstrations with the pre-trained representations of the retrieved demonstrations. Second, RARA fine-tunes the policy on the target demonstrations while limiting how much its representations of the retrieved demonstrations change during fine-tuning. By reducing the representation mismatch before action learning and preserving pre-trained knowledge during adaptation, RARA limits unnecessary representation drift during fine-tuning. Experiments with Diffusion Policy and GR00T on 13 tasks in RoboTwin, RoboCasa, and on a real robot show that RARA improves the average success of fine-tuning by 9.5 points in-distribution and 13.6 points out-of-distribution, and outperforms all compared baselines. Project page: https://shua-kang.github.io/RARA_robot/
arXiv:2610.13527v1 公告类型：cross 摘要：多模态语言模型（MLLMs）展现出令人期待的空间推理能力，但支撑这些能力的内部机制仍缺乏充分理解。我们发现了 S-Space，这是一个线性表示子空间，其中对象标记表示沿水平、垂直和距离轴编码连续坐标。尽管我们通过对对象标记激活相对于空间答案得分进行微分来识别这些轴，S-Space 是内在的，而非由特定数据或提示诱导产生的；即使面对非空间问题，它仍然具有可读性。我们表明，S-Space 充当了 MLLMs 的内部空间工作区。感知模块将对象位置编码其中，形成可直接读取并用于支持准确空间判断的空间表示。内部推理会对其进行变换，以应对视角变化。言语回答会选择性地访问该空间，这一点得到因果干预的证实：因果干预能够改变空间判断，同时基本保持非空间回答不变。案例研究进一步表明，S-Space 能够为未见过的实体和观察者分配位置，并将物理方向与抽象语言含义联系起来，这揭示了大规模语言训练的能力与局限。最后，我们将 S-Space 用作诊断空间推理失败的工具。方向词的读取结果揭示了基于基本方位的参照系与基于图像相对位置的参照系之间存在系统性耦合。更重要的是，感知—计算分解揭示了一个关键瓶颈：MLLMs 能够形成有能力的空间表示，却无法完成跨视角变化进行可靠推理所需的空间变换。
arXiv:2610.13518v1 公告类型：cross 摘要：在机器学习中，自注意力动力学描述了transformer的注意力机制，其处理方式是将transformer的层索引视为时间索引。尽管这一动力系统天然是离散时间的，但人们通常在连续时间框架下对其进行研究。本文旨在对自注意力动力学的离散时间版本进行全面研究：完整分类其平衡点，并研究这些平衡点的稳定性特征，涵盖单头和多头两种情况。我们证明，在这两种情况下，动力学的主要吸引子都是与值矩阵的主特征向量对齐的共识平衡点（在单头情况下为值矩阵，在多头情况下为相应的权重矩阵），尽管至少在单头情况下，还可以证明存在其他局部渐近稳定的二分图平衡点。通过考察一个真实transformer学习到的权重矩阵，我们验证了这一行为。
arXiv:2610.13480v1 Announce Type: cross Abstract: Nonlinear model predictive control (NMPC) can be applied to large nonlinear systems with complex objectives while enforcing constraints, but the cost of solving the underlying optimization problems limits real-time application for systems with fast dynamics or many states. Neural networks can reduce this online cost by approximating the control law, but may violate constraints and typically require many precomputed optimizer solutions for training. The learning-based iterative solver for constrained optimization (LISCO) instead learns to predict primal-dual steps toward satisfaction of the Karush-Kuhn-Tucker (KKT) conditions through self-supervised training without precomputed solutions, but its dense, monolithic architecture grows with the prediction horizon. We remove this horizon dependence by exploiting the temporal structure of the problem in the solver architecture, which makes the network size independent of the horizon while leaving the training loss and the solver iteration unchanged. A closed-loop resampling strategy further aligns the training distribution with closed-loop operation at no additional sampling cost. On an economic NMPC benchmark of a CSTR cascade, the proposed solver scales to larger problems than monolithic LISCO and achieves median speedups of up to a factor of four over IPOPT. In closed loop, it achieves comparable control performance to IPOPT with no observed constraint violations.
arXiv:2610.13461v1 公告类型：cross 摘要：AI 系统正在数学领域取得快速进展，但这种进展很难衡量。已解决问题的基准会趋于饱和，而在开放问题基准中，每个问题只能被首次解决一次。我们提出了 SqueezeBench，这是一种抗饱和基准：一次成功会提高标准，而不是移除问题。每个问题确定一个整数函数 $f(n)$，其取值仅在较小的 $n$ 上已知，基准则持续维护该函数的下界记录和上界记录。记录是一个可计算的 Lean 函数，并附有机器检查的证明，证明其确实界定了 $f$。提交内容需要提出一个新函数，并证明它界定了 $f$、对任意 $n$ 都不劣于当前记录，且在某个 $n$ 上严格更优。一旦被接受，它就会成为下一份提交必须超越的记录。因此，该系统不仅选择界，还选择其证明；它既可能在某个单独的 $n$ 上改进记录，也可能改进其增长率。在每个 $n$ 上，两条记录之间的差距表明，经认证的界距离确定 $f(n)$ 还有多远。每个证明都由两个相互独立的 Lean 内核检查，因此无需裁判检查数学内容。这些检查还会拒绝一种通过在较小 $n$ 上穷举搜索来计算 $f$ 的函数，而维护者只需阅读提交者的报告，并检查其是否在更大的 $n$ 上进行此类搜索。我们发布了十个来自极值组合学的问题、二十条已证明的初始记录以及准入工具。作为基线，基于前沿语言模型的智能体在每条记录最多使用一小时的情况下，有 82 份提交被接受，并改进了每一条记录，且没有超出已发表文献的范围。随后，基于另外两个更新模型的智能体从这些记录出发，又有 60 份提交被接受，并再次改进了 20 条记录中的 19 条。对于十个问题中的八个，至少有一条记录在渐近意义上仍落后于已发表的最佳界。
arXiv:2610.13442v1 公告类型：cross 摘要：压缩方案为推导依赖于数据的学习算法风险界提供了一个通用框架。对于基于偏好压缩的学习规则，现有结果根据依赖于样本的复杂度 $\boldsymbol{k}$ 对风险给出上界，其中 $\boldsymbol{k}$ 定义为压缩集与训练样本中重构假设不适用的样本所组成集合的基数。然而，这些结果在 $\boldsymbol{k}/N$ 之上产生了一个量级为 $O(\sqrt{\ln N/N})$ 的裕量。在本文中，我们证明这一对数因子并非内在因素。我们证明，对于任意固定的置信水平 $1-\delta$，以至少 $1-\delta$ 的概率，风险满足 $$ \frac{\boldsymbol{k}}{N} + O\left(\frac{1}{\sqrt{N}}\right), $$ 且该结论对 $\boldsymbol{k}$ 的所有可能取值一致成立。因此，基于偏好压缩的学习算法的风险估计达到了与固定事件概率的经验估计相同的大数定律速率。我们还证明了首项 $\boldsymbol{k}/N$ 是必要的，并考察了它与经验风险之间的关系。特别地，我们确定了若干情形：在这些情形下，经验风险保持 $O(1/\sqrt{N})$ 的收敛速率；同时也确定了另一些情形：在这些情形下，经验风险的收敛速度更慢，或不再具有一致性，而基于复杂度的估计量仍保持 $O(1/\sqrt{N})$ 的速率。
arXiv:2610.13440v1 Announce Type: cross Abstract: Recent accent classification systems can achieve high accuracy in standard in-corpus evaluations. However, when speakers overlap between the training and test sets, such results may overestimate model robustness compared with real-world deployment scenarios. This study revisits the robustness of DistilHuBERT-based accent classification by using L2-ARCTIC and multiple external English accent datasets. The comparison covers file-level and speaker-disjoint splits, along with balanced external-data training and teacher-student pseudo-labeling. The large performance gap between in-corpus and external evaluations suggests that file-level evaluation substantially overestimates performance, while speaker-disjoint evaluation can provide a more realistic estimate of the generalization to unseen speakers. In this study, models trained on external data alone do not reliably generalize to L2-ARCTIC. Among the tested configurations, balanced external-data training offers the most promising supervised setting. The pseudo-labeling experiments further indicate that confidence-based filtering alone is insufficient under domain mismatch. Overall, this study suggests that robust accent classification evaluation should simultaneously include speaker-disjoint evaluation and cross-corpus testing.
arXiv:2610.13432v1 Announce Type: cross Abstract: Earnings call transcription presents a realistic continual learning scenario where Automatic Speech Recognition (ASR) systems are updated with new recordings but risk catastrophic forgetting of previously learned financial speech patterns. Adapting Whisper-small from a general-domain speech corpus to the Earnings22 benchmark reveals the opposite: all evaluated methods exhibit improvement on held-out financial speech from the same domain during adaptation rather than forgetting. This task complementarity makes regularization counterproductive. Nevertheless, when regularization is warranted, a layer-wise mini-Kronecker-Factored Approximate Curvature (mini-KFAC) approximation seems to achieve lower word error rates (WERs) and more stable optimization than standard diagonal Elastic Weight Consolidation (EWC). The results suggest that task complementarity should be assessed before applying continual learning constraints, and prefer mini-KFAC EWC over diagonal EWC when needed.
arXiv:2610.13430v1 公告类型：交叉收录 摘要：时间序列因果发现——即检测时间序列之间因果关系的过程——源于半个多世纪前的信号处理研究。此后，这一领域持续受到广泛而积极的关注，并在统计学、动力系统和机器学习等领域中演化出不同的形式。对于初入者而言，这一分散且不断演变的研究领域可能令人望而生畏。本教程为不同研究社群中的时间序列因果发现提供了统一概述。我们介绍了现代因果发现方法所采用的关键原理，并讨论了这些方法的局限性与假设。我们还讨论了如何对因果发现方法进行评估、基准测试和微调。此外，我们探讨了时间序列因果发现如何日益成为农业与地球科学、医疗健康以及人工智能系统中下游任务的关键。我们相信，本教程既能帮助读者梳理近期涌现的大量因果研究，成为一项宝贵资源，也能邀请信号处理领域的读者参与因果问题的研究。为进一步帮助读者，我们维护了一个配套代码仓库，提供实用代码包和资源的链接，地址为 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery。
arXiv:2610.13397v1 Announce Type: cross Abstract: We develop a model-free, noise-aware Bayesian clustering framework that constructs a martingale posterior over clusterings from a predictive Bayesian perspective. This avoids explicit likelihood-prior model specification, expensive MCMC sampling, and mode-seeking variational approximations, while accommodating irregular cluster shapes and enabling parallel generation of posterior draws. To interpret the posterior over high-dimensional, noise-aware clusterings, we introduce a Wasserstein-type summarization method. Using a novel noise-aware loss, this approach compresses the large collection of posterior draws into a small set of weighted representatives, capturing distinct cluster structures and noise assignments. Further, we marginalise the uncertainty in the density level, avoiding reliance on a specific choice. We establish theoretical properties of the proposed loss and guarantees for the level-marginal posterior approximation. Results demonstrate the framework's effectiveness in capturing clustering and noise uncertainty.
arXiv:2610.13353v1 Announce Type: cross Abstract: Multimodal emotion preference learning uses pairwise comparisons to identify which open-ended emotion descriptions align more closely with human judgments. However, existing methods primarily focus on the final preference decision and provide little explicit supervision for localizing and correcting erroneous content. To address this limitation, we propose EmoGavel, a Grounding-Aware reinforcement learning framework with Verifiable rewards for multimodal Emotion preference Learning. We first introduce grounded supervised fine-tuning (Grounded SFT), which exploits controlled-error construction information to jointly learn preference prediction, error localization, repair, and missing-evidence recovery. We then optimize these verifiable outcomes with grounding-aware group relative policy optimization (GA-GRPO), combining preference-gated grounding rewards with dynamic zero-variance rescue to prioritize preference correctness and recover learning signals from all-wrong groups. Experiments on EmoPrefer and controlled-error evaluation sets show that EmoGavel improves both natural preference prediction and controlled-error discrimination while maintaining strong error-grounding performance. Our code and model checkpoints will be released once the paper is accepted.
arXiv:2610.13330v1 公告类型：cross 摘要：针对复杂化学任务设计工具集成的推理智能体系统，仍然是一项根本性挑战。尽管近期的化学智能体通过集成外部工具展现出了良好的性能，但它们仍然建立在自回归范式之上，而该范式天然受到因果注意力和从左到右生成的限制。因此，它们往往难以实现双向分子理解、全局协调的工具规划以及多源证据整合。为应对这一挑战，我们提出了 ChemDiffAgent，这是首个用于工具集成化学推理的掩码扩散语言智能体。该方法将化学推理重新表述为对交错的推理轨迹和工具使用轨迹进行迭代去噪，使工具使用决策能够在完整轨迹上下文中联合确定，从而更好地使智能体的决策边界与其知识边界相匹配。我们进一步分析了这一范式如何通过训练期间更具挑战性的填空子问题，以及推理期间灵活的任意顺序解码，来提升智能体推理能力。随后，我们提出了一个两阶段后训练框架，包括智能体监督微调和方差缩减偏好优化，以增强工具使用与推理能力。我们还构建了一个综合基准，涵盖单轮和多轮工具使用场景下的六项化学任务。在预算和评测条件匹配的情况下，ChemDiffAgent 始终优于自回归智能体，整体性能提升约 20%。值得注意的是，我们的 8B 模型达到了与 GPT 5.5 和 Claude Opus 4.7 等规模显著更大的前沿模型相当的性能，在某些情况下甚至超过了它们。代码见 https://github.com/bilemond/ChemDiffAgent。
arXiv:2610.13325v1 公告类型：cross 摘要：智能体式工作负载会在多次调用之间重复发送几乎不变的长上下文。如今，前缀缓存可以跳过其中大部分预填充阶段，但每个请求仍必须先完成全部分词，之后才能查询缓存。分词这一长期以来被视为无关紧要的 CPU 阶段，如今却成为首 token 生成时间（TTFT）中占比最大的部分；而为整个 GPU 集群执行分词的前端，则限制了其能够供给的 GPU 数量。我们提出 GraphTok，这是一种 GPU 分词器，可将从预分词、字节对编码（BPE）合并到 token ID 组装的完整编码流程，作为一张可重放的 CUDA 图运行。GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID；对于 GPU 无法占优的短输入，则将其交给 CPU 引擎处理；同时，它还可以接入未经修改的 vLLM 和 NVIDIA Dynamo。GraphTok 在包含数据传输的情况下，可在 1.7–3.2 毫秒内编码一百万个 GPT-2 token；在 Llama 3 上，其速度比最强的 CPU 分词器 gigatoken 快 4.7–6.0 倍。在 TokTier 自有的单请求基准测试中，其速度比 gigatoken 快 2.6–3.9 倍，最高比 TokTier 快 18.1 倍。在使用缓存前缀的 vLLM 中，它将平均 TTFT 降低了 2.1–2.4 倍。最大的提升体现在容量方面。在 2 秒 P99 目标下，配备 GraphTok 的单个 Dynamo 前端可持续处理 518 个请求/秒、每个请求包含 12.1 万个 token 的流量，相当于高峰时段 56 个 GPU 的负载；相比之下，使用 gigatoken 时为 296 个请求/秒，使用默认分词器时仅为 18.5 个请求/秒。在 12.1 万至一百万个 token 的范围内，其可承载负载是 gigatoken 的 1.75–2.5 倍；在 gigatoken 的尾延迟失控的情况下，P99 最多可降低 64 倍。
arXiv:2610.13299v1 公告类型：交叉 摘要：预训练视觉 Transformer 学习涵盖空间 patch 令牌和非空间令牌的结构化图像表示。近期分析表明，非空间寄存器令牌编码了光照、模糊和风格等全局场景属性。然而，基于 patch 的图像解码器会丢弃这些输出，使解码器只能从 patch 中恢复图像外观。我们研究了在完整的空间 patch 表示已经可用的情况下，保留寄存器特征是否能够改善解码。我们使用配备寄存器的冻结编码器和表示自编码器（RAEs）来探讨这一问题。我们的解码器通过联合自注意力同时处理四个寄存器令牌和全部 patch 令牌。我们采用外观探针、成对重建误差分析以及固定解码器下的寄存器替换实验，考察寄存器能够提供哪些全局图像属性，以及这些属性的取值如何影响重建像素。对于生成任务，我们训练了一个多头注意力池化（MHAP）预测器，从采样得到的 patch 中恢复寄存器特征，同时保持预训练扩散模型及其样本不变。在 ImageNet-1K 上，我们的 ViT-B 解码器使用 DINOv2 和 DINOv3 时，平均重建 FID 分别达到 0.472 和 0.442；相较于各自仅使用 patch 的基线，分别降低了 9.5% 和 5.2%。对应的 PSNR 分别为 19.73 和 20.54 dB。在生成任务中，在相同采样 patch 上，我们的 DINOv2 模型取得了 1.641 的平均 FID，比仅使用 patch 的基线低 9.8%。
arXiv:2610.13287v1 Announce Type: cross Abstract: Prompt optimizers rewrite a prompt to raise one target metric, but prompts also state requirements the metric does not score, such as an output format, citations, or abstention. In a preregistered study, we run GEPA, MIPROv2, and TextGrad on HotpotQA, SQuAD 2.0, and IFEval and count per-item violations of unscored requirements with deterministic checks. By the preregistered criterion, all three optimizers produce regressions, substantially on HotpotQA, where net regression in citation validity reaches 10.7 to 41.6 points while exact match rises by 21 to 34 points. A post-hoc decomposition changes this reading. The optimized prompts elicit reasoning before the required JSON object, and under the 200-token output cap used throughout, 13.9% to 47.0% of responses end before any answer appears. Among parseable outputs, net regression is within 3 points of zero. With a 1,024-token cap, extraction failures disappear, content regression stays below 1 point, and exact match rises further. Two simple gates fail the preregistered criterion. The side effect is narrower than hypothesized: optimized prompts are more accurate and break an explicit output contract, and a lenient target metric does not show the cost.
arXiv:2610.13264v1 Announce Type: cross Abstract: On-policy distillation (OPD) reveals versatility and convenience during VLM post-training, providing dense supervision for student from teacher. However, we observed an anomaly that the distilled VLM could still answer the questions accurately even when the related visual regions were masked or replaced with noise. Building on this observation, our quantitative and qualitative experiments demonstrate that OPD, which uses the answer as a hint, has failed to teach students to genuinely seek out and rely on visual evidence. Our theoretical analysis suggests that this failure arises from a shortcut enabled by the lack of visual constraints during distillation. To address the issue, we introduce Contrastive Vision On-policy Distillation (CV-OPD), which compares teacher distributions induced by positive and negative crops while conditioning on the same student prefix and augments optimization with a margin-based contrastive constraint, which is modulated with discrepancy gating across token and sample level. Specifically, CV-OPD first introduces a negative teacher unrelated to the answer and designs a Contrastive Divergence Loss (CDL) that constrains the feature distribution of student by contrasting the positive and negative teachers, correcting how the student exploits visual regions. The CV-OPD introduces a Discrepancy Aware Gate (DAG) that uses token-level and sample-level discrepancies to select visually relevant tokens for optimization, directing the student's attention toward visual content. Extensive experiments across a broad range of fine-grained visual benchmarks demonstrate that CV-OPD substantially alleviates shortcut and consistently improves the visual reasoning capabilities of existing VLMs.
arXiv:2610.13211v1 Announce Type: cross Abstract: Generative machine learning has shown remarkable results across a wide range of interdisciplinary tasks, motivating significant efforts toward Quantum Generative Models as a path to beyond-classical performance, given their capability of generating classically intractable distributions. However, comparatively little attention has been paid to securely delegating such computations to a powerful remote quantum server. In this work, we propose a blind and verifiable protocol for sampling that can be used for the inference phase of such quantum models. Such a protocol inherits blindness from Universal Blind Quantum Computing and achieves verifiability by exploiting known approaches based on trapification schemes. Alongside, to delegate the training phase, we discuss an extension of the previously proposed verifiable end-to-end Delegated Variational Quantum Algorithms (Inajetovic et al., Phys. Rev. Research, 2026). Beyond the usual Accept/Abort outcome characterizing verification protocols, the sampling protocol for inference also provides, even against a malicious server, an estimation of the amount of corrupted generated samples, i.e., a fine-grained feature describing the quality of the outcome connecting verification protocols and application-level benchmarking.
arXiv:2610.13190v1 Announce Type: cross Abstract: Autonomous landing of unmanned aerial vehicle (UAV) on unmanned surface vehicle (USV) is difficult in high sea states. Existing hierarchical landing methods often infer future USV motion only implicitly from short observation histories, which limits their ability to adapt to severe and rapidly changing sea conditions. This paper presents a prediction-informed hierarchical control framework. A pretrained model is developed to explicitly predict the USV attitude during high-level landing decisions. The prediction helps identify suitable landing windows and choose the right touchdown time, while a conventional low-level flight controller maintains UAV stability and tracks motion commands. To evaluate the framework under realistic disturbances, a real-sim validation setup is constructed in which USV-motion data collected in real sea conditions are transferred to a MuJoCo USV. The experiments demonstrate the feasibility of using explicit attitude prediction to improve landing-window selection and support timing-aware UAV landing planning in rapidly varying marine environments.