全部动态

本页 40 条
10月12日 周一
arXiv cs.LG77

MagicBeanStalk：通过递归数据合成摆脱 RLVR 零优势陷阱

arXiv:2610.12659v1 公告类型：交叉发布 摘要：以数据为中心的 RLVR 扩展一直侧重于收集或生成可验证的训练问题。然而，仅凭语料库规模并不能判断数据集是否能为目标策略提供有效的学习信号。为指导有效 RLVR 数据的合成，我们通过实验，将数据集的有效性刻画为其所含问题、目标策略和训练 rollout 预算的函数。基于这一刻画，我们发现，一个汇集了广泛使用的 RLVR 数据集的大型开源数学语料库几乎完全陷入了零优势陷阱：对于固定的目标策略和 rollout 预算，其中约 88% 的问题要么在每次 rollout 中都能解决，要么在每次 rollout 中都无法解决。筛选可以提高剩余有效问题的集中度，但它只能进行选择，同时丢弃难题。因此，有效的合成问题应当要求使用解决这些难题所需的推理操作及其组合。不过，这些问题的难度必须经过校准，使部分 rollout 成功、部分失败，并且至少有一个正确解答能够在训练预算内完成。直接提示教师模型对难题进行变式改写并不能达到这一目的。在这些实证原则的指导下，我们提出了 MagicBeanStalk，一种结合自顶向下分解与自底向上递归数据合成的算法。它在保留种子问题推理蓝图的同时，将种子问题扩展为一系列在实质上全新、且针对策略和预算进行了校准的训练问题。在 8 个数学基准测试中，在 16K token 预算下，使用 MagicBeanStalk 问题持续进行 RLVR 训练，使 gpt-oss-120b 的成绩从 61.2 提升至 69.8（+8.6），使 DeepSeek v4Flash 从 72.4 提升至 77.9（+5.4）。使用完整的 7.8 万道问题源语料库进行训练仅提升了 1.1 分，而使用其中经筛选得到的最佳真实数据子集则提升了 5.8 分。在金融领域，我们仅基于 340 个解答就合成了超过 1.4 万道可验证问题，并在 SecQue 和 FinanceBench 上分别比基础模型提升了 6.9 分和 2.4 分。

arXiv cs.LG76

SpireBench：使用 Slay the Spire 评估智能体模型的长程策略对局能力

arXiv:2610.12596v1 公告类型：交叉收录 摘要：智能体大语言模型如今已能处理复杂任务，但对其长程策略推理能力的研究仍显不足：大多数智能体基准测试流程较短，且以独立回合为单位，而模型在长程任务中的表现又难以拆解为已有知识、推理能力与运气各自的贡献。我们提出 SpireBench，让模型游玩完整的商业牌组构筑游戏 Slay the Spire（StS）；在该游戏中，早期决策决定了长期成败。我们在游戏最高难度下测试了 20 个大语言模型（LLM），发现前沿模型超越了启发式基线，并达到了普通人类玩家的平均水平，但仍远逊于专家玩家。随着单局进程推进，这一差距进一步扩大：最强模型通过第一幕的频率与专家相当，随后却逐渐落后。强弱模型之间的区别在于每场战斗中的表现；所有模型都会误判整局游戏中的风险，倾向于保留生命值，而不是消耗生命值来增强实力。对所有游戏术语进行全面且内部一致的重命名后，我们发现，模型的表现部分依赖于对游戏的先验知识；此外，模型也未能从自己在多局游戏中记录的记忆中获得提升，这些记忆往往有误且过于谨慎。我们的测试框架首次向模型提供了完整的原版游戏，并与现有框架进行了比较。总体而言，SpireBench 提供了一个尚未达到性能饱和的长程基准，并配备了用于定位智能体失败环节及原因的工具。

arXiv cs.LG74

Fly-by-Code：基于主动视觉与物理反馈的空中操作具身编程智能体

arXiv:2610.12549v1 公告类型：交叉收录 摘要：具身编程智能体通过生成可执行程序，并根据执行反馈对其进行改进，将自然语言指令转化为机器人策略。这种改进过程假定执行反馈能够揭示任务是否成功，并在失败后提供足够的证据来指导程序修订。空中操作在两个方面违背了这一假定。一方面，载荷约束限制了机载相机的覆盖范围，使对任务至关重要的结果处于机器人视野之外（部分可观测性）；另一方面，强动态耦合与有限的控制裕度使物理交互容易失败（交互鲁棒性有限），且失败原因难以明确。反复审视同一份反馈，既无法补回从未采集到的观测，也无法区分现有证据无法辨别的失败原因。为获取这些缺失的证据，我们提出 Active Feedback（AF），一种主动式“观察与探测”框架。当执行反馈仍留有未解问题时，智能体会合成一个独立的诊断程序，在仿真中运行，从信息丰富的视角检查此前未被观察到的结果（观察），或通过有针对性的物理交互检验关于失败原因的假设（探测）。在六项仿真空中操作任务中，每种条件均进行 60 次试验；在相同的编程智能体配置和任务执行次数限制下，与终止时反馈相比，AF 将误报完成的次数从 25 次降至 5 次，并将最终任务成功率从 31.7% 提升至 75%。借助共用的机器人 API，在仿真中通过 AF 改进的任务程序无需修改任务程序源代码，即可在实体空中操作机器人上运行，并在真实世界中完成多阶段操作任务。这些结果表明，可执行诊断能够弥补具身编程智能体执行反馈中的信息缺口，从而同时改善空中操作中的完成状态评估与程序改进。

arXiv cs.LG76

AutoIndexer：通过在编辑链上训练因果模型实现灵活顺序解码

arXiv:2610.12545v1 公告类型：交叉收录 摘要：自回归解码不太适用于非因果顺序的数据，例如交叉引用或对后续内容的依赖，因为与人类的迭代推理不同，其输出无法在事后修订。扩散式 LLM 在一定程度上缓解了这一局限，但仍无法在预先生成的上下文中灵活插入或删除任意数量的词元。我们设计了 AutoIndexer，这是一种采用新颖训练与解码机制的生成模型，通过模拟编辑链，使模型能够在事后通过插入、替换和删除词元，灵活修改先前的输出。该模型学习预测用于开启和结束编辑的标记词元，同时将光标移动到现有词元序列中的相应位置，类似于文本编辑器。训练序列通过对真实标签施加逆向链式编辑操作进行扰动而获得，模型则通过撤销这些逆向操作来学习编辑。这种扰动训练使 AutoIndexer 对错误上下文具有鲁棒性，并能适应代码纠错等编辑任务。我们证明，该方法具备大多数自回归模型和扩散模型所缺乏的生成后上下文编辑能力，同时不会损害其在标准 LLM 基准测试上的表现。代码已发布于 https://github.com/AutodeskAILab/autoindexer。

arXiv cs.LG69

Equal-Budget Monte Carlo Tree Search versus Randomized-Restart List Scheduling for DAG Workflows: A Controlled Equal-Budget Computational Study

arXiv:2610.12542v1 Announce Type: cross Abstract: Monte Carlo Tree Search (MCTS) is often proposed for scheduling directed-acyclic-graph (DAG) workflows, yet most studies never run the comparison that could refute it - giving a much simpler method the same search effort. We run that comparison under a controlled protocol. All arms receive an identical budget - the same number of candidate schedules built and evaluated: an MCTS scheduling method, preregistered as the main arm; a randomized-restart list scheduler with no search tree as the control; and a textbook-UCT MCTS arm as a registered follow-up on the same domain. The analysis plan was locked before data collection; an independent checker confirmed all 768 confirmation-stage schedules valid with correct finish times. At the main budget of 2048 evaluated schedules, MCTS is 2.88% worse than the restarts (95% CI [-3.62%,-2.15%]; the 72 of 96 held-out instances with positive baseline-relative headroom). The deficit is not budget starvation: on the separate exploration pool restarts self-improve by 1.85% where MCTS gains 0.24%, and 700 of 720 of MCTS's first results are merely the warm start it was handed. The studied selection rule locks deterministically onto the first-expanded child, keeping its trials correlated while restarts draw gains from the tails; the causal link to makespan remains an inference. A structural map locates where the tree stops paying: restarts win on sparse irregular workflows, no difference is detectable on regular layered ones, and dense ones leave no room to improve. Swapping the rule for textbook UCT removes most of the deficit (-0.26%, 95% CI [-0.71%,+0.23%]) without reversing its sign. Results are confined to a controlled synthetic domain (N in {8,16,32} tasks, 2-8 processors, budgets up to 2048); we make no claim about larger budgets.

arXiv cs.LG73

LLM 驱动的音色生成与插值中的结构性与表征性能动性

arXiv:2610.12532v1 公告类型：交叉收录 摘要：生成式创意界面通常会显示用户在可能性空间中的位置。这类显示暗示，所展示的数值是从生成产物中测量得出的；然而，在越来越多的系统中，这些数值实际上是由描述自身输出的语言模型预测的，而两者在屏幕上无法区分。大多数创意领域缺乏公认的测量方法来核验这种自我报告，但音频领域具备这样的测量方法。我们对一个实际运行的 LLM 驱动音色界面进行了测量研究，结果表明，用户能够促成的结果与界面所报告的结果可以彼此分离。前者可以被精确刻画：可达集是一个 zonotope，其维度随着每放置一个声音而增加一维，因此可以证明，模型可在其中操作的空间确实由用户掌控。后者则不准确。显示位置与实测位置之间的偏差约为该区域宽度的三倍，而且误差有两个独立来源：一是模型预测的坐标，其准确性在所评估的两个模型之间相差一倍；二是插值步骤产生的误差，它源于合成器参数的组合，不受模型质量影响。在端到端测试中，36 条细化指令中有 26 条未产生可感知的变化；在使用较弱模型时，该功能未执行任何操作，却报告已经收敛。因此，实效能动性（用户能够促成什么结果）与认知能动性（用户能否知晓这些结果）可以彼此分离，也可以独立设计：通过结构强制实施的约束在模型失效时依然有效，而依赖模型自我报告的保证则不然。最终仍然存在的失效模式，是将毫无反应呈现为成功。最后，我们提出了一套用于构建和审计此类显示的简短规程。

arXiv cs.LG73

MolP2SBench：LLMs 真的能从分子性质推理出结构吗？

arXiv:2610.12522v1 公告类型：交叉收录 摘要：大型语言模型（LLMs）正越来越多地用于分子发现与结构解析，这些领域的决策依赖于物理观测。现有评估主要关注端到端的分子重建，而正确的预测并不一定意味着模型依赖了所提供的性质信息。我们提出 MolP2SBench，这是一个用于评估 LLMs 从分子性质到结构（P2S）推理能力的基准。每项任务提供一个部分被掩蔽的分子骨架及给定性质，要求模型从合理的候选项中选出缺失的结构。我们通过打乱或替换性质，检验模型对正确性质—结构配对的依赖程度，以及对反事实性质变化的响应能力。按信息通道分别评估的排行榜采用基于性质的恢复指标（Property-Grounded Recovery，PGR），对原始条件与反事实条件下的恢复表现赋予相同权重。通过评估七个模型，我们发现 LLMs 能够利用物理性质进行结构预测，但在不同性质类型上的表现差异显著。使用某种性质时准确率更高，并不一定意味着对该性质的响应更强：模型从 $^1$H NMR 中获得的收益可能大于从 $^{13}$C NMR 中获得的收益，但在 $^1$H 数据被替换时，反而更不容易改变预测。LLMs 的表现也未必反映人类化学家利用这些性质进行推断时的相对难度。尽管 UV-Vis 光谱提供的直接结构信息少于 NMR 光谱，Astra 使用 UV-Vis 数据时的准确率却高于使用 NMR 谱峰时。MolP2SBench 支持研究 LLMs 如何提取和利用物理性质信息，揭示可能不同于传统化学直觉的模式，并为构建更可靠地以性质为依据、用于分子与量子化学推断的模型奠定基础。代码和数据集：https://github.com/DUAL-Xiao/MolP2SBench。

arXiv cs.LG68

Looking Under the Streetlight: Evaluation in Generative Molecular Dynamics

arXiv:2610.12518v1 Announce Type: cross Abstract: This position paper argues that the generative molecular dynamics (GenMD) community is not properly evaluating its progress: current evaluations let a model match what is reported while being arbitrarily wrong on what was claimed, which risks over-claiming advantage over classical baselines. This reflects a structural misalignment between common evaluation practices and the scientific tasks the field sets for itself. The reason is that the ground truth---exhaustive molecular dynamics on the systems of interest---is computationally costly, and this cost is what motivates the field. With ground truth inaccessible, evaluation drifts toward convenient proxies, and the resulting norms entrench easily. We identify misaligned evaluation patterns that persist as a community-level equilibrium, and propose concrete observables, reporting standards, and benchmark designs, both computational and experimental, that better reflect what GenMD aspires to deliver. Our aim is to give the field shared language and tools for evaluation that match its scientific ambitions before today's conventions calcify into norms.

arXiv cs.LG76

CORAL-KV：用于自回归视频 KV 缓存的紧凑跨层预测与残差编码

arXiv:2610.12514v1 公告类型：交叉收录 摘要：自回归视频扩散模型维护着不断增长的注意力键值（KV）缓存，使内存成为长视频生成的主要瓶颈。近期，基于聚类的量化已成为压缩视频 KV 缓存的有效方法：先将相似的键向量和值向量分组，再量化残差误差。然而，当后续帧关注压缩后的历史信息时，微小的重建误差会随着视频长度增加而不断累积。除了聚类所利用的层内相似性，我们还发现视频模型的缓存层之间存在很强的依赖关系。这促使我们提出 Coral-KV——离线校准、残差编码与局部适配——这一 KV 缓存压缩框架。它利用各层的缓存状态预测后续层的键和值，再量化剩余的预测残差。我们构建了紧凑的块对角加低秩（block-DPLR）预测器：块对角分量对每个注意力头内部的通道关系建模，而全局低秩项则对注意力头之间的依赖关系建模。Coral-KV 提供了灵活的保真度与内存权衡：既可以跨视频复用预测器，也可以针对当前视频重新拟合轻量级块对角预测器，以获得更高的保真度。在 HY-WorldPlay 和 MAGI-1 上的广泛评估表明，与 QVG-4 相比，我们的可复用配置分别将 PSNR 提高了 0.32 dB 和 4.95 dB，同时将缓存内存占用分别减少了 48% 和 37%。与 QVG-Pro 相比，我们的视频适配配置将 MAGI-1 的 PSNR 提高了 3.77 dB，同时将缓存内存占用减少了 33.7%。Coral-KV 还能在长时间生成过程中保持更高的重建保真度，减少时间上的不连续性，同时保持相当的生成延迟。

arXiv cs.LG45

Acoustic Biomarkers for Alzheimer's Disease Detection from Spontaneous Speech

arXiv:2610.12500v1 Announce Type: cross Abstract: Alzheimer's disease (AD) remains a major public health challenge, and early identification is crucial for timely intervention and care planning. Recent work has shown that speech-based digital biomarkers can capture subtle changes in vocal production, prosody, and timing that often precede or accompany cognitive decline. In this study, we investigate whether acoustic features extracted from spontaneous speech can reliably distinguish individuals with AD from healthy controls. Using a structured speech dataset derived from the Cookie Theft picture-description task, we extract clinically informative low-level descriptors spanning prosodic, spectral, and temporal domains, and evaluate a range of machine learning classifiers. Our results indicate that acoustic biomarkers carry strong discriminative value, with the best-performing models achieving clinically meaningful separation between diagnostic groups. These findings support the use of non-invasive, low-cost audio-based screening tools and motivate further work on multimodal and longitudinal assessment frameworks for dementia risk detection.

arXiv cs.LG61

Faithfulness Without Anchors: A Position Paper on the Structural Misalignments of Explainable AI Faithfulness Metrics for Feature Importance

arXiv:2610.12493v1 Announce Type: cross Abstract: Explainable Artificial Intelligence (XAI) tools have often been presented as methods to increase trust in machine learning models by making aspects of their algorithms more human-understandable. However, evidence accumulated over the last decade points to an overall failure of this objective, instead promoting overreliance on incorrect predictions, which can subsequently lead to algorithmic aversion. Rather, XAI appears to function primarily as a debugging tool, useful for obtaining anecdotal insights into, for example, features learned by the model. One of the main issues underlying this limitation is that XAI methods often oversimplify the inner workings of the model, resulting in misalignment between the explanation and the model itself - a behavior referred to as unfaithfulness or infidelity. Faithfulness can be interpreted as the degree of approximation between an explanation and the model. Computing faithfulness in a rigorous manner would thus make it possible to quantify one of the various elements of trustworthiness of an explanation. However, existing metrics present significant limitations, making this quantification either infeasible or computationally expensive. In this position paper, we outline five major shortcomings of current faithfulness metrics and propose four possible avenues for research to bolster their reliability.

arXiv cs.LG75

TTS-Q：感知引导的文本转语音扩散 Transformer 训练后量化

arXiv:2610.12474v1 公告类型：交叉收录 摘要：零样本文本转语音（TTS）可以仅凭几秒钟的音频克隆声音。然而，这种高质量表现依赖于拥有数十亿参数的扩散 Transformer，其模型规模和多步采样使最需要它们的端侧、辅助技术和实时应用难以采用。训练后量化（PTQ）无需重新训练即可压缩此类模型，但现有方法主要面向语言和视觉，而非语音。在 4 比特精度下，即使是性能强劲的量化器，也只能让语音可懂度接近全精度水平，却会持续损害说话人的音色，因此错误率仍然较低，声音却偏离了目标说话人。我们探究量化为何损害语音、损害发生在哪里，以及能否在不重新训练的情况下修复这些损害。为此，我们首次针对 10 亿和 35 亿参数规模的 TTS 扩散 Transformer 开展了权重与激活均为 4 比特（W4A4）的 PTQ 研究。音色损失来自权重量化和激活量化两方面，但只有激活量化部分具有可供精度调度利用的时间步结构。因此，我们提出 TTS-Q，从与任务匹配的校准候选项中选择难以量化的项，并采用预算平衡的混合精度调度，为后期时间步的前馈激活分配更高精度。TTS-Q 在两种模型规模上均实现了最佳的音色恢复效果，且不牺牲语音可懂度。此外，部署后的经校准 W4A4 参考方案降低了 GPU 峰值内存占用，为资源受限条件下的 TTS 部署提供了实用参考。

arXiv cs.LG68

Neuromorphic Satellite Intelligence: A Formal Framework for Event-Driven Architectures, Spike-Based Algorithms, and Quantitative Energy-Accuracy Trade-offs

arXiv:2610.12471v1 Announce Type: cross Abstract: Satellite onboard computing faces an irreducible tension: mission intelligence requirements grow monotonically while power, mass, and radiation budgets remain fixed. This paper advances the state of the art on three fronts. First, we develop a formal mathematical model of spiking neural computation for satellite workloads, deriving closed-form expressions for energy consumption as a function of network sparsity, firing rate, and synaptic fan-out. Second, we propose three original algorithms -- a Spiking Kalman-Complementary Filter (SKCF) for attitude estimation, a Temporal Contrast Anomaly Detector (TCAD) for spacecraft health monitoring, and a Spike-Based Adaptive Modulation and Coding (SAMC) scheme for cognitive satellite links -- each with pseudocode and analytical complexity bounds. Third, we introduce a quantitative Energy-Accuracy-Latency (EAL) trade-off surface and populate it with numerical estimates derived from published silicon measurements of Loihi and SpiNNaker, enabling direct comparison with FPGA and GPU baselines. A taxonomy of four radiation-aware neuromorphic architecture classes is refined with fault-rate models. Continual on-orbit learning is formalized through a constrained Spike-Timing Dependent Plasticity (STDP) rule that provably bounds weight drift. Case studies for a 12U CubeSat Earth observation mission, a GEO communications payload, and an autonomous deep-space probe provide concrete, quantified design points. Our analysis shows that neuromorphic implementations can achieve 8 to 47 times energy reduction over GPU baselines while maintaining inference accuracy within 2.1\% for representative satellite workloads.

arXiv cs.LG76

想象未来，内化要义：通过内化时空想象实现高效 VLA 推理

arXiv:2610.02626v2 公告类型：交叉发布 摘要：视觉-语言-动作（VLA）模型越来越多地引入中间推理来改进机器人操作，但现有方法主要针对已观测状态进行推理，并未显式预判未来场景的演变。然而，若将此类推理扩展为在每个推理步骤中显式推演未来，则会引入大量计算开销。我们提出了 IG-VLA，这是一种使模型能够想象未来并内化要义的 VLA 推理框架。我们的 Latent Spatiotemporal Reasoning 直接在视觉表征空间中学习想象与任务相关的未来场景演变，无需高成本的像素级视频生成即可指导动作预测。为进一步降低推理开销，我们引入了 Scene Gist Memory，将推理得到的场景-行为关联内化为紧凑的 Scene Gist Token，在保留未来推理优势的同时，绕过推理阶段的显式未来想象。在 LIBERO、LIBERO-Plus 和 VLABench 上开展的大量实验验证了 IG-VLA 的有效性和效率。在 LIBERO-Plus Language 测试套件上，推理策略与要义策略的成功率均比最强基线高出近 6%。要义策略相较于基线还实现了最高 6.38 倍的加速，在单张 NVIDIA A6000 GPU 上，将每个动作块的推理延迟从 1081 毫秒降至 169.5 毫秒。这些结果表明，未来时空推理能够被有效内化，从而实现高效的 VLA 部署。

arXiv cs.LG82

AI 模型可被证明能够隐藏任意能力

arXiv:2610.13928v1 公告类型：新提交 摘要：能力评估旨在部署前揭示模型的危险行为，但其可靠性依赖于一个假设：隐藏能力可以被诱发。我们通过构造后门攻击，证明这一假设在对抗条件下并不成立。这些攻击将加密的神经网络嵌入宿主模型的权重中，只有在收到秘密触发信号时才会解密并执行它们。借助数字锁箱，在密码学假设下，即使能够完全访问模型权重，这些隐藏电路仍可被证明难以诱发和解释，从而将先前隐藏固定字符串的研究扩展到隐藏任意计算。我们在 PyTorch 中实现了概念验证构造，并在一个小型化学反应预测任务上，通过微调、权重加噪、基于梯度的触发信号搜索以及潜在空间对抗训练来评估能力诱发效果；该任务被用作化学、生物、放射性和核（CBRN）相关能力的替代指标。结果表明，这些构造能够抵抗上述方法；结合我们的密码学保证，这揭示了基于能力诱发的审计方法的局限。我们公开了模型，以支持防御措施的改进。

arXiv cs.LG84

基于自然语言的蛋白质结构设计

arXiv:2610.13917v1 公告类型：新投稿 摘要：从头蛋白质设计的一项核心挑战是生成具有所需结构和功能特性的蛋白质。现有设计模型通常要求为每种特性提供专门的输入表示，从而限制了其支持的设计目标。我们开发了 Prompteina，这是首个支持以自然语言指定全新且更广泛设计目标的全原子结构生成模型，类似于文本到图像生成。为训练 Prompteina，我们构建了 Prompteina-Data，这是一个文本与蛋白质结构配对数据集，包含 180 万个结构和超过 5000 万条文本描述，涵盖整体及残基特异性的结构和功能特性。我们通过文本条件预训练，以及将残基与相应文本对齐的微调，对预训练结构生成模型 Proteina-Complexa 进行了适配。Prompteina 在 18 项结构特性中的 15 项上优于基线模型，并且生成的蛋白质更符合其预期功能的描述。在结合蛋白设计中，它在 20 个靶标中的至少 13 个上领先于基线模型，界面置信度较最强基线模型提高了 14\%。引入迭代式计算模拟反馈后，在最具挑战性的靶标上，Prompteina 相较于非迭代生成的性能增益比次优基线模型的相应增益高出 57\%。最后，我们通过实验验证了 Prompteina 针对 GM2A 的设计，此前尚无针对该靶标的从头设计结合蛋白报道。我们鉴定出九种结合蛋白，其中结合能力最强者的表观 $K_{\mathrm{D}}$ 为 107 nM。这些结果表明，自然语言可作为蛋白质结构生成的有效且强大的条件控制接口。

arXiv cs.LG75

重新审视表格数据深度回归：目标函数与全局早停的局限

arXiv:2610.13909v1 公告类型：新发布 摘要：尽管面向表格数据的深度学习模型近来受到了研究界的广泛关注，但回归任务中目标函数的选择仍是一个研究不足的自由度。多个研究方向提出了标准均方误差（MSE）的替代方案，但数据集、骨干网络和评估协议的差异，使得这些方案的实际收益难以比较。在本研究中，我们通过在大量成熟的表格数据集和多种神经网络骨干上，对回归目标函数进行系统性的重新评估，弥补了这一空白。比较结果表明，相较于经过充分调优的 MSE 基线，许多已提出的目标函数带来的提升有限或不稳定，而分位数损失在各个受测骨干网络上，相较于 MSE 均取得了稳定的总体提升。随后，我们发现，即使采用这一表现优异的目标函数，仍存在一个局限：目标噪声水平不同的区域，可能在不同的训练轮次达到最佳预测性能。因此，即使目标函数能够表示异方差目标分布，单一的全局早停检查点仍可能迫使模型在不同不确定性区域之间作出折中。针对这一局限，我们提出了一种感知异方差性的分位数损失扩展方法，使用依赖于输入的标签平滑作为潜在的解决方案，并在多种骨干网络上取得了优于分位数损失的表现。总体而言，我们的结果为表格数据深度学习中的回归目标函数提供了新的实证图景，并揭示了不同不确定性区域之间最优停止时机的差异如何限制全局早停的有效性。代码可在 https://github.com/yandex-research/tabular-regression 获取。

arXiv cs.LG74

预测并非充分的记忆状态

arXiv:2610.13881v1 公告类型：新论文 摘要：能够复现当前所有预测的记忆，仍可能已经遗忘了如何从下一次观测中学习。我们针对精确累积学习和注意力机制刻画了这一区别。对于特征和标签均为不受限制的实数的光滑凸残差损失，当且仅当损失为多项式时，才存在固定维度的连续递归状态。对于普通的、未加权的观测，$D$ 次多项式恰好需要 $r=\binom{d+D}{D}-1$ 个坐标；即使在当前预测器固定为同一个预测器的历史中，继续学习仍可能恰好需要 $r-d$ 个坐标。对于非多项式损失，这类预测相同的历史所需的状态维度没有上界。在有界标量逻辑斯蒂示例中，即便固定任意有限阶导数喷射，这一障碍仍然存在。对于岭回归，隐藏的证据是设计矩阵：精确状态需要 $dp+d(d+1)/2$ 个坐标，而预测器只需 $dp$ 个。在一个条件良好的零预测族上，最优 $B$ 比特压缩的平均单次更新误差量级为 $d^{-1}2^{-2B/s_d}$，其中 $s_d=d(d+1)/2$，即使允许任意随机编码也是如此。核注意力提供了第二种精确闭包分类。这些结果揭示了未来更新会暴露哪些信息，而非提出新的回归算法，也不声称能提升已训练模型的性能。

arXiv cs.LG74

通过零阶残差跟踪实现部分信息随机优化

arXiv:2610.13871v1 公告类型：新论文 摘要：许多优化问题仅能直接获取部分梯度，而其余分量必须通过函数求值来推断。这种结构出现在施为预测、施为强化学习以及下层为黑箱的双层优化中。我们提出 Partially Informed Stochastic Optimization（PISO），将可获取的梯度分量与残差的动态估计相结合。通过以该估计为中心对每次零阶观测进行中心化，PISO 使随机探测引起的方差取决于跟踪误差，而非残差的大小。由此得到一种具有显式收缩机制的随机化草图迭代，并为动量提供了有理论依据的解释。对于光滑非凸目标，我们建立了依赖于残差变化量及其初始大小的收敛保证，而不要求不可获取的梯度分量具有一致界。在采用独立采样的函数求值以及高斯或球面探测方向时，PISO 在梯度满足 Lipschitz 条件下达到的函数求值复杂度主导项为 \(O(d^{2}\varepsilon^{-6})\)，在额外假设 Hessian 矩阵满足 Lipschitz 条件下则为 \(O(d^{2}\varepsilon^{-5})\)。实现这些速率，每次更新仅需一个探测方向、两个函数样本和一个已知分量样本。分析还量化了批处理如何通过增加观测次数来减少部署次数。在五种实验设置中，PISO 的变体在其中三种设置下，以相当的预言机访问条件优于所测试的基线方法；在双层路由问题中更快达到相当的解；在施为强化学习中，则在不使用响应模型导数的方法中表现最佳。

arXiv cs.LG74

跨骨架与表位的推理时引导，实现高样本效率的从头纳米抗体设计

arXiv:2610.13844v1 公告类型：新论文 摘要：生成式分子设计通常依赖大量生成和事后筛选。Feynman-Kac（FK）引导等推理时引导方法通过使生成轨迹偏向高奖励候选对象来提高效率，但其优化仅限于单一固定配置。在从头纳米抗体设计中，预先确定骨架类型或靶标表位等条件选择会形成瓶颈。由于不同条件下的产出率各异，对前景不佳的配置进行引导会浪费计算资源。我们将生成条件选择重新表述为推理时的资源分配问题，并提出两种动态预算分配方法：一种是联合的全局序贯蒙特卡洛（SMC）方案，可同时跨配置进行引导并分配计算资源；另一种是基于批量逐次淘汰（BaSE）改造的解耦方法。实证结果表明，在不同治疗靶标和生成配置下，这些动态分配方法将每 GPU 小时的可设计候选对象产出提高至近 5 倍，同时不牺牲多样性。

arXiv cs.LG69

Returning to Development States: When Full Sandbox Snapshots Help Coding Agents

arXiv:2610.13841v1 Announce Type: new Abstract: Coding agents often make useful progress before they fail, but retry-from-scratch discards the machine state created along the way. This makes failure recovery an interesting search problem: if intermediate environment states preserve meaningful progress, restoring and branching from them could outperform repeatedly restarting from the initial state. We implement Go-Explore-style search over full Daytona snapshots and find that higher and more efficient solve rates depend mainly on progress that sits outside the repository, such as databases, services, and other runtime state. Our results suggest that full-snapshot search is most effective when long-horizon coding work spans multiple services whose state cannot be reconstructed from a single diff.

arXiv cs.LG75

专才学得更快：预训练中的知识组织方式影响知识更新效率

arXiv:2610.13835v1 公告类型：新提交 摘要：理想的（语言）模型必须持续更新其知识。现有工作主要关注如何在训练后高效地进行这些更新。我们研究了预训练期间时变知识的组织方式如何影响后续更新的效率。按时间顺序排列的知识训练出的模型，专精于最近接触到的知识；我们将其称为专才。相比之下，以随机打乱的顺序在相同知识上训练出的模型，在所涵盖的所有时期均表现良好；我们将其称为通才。令人惊讶的是，专才获取新知识所需的更新步数远少于通才。为解释这一优势，我们从第一性原理出发，推导出一条将更新成本与模型优化动态联系起来的定律，该定律能够准确预测实证结果。在这些发现的指导下，我们设计了一种预训练数据组织策略，在保留稳定的历史知识的同时，实现对当前知识的高效更新。我们还表明，按时间组织知识带来的益处也适用于现实世界中的预训练模型和现有知识更新工具，并可推广至其他知识排序方式。项目页面：https://horizon-lab.org/specialist/

arXiv cs.LG77

论连续扩散语言模型的设计空间

arXiv:2610.13834v1 公告类型：新论文 摘要：连续扩散语言模型（CDLMs）有望将连续流建模的优势引入语言领域，包括加速采样和可控生成。该领域发展迅速，CDLMs 的能力已开始媲美离散扩散模型。然而，与图像或视频等连续模态不同，我们对训练 CDLMs 时哪些关键因素起作用的理解仍然有限。在本研究中，我们聚焦其中两个因素，即自条件化和嵌入几何，并揭示其背后的部分机制，进而提出成本更低、效果更好的设计。我们首先表明，自条件化通过让模型接触训练中原本罕见的、类似推理时的状态，纠正了训练与推理之间的不匹配。通过一种名为 $\mathrm{DoubleCat}$ 的双层插值方案，无需额外的前向传播即可获得这些收益，使 TinyGSM 上的准确率提升至原来的三倍以上。自条件化还有助于识别被大范数高斯噪声主导的词元，这一问题被称为词元可识别性。为直接解决该问题，我们在 $\mathrm{DoubleCat}$ 中引入离散揭示机制，得到 $\mathrm{SemiCat}$。该模型在 TinyGSM 上达到与离散扩散相当的性能，使用标准训练超参数和经过调优的采样器时，准确率达到 $49.94\%$。在 $1.7$B 参数规模下，$\mathrm{SemiCat}$ 在六项基于似然的评估中的四项上优于离散扩散，并在无条件生成方面超越独热流模型。在嵌入空间中，我们发现交叉熵会推动嵌入形成一种几何结构，其解码错误率与独热表示的解码错误率非常接近。我们还简要探索了一系列其他选项，例如混合扰动过程和噪声调度，包括异步调度。我们相信，这些探索能够帮助研究社区更好地理解并拓展 CDLMs 的设计空间。

arXiv cs.LG68

Shared Canonical Component Removal Beyond Expert Views

arXiv:2610.13819v1 Announce Type: new Abstract: In clinical practice, experts often begin by converting raw inputs into a set of expert features before making a decision. While black-box models trained on raw input can outperform models trained on expert views, it remains unclear what predictive signal the raw model exploits beyond what the expert view captures. We introduce an audit framework to quantify this gap using Shared Canonical Component Removal (SCCR). Unlike standard residualization or concept erasure, SCCR selectively removes only those directions strongly shared between learned raw and expert embeddings. Evaluations on synthetic data, coronary artery disease (CAD) detection, antidepressant treatment dropout prediction, and skin lesion classification using SkinCon annotations show that SCCR identifies the ways in which expert views are insufficient and recovers residual predictive signal while minimizing redundancy with the expert view.

arXiv cs.LG71

TabMF：利用表格基础模型学习数据集表示

arXiv:2610.13818v1 公告类型：新提交 摘要：监督学习数据集的表示可支持数据集检索和分布偏移监测等更高层次的机器学习任务。然而，现有方法通常依赖于手工设计的元特征，或专门为表示学习训练的数据集编码器。我们提出 TabMF，这是一个将预训练表格基础模型（TFM）用作监督学习数据集编码器的框架。TabMF 为预测型 TFM 配备了架构感知的数据集级读出机制，并利用合成监督学习数据集的随机视图进行对比式后训练，以端到端方式适配模型。我们基于 TabICLv2 和 TabPFN-2.5 实现 TabMF，并在未见过的真实数据集上，通过六项任务评估所得表示。简单的冻结 TFM 读出机制即可产生具有竞争力的表示，这表明预测式预训练已经形成了丰富的数据集级结构。这两个 TabMF 编码器在所评估的学习型和经典数据集表示方法中取得了最佳综合性能，尤其在数据集检索、紧凑基准构建和分布偏移严重程度评估方面表现突出。

arXiv cs.LG73

通过精确高斯条件化统一扩散与基于流的后验采样

arXiv:2610.13812v1 公告类型：新论文 摘要：流匹配和扩散模型日益被用作线性逆问题的先验，然而，大多数方法都是针对某一类轨迹先验专门设计的。虽然已有即插即用方法被提出，但这些方法隐式地消除了引导轨迹的相关性，导致先验分布过于宽泛，在数据稀疏时可能表现不佳。本研究提出 $\beta$-Flow：一种通用的即插即用方法，由相关性参数 $\beta$ 和置信度参数 $\kappa$ 参数化；前者将流先验、扩散先验和去相关先验统一起来，后者控制对路径分布的约束强度。每一步仅需对去噪网络进行一次前向计算，随后执行高斯条件化步骤。该步骤是不依赖网络梯度的精确 Kalman 更新。我们表明，许多现有的引导采样器可被解释为我们方法的实例或近似，每种方法都隐式地采用了不同的轨迹先验，并使用不同的算子替代 Kalman 增益。从这一视角出发，我们根据各方法的隐式偏置和假设进行了定性比较。我们在 4 个数据集上的 7 类逆问题中，均在 PSNR 和 SSIM 指标上取得了达到最先进水平的性能。此外，我们还展示了这种先验控制的实用性：当观测所含信息较少时，高置信度、高相关性的设置（严格先验）效果最佳；而当观测所含信息较多时，低相关性更为适合，这体现了先验与似然在贝叶斯推断中的互补作用。

arXiv cs.LG69

QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code

arXiv:2610.13811v1 Announce Type: new Abstract: Large language models (LLMs) have shown strong results in classical code generation and are increasingly used to write the unit tests that safeguard that code. Whether they can do the same for quantum software is less clear, because quantum programs are probabilistic, depend on numerical tolerances, and are judged by domain-specific checkers, so a well-formed test can still disagree with the benchmark's verdict. Existing quantum benchmarks measure whether a model produces a correct solution, but not whether its tests can distinguish correct implementations from faulty ones. We introduce QTestBench, a framework that evaluates LLM-generated quantum test suites against independent benchmark checkers, never treating the tests themselves as ground truth. For each task, QTestBench prompts models to produce syntactic, semantic, and behavioral tests, injects candidate solutions at runtime, and compares each test verdict with the checker's label under three validation cohorts, each answering a distinct diagnostic question. We benchmark five LLMs on eight PennyLane QHack challenges and ten Qiskit HumanEval tasks. Generated suites almost always execute, but discrimination lags behind: the best generator reaches a test quality of 0.71 on QHack and 0.34 on Qiskit HumanEval, so executability alone overstates test quality. Oracle-verified synthetic mutants stabilize bug-detection estimates when natural faulty solutions are scarce, as on three of ten Qiskit tasks that yield none. QTestBench offers a reproducible, cross-framework benchmark for the trustworthiness of LLM-generated quantum tests.

arXiv cs.LG78

FORTE：面向工业推荐系统的特征评估与弃用生产框架

arXiv:2610.13806v1 公告类型：新论文 摘要：生产环境中的推荐系统存在特征生命周期不对称性：添加新特征必须在某项指标上带来收益，而移除特征则不能导致任何指标退化。在实践中，特征弃用很难获得优先处理，因为以下情况均可能导致特征无法被移除：它与其他特征存在交互，其重要性每天都在变化，无法在生产模型发生变化或数据漂移出现之前完成评估，需要与其他上线项目争夺 A/B 测试资源，在在线 A/B 测试中导致指标退化，或被多个模型使用而需要协调弃用。我们提出 FORTE，这是一个与模型无关的生产框架，用于发现、验证和移除特征。其高效的扰动实现支持每日特征评估。为考虑特征间的交互，该框架通过分组消融来评估由所有排名较低的特征构成的候选特征集；其离线结果对在线 A/B 测试具有足够的预测能力，因此可以有把握地将弃用方案推进到在线测试阶段。血缘追踪能够识别所有使用相关特征的下游模型，从而充分实现从训练集中移除特征所带来的成本节约。我们在两个大规模推荐系统上验证了 FORTE，发现它能够识别出不会导致在线指标退化的可弃用特征集，而其对效率的影响取决于模型特性。在一个搜索相关性模型上，FORTE 生成了三个嵌套的候选特征集，分别包含 32、48 和 59 个特征。在线护栏指标否决了最大的实验方案。最终选定包含 48 个特征的集合进行弃用，移除了该模型 43.3% 的特征。在一个大型排序模型上，FORTE 识别出了 8 个待移除的候选特征。重新训练和 A/B 测试确认未出现指标退化。该方案上线后，可训练参数减少了 29.9%，推理服务吞吐量提高了 19.8%–25.5%，每年训练成本降低了数十万美元。

arXiv cs.LG70

Randomized Momentum Transport with Cheap Predictors

arXiv:2610.13789v1 Announce Type: new Abstract: Momentum methods such as STORM and second-order momentum track the gradient by adding a transport correction to momentum, at the cost of an extra oracle call per iteration. We introduce randomized momentum transport, which evaluates the correction with probability $q$ and otherwise uses a cheap prediction, with importance weighting that preserves the conditional mean and adds $(q^{-1}-1)$ times the prediction loss to the variance. Under transport-bias, second-moment, and residual-control assumptions, linear minimization oracle (LMO) updates, including normalized, sign, and exact spectral (Muon) directions, retain an $O(T^{-1/3})$ stationarity bound for each fixed $q>0$ with a single-gradient initialization. For unnormalized STORM, some $q<1$ lowers the leading coefficient of our sufficient gradient budget if and only if the gradient-difference noise modulus exceeds the smoothness constant, by at most about $10\%$. An online diagonal predictor admits a regret-to-convergence guarantee. At approximately equal oracle cost, querying a quarter of the corrections lowers the final training loss by $18$ to $43\%$ on MNIST1D and raises the test accuracy of Hessian-vector transport on CIFAR-10 by $1.5$ points.

arXiv cs.LG73

你的离散图扩散模型正在悄悄记忆训练数据

arXiv:2610.13786v1 公告类型：新稿 摘要：离散图扩散模型（GDMs）在马尔可夫噪声模型下，通过向节点和边独立添加噪声来扰动图结构。在没有节点特征的无条件设定下，仅在单个图上训练的等变去噪器就能够生成新图，而边重叠率和 WL 核相似度等样本级指标并未发现记忆现象的证据。在本研究中，我们挑战了这一观点，并首次证明图扩散模型确实存在记忆现象。通过分析在双块随机块模型（SBMs）上训练的 GDMs 的反向扩散轨迹，我们发现了显著的训练数据偏向：与留出的测试图相比，模型能够近乎完美地恢复被扰动的训练图。我们将其称为条件记忆，因为它仅在反向轨迹以被扰动的训练图为条件时才会显现，而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距，即训练损失下降的同时，留出图上的损失却在上升，而且无法通过早停来缓解。记忆现象的出现始终早于生成图中社区结构的涌现，因此，在此之前的每个检查点生成的图都不具备结构。这种行为在我们测试的所有节点规模下均存在。

arXiv cs.LG79

ReplaySSM：缓存 SSM 输入，而非状态

arXiv:2610.13778v1 公告类型：新论文 摘要：状态空间模型（SSM）维护一个固定大小的循环状态，但在每个解码步骤中读写该状态可能成为混合模型的性能瓶颈。这种即时状态管理会产生算术强度较低的大量状态 I/O，使推测解码缺乏低成本的回滚方式，并将状态量化误差传递到后续循环更新中。我们提出 ReplaySSM，通过展开递推过程，将状态表示为一个检查点和一个存储近期 SSM 输入的缓冲区，从而将输出计算与检查点更新分离。通过周期性更新检查点，ReplaySSM 避免了大多数步骤中的状态写入，并将占主导地位的状态内存流量减少约一半。保留近期输入还使推测回滚简化为缓冲区指针操作，并支持仅验证输出，无需显式生成中间状态。同样，这种分离也允许在大多数步骤中使用低精度检查点进行输出计算，同时使用更高精度的检查点进行循环更新，因此低精度副本中的舍入误差永远不会进入后续更新。我们在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了 ReplaySSM。在推理服务批大小为 256 时，相较于经过调优的 vLLM 基线，它在四个混合模型上将标准解码速度提升至 $1.20$--$1.47$ 倍，并在两个 120B 级别模型上实现了约为 vLLM 推测解码 $1.8$ 倍的吞吐量。与共享低精度检查点相比，为状态分别采用不同精度还能降低输出 KL 散度，并减少下游任务的准确率损失。

arXiv cs.LG81

DualQuant：面向 LLM 的双尺度免校准权重与激活量化

arXiv:2610.13767v1 公告类型：新稿 摘要：在原生支持 4 位运算的加速器上进行低比特推理，需要同时量化权重和激活，才能充分发挥这些格式带来的吞吐量优势。尽管训练后权重量化已得到广泛研究，激活量化仍然更具挑战性，且通常需要校准数据。在本研究中，我们提出 DUALQUANT，一种双尺度、免校准的训练后量化框架，可直接最小化权重重构均方误差（MSE），并由此直接得到用于激活量化前的逐通道激活重缩放因子。我们的关键观察是，通过最小化权重重构误差获得的缩放因子能够有效地对激活进行重缩放，从而无需校准数据即可实现具有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重构问题，并基于变量分裂和块坐标下降开发了一种高效求解器，其中每个子问题均具有闭式更新解。DUALQUANT 提供了一种统一算法，支持包括完整 MX 系列和 NVFP4 在内的多种格式。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双重缩放方法。在 WikiText-2、C4 和零样本下游任务上对 Llama 和 Qwen 模型的评估表明，DUALQUANT 在大多数模型和格式上的精度达到或超过了基于校准的 SmoothQuant，并显著优于免校准基线方法，尤其在 MX 和 NV 块格式上取得了大幅提升。我们在 RTX 4090 上，使用针对 Llama-3.1-8B 的实际打包 W4A4 推理路径验证了这些收益。该实现的精度与伪量化非常接近，同时相较于 BF16，内存占用最多降至约 1/2.61，吞吐量最高提升至 2.46 倍。

arXiv cs.LG66

When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors

arXiv:2610.13765v1 Announce Type: new Abstract: Discrete graph diffusion models corrupt graph structure through independent edge updates with a Markovian noise model. Combined with the exchangeability requirement on the output distribution, the terminal prior is necessarily an Erd\H{o}s--R\'enyi (E-R) random graph. This has a fundamental consequence for unconditional graph generation without node features: in the large graph limit, any GNN denoiser applied to an E-R graph approximately outputs an E-R graph, making effective denoising difficult. In practice, generated graphs fail to recover meaningful node heterogeneity and higher-order structure. Previous models introduced specialized node features to compensate, framing this as an expressivity problem, while the role of the prior remained unexamined. We instead address the root cause by introducing the Latent Sociability Prior (LSP) and a join} diffusion process that co-evolves latent node sociability variables and graph structure, removing edge independence while preserving exchangeability. Unlike existing latent graph diffusion methods, the sociability mechanism requires no complex encoder: its sole role is to guide edge updates and preserve node heterogeneity throughout the trajectory. We validate our approach on multiple graph generation datasets and show that the proposed framework more accurately captures graph distributions than baseline methods without node features.

arXiv cs.LG69

Matched-Context Group Policy Optimization for LLM Agent Training

arXiv:2610.13755v1 Announce Type: new Abstract: Training long-horizon language model agents requires assigning credit to intermediate decisions from sparse terminal feedback. Within a finite group of sibling rollouts, useful action comparisons depend on their context, evidence for both alternatives, and how that evidence enters learning. We propose Matched-Context Group Policy Optimization (MCGPO), a procedure for constructing weighted action preferences from already collected trajectories. MCGPO defines comparison contexts with pre-action state summaries and observed rubric progress, annotated by task rules. Two-action support selects among ordered exact and coarse matching rules. Fixed folds separate candidate decisions from the terminal outcomes used to orient their preferences, and support-dependent evidence weights scale an auxiliary pairwise objective alongside shared GraphGPO task learning. MCGPO reuses rollout data and each response's original history, preserving critic-free training. Across six environment-backbone settings with three training seeds each, MCGPO improves mean success over matched GraphGPO: by 0.47-1.46 percentage points on ALFWorld and WebShop with Qwen2.5-1.5B and 7B, and by 3.96 and 5.16 points on WebShop with Qwen3-4B and 8B. The ALFWorld gains build on baseline success above 92%, where remaining headroom is limited. Integrated success improves in three of four Qwen2.5 settings. Three-seed factorial controls support opposite-fold evidence and evidence weighting; joint state-rubric matching achieves the highest mean in all four representation-control settings.

arXiv cs.LG61

Studying the Effects of Task Diversity Using Small Mathematical Worlds

arXiv:2610.13750v1 Announce Type: new Abstract: Basic mathematical tasks like modular addition have been a valuable tool for illuminating aspects of neural network behavior that are challenging to see in noisy, unverifiable, large-scale, real-world settings. These studies have typically focused on a single task. However, modern language models are exposed to a vast number of tasks despite being trained with a next-token prediction objective. In this work, we introduce two mathematical task ecosystems, IntWorld and PermWorld, built from distinct but related tasks on integers and permutations. Both are designed to simulate task diversity within a cohesive mathematical 'world' where tasks are distinct but related. Because the datasets are procedurally generated, we can precisely vary the number of tasks, allowing us to begin to disentangle the role of task variety from other factors in training. After describing the datasets, we provide some initial results obtained from these datasets which support the idea that increasing task diversity increases the richness of a model's internal representations.

arXiv cs.LG70

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

arXiv:2610.13737v1 Announce Type: new Abstract: Cooperative multi-agent tasks often impose constraints on a shared objective or collective safety. A team level violation cost function can measure this constraint outcome, but does not distinguish which agents' actions most strongly influence that violation. We present SafeDiSTL, a constrained multi-agent reinforcement learning framework that allows for credit assignment even with joint constraint measurements. We use Signal Temporal Logic (STL) robustness to measure episode-level violation through running-maximum cost increments. Smooth full-episode robustness and differentiable dynamics provide action sensitivities, which allocate each cost increment across agents at the same decision time. These sensitivities account for delayed effects when weighting agents' shares of each cost increment. We study the framework in cooperative payload transport, connected navigation, and networked traffic control tasks. SafeDiSTL achieves 1.6-5.1x the safe-success rate in transport, improves navigation safe-success by 11.1%, and delivers 50-68% more throughput in traffic when compared to constrained baselines. Results demonstrate a strong improvement of the learned policy in dealing with shared constraint while retaining the performance of unconstrained policies.

arXiv cs.LG76

Orthros：面向高效 Transformer 的阶段感知异构注意力

arXiv:2610.13735v1 公告类型：新稿 摘要：线性注意力和滑动窗口注意力等高效注意力机制旨在将 Transformer 的计算复杂度从二次降至线性。然而，这些机制的上下文内召回能力有所下降，往往需要交错引入全注意力层，导致长上下文处理中的二次复杂度瓶颈仍未解决。为此，我们提出 Orthros 注意力，将效率优化范式从结构分配转向阶段感知解耦。作为一个统一模块，它在序列处理的不同阶段动态切换计算模式，实现线性复杂度的预填充和全注意力解码。在预填充负载重、解码负载轻的常见长上下文场景中，这一设计使 Orthros 注意力的渐近复杂度低于标准 Transformer。除理论形式化描述和复杂度分析外，广泛的实证评估也表明 Orthros 在多个维度上具有优势。首先，我们验证了其基础语言建模能力，展示了其在不同模型规模下的可扩展性，以及在全面架构比较中的强大竞争力。其次，通过高数据效率的 Transformer 到 Orthros 转换，Orthros 展现出极佳的转换可行性，转换后的性能甚至超越原始 Transformer。最后，Orthros 相较于 Transformer 实现了 $21.9\times$ 的预填充加速，并带来了端到端推理性能提升，同时保留了长上下文能力：其在 128K 大海捞针测试中取得近乎完美的结果，在真实场景的上下文内召回任务中也达到了 Transformer 水平。总体而言，这些在高性能、灵活性和效率方面的优势，使 Orthros 有望在工业应用中接替 Transformer。

arXiv cs.LG78

SeoulMMOD：大规模多模态起讫点流量基准

arXiv:2610.13730v1 公告类型：新投稿 摘要：起讫点（OD）流量预测通过预测城市范围内人员流动的规模和模式，为城市出行决策提供支持。现有大多数公开 OD 基准仅提供全市出行的局部视图，涵盖单一交通服务或至多两种出行方式。在出行方式覆盖不完整的情况下，很难区分观测到的需求变化究竟源于交通方式之间的转移，还是出行总量的变化。我们提出 SeoulMMOD，这是一个面向首尔全市多模态出行的大规模公开基准。SeoulMMOD 提供了覆盖三年的逐小时 OD 流量数据，用于估计 25 个区和 426 个下辖行政区域内 6 种城市出行方式的总出行量，并配有出行时间、出行距离、日历、降雨量和兴趣点（POI）信号。利用 SeoulMMOD，我们在统一协议下评测了 14 个预测基线，并分析了空间尺度变化、联合训练与按出行方式分别训练，以及跨年泛化的影响。结果表明，若干在区级尺度上有效的时空模型无法扩展到下辖行政区域级别的 OD 预测，而简单的多出行方式联合训练也不能稳定地提高准确性。该数据集与基准共同构建了一个可复现的测试平台，用于城市尺度下多出行方式、跨多年的 OD 预测。

arXiv cs.LG72

基于图神经网络的摊销式反事实预测

arXiv:2610.13724v1 公告类型：新论文 摘要：反事实推断探究的是，在不同情境下，已观测到的结果可能会有何不同，例如，患者如果接受另一种治疗是否会康复。当决策依赖于未被观测到的备选方案的结果时，就会出现此类问题。回答反事实查询通常需要了解底层因果结构，而这在实践中往往无法获得。因此，一种常见方法是先根据观测数据估计因果图，再进行反事实推断。然而，估计因果图中的误差可能会传递至下游反事实预测。为应对这一挑战，我们提出 Counterfactual Graph Neural Process（CFGNP），这是一种端到端方法，无需预先估计因果图，即可直接根据观测数据回答反事实查询。CFGNP 利用图神经网络（GNN），将跨世界消息传递限制在相互对应的事实变量与反事实变量之间，从而利用双图结构。在合成数据和基于图像的基准测试中，CFGNP 的预测性能均优于现有方法，其中，在 German Loan 基准测试中，它将均方误差（MSE）从 $4.51 \times 10^{-2}$ 降至 $0.19 \times 10^{-2}$。此外，在合成因果图上，仅使用 10 节点图训练的模型，无需重新训练，即可在节点数多达 30 的图上保持出色的预测性能。

arXiv cs.LG75

面向联邦社会公平 k-Means 聚类的机器遗忘

arXiv:2610.13717v1 公告类型：新论文 摘要：联邦聚类可支持跨医院的患者分层、分布式金融数据集中的客户细分等应用。负责任的人工智能要求公平地表征各人口群体，并支持数据删除，这在一定程度上源于 GDPR 的删除权等权利要求。这些目标相互影响：删除记录可能改变群体之间的平衡，并改变剩余人群的聚类结果。我们研究联邦社会公平 $k$-means 的精确机器遗忘，其目标是最小化各群体到最近中心的平均平方距离中的最大值。我们的方法为每个群体分别保留本地摘要，因此，当全局公平性权重发生变化时，未受影响机构的摘要仍然有效。对于两个群体的情形，我们证明了在理想采样条件下，初始化具有独立于客户端群体比例的近似保证，并表明使用相同随机种子进行重放能够精确复现重新训练的结果。当整个客户端退出时，复用带来的收益最大：在三个数据集上，对于仅包含初始化的模型，重放的速度为重新训练的 $35.8\times$；加入一轮和两轮公平性细化后，速度仍分别为重新训练的 $2.4\times$ 和 $1.7\times$，而这些细化轮次能够降低表现最差群体的代价。对于单条记录的删除，收益较为有限（约为 $1.06\times$），且验证缓存分配结果的开销可能超过其节省的开销。这些结果明确了精确遗忘能够通过复用计算获得收益的适用范围。代码和可复现性材料见 https://github.com/arareddy/mufsc。