全部动态

本页 40 条
10月9日 周五
arXiv cs.LG69

Density Ratio Estimation with Stein Displacement Fields

arXiv:2610.12437v1 Announce Type: cross Abstract: Density ratios quantify distribution shift from a probability-mass point of view, whereas displacement fields describe, from a dynamical point of view, how one distribution is transported onto another. Although both offer complementary insights, they are usually estimated separately, and converting one into the other requires post-processing. In this paper, we estimate the density ratio between a target and a base distribution by parametrizing it through a displacement field acting on the base: the log-ratio is modeled as minus the Stein operator of the base applied to the field, up to a normalizing constant. This gives both statistical and dynamical descriptions of the distribution shift through a single convex optimization problem. Iterating this estimate-and-move step gives two inference algorithms: push-forward moves the model and corrects a pretrained sampler without retraining it, whereas pull-back moves the data closer to the base and fits a transformation model one layer at a time. Applications to distribution shift in simulation-based inference and to nonlinear independent component analysis illustrate the benefits and limitations of the approach.

arXiv cs.LG81

VioLA：从人类数据中学习通用人形机器人控制策略

arXiv:2610.12435v1 发布类型：cross 摘要：教会人形机器人用全身遵循指令面临两大障碍。其动作空间庞大且高度耦合：机器人必须在保持平衡的同时协调腿部、手臂和手指的运动，这使得关节级动作难以学习。此外，人形机器人示范数据十分稀缺，因此当前的通用人形机器人策略无法开箱即用地遵循新指令，而是在部署前针对每项任务使用遥操作示范进行微调。人类示范的数量要多得多，但人的动作并不是机器人指令。我们通过改变通用策略的预测目标，消除了这两个障碍。我们提出了 VioLA，一种通用人形机器人策略，它预测身体和手部运动潜变量，而不是关节指令。预训练的身体控制器和手部控制器在机器人上执行这些潜变量。与之对应的运动编码器将人类和机器人的运动映射到相同的潜空间中。因此，人类记录可以在策略的动作空间中获得标注，训练示范池包含 1.406 亿帧，其中 93.2% 来自人类。由此，VioLA 无需针对特定任务进行微调，即可在真实机器人上以零样本方式遵循运动指令，成功率达到 100%；相比之下，GR00T N1.7 和 $\Psi_0$ 的成功率分别为 16.7% 和 0%。在无需针对特定任务进行微调的情况下，它在操作任务上的成功率也达到 88.6%。同样的方法适用于两个 VLA 和一个 world-action 模型骨干网络。仅使用人类示范训练的通用策略即可在真实机器人上以零样本方式完成运动任务。代码和检查点将会发布。

arXiv cs.LG78

FAITH: Feasibility-Aware Safety-Filtered RL for High-Dimensional Systems

arXiv:2610.12432v1 Announce Type: cross Abstract: Safe reinforcement learning commonly places safety and task performance in the same policy objective, where they can introduce competing updates. Safety filters separate them at action execution, but classical designs require an analytic safety function and dynamics model, and standard minimal-intervention filters are myopic to long-horizon task return because they minimize only instantaneous action deviation. Hard projections are also undefined when no safe action exists. We present FAITH, a feasibility-aware, model-free framework that approximates the optimal state-action safety value and amortizes minimal-intervention filtering with a feedforward network. The task policy optimizes the task return through the filtered dynamics, which recovers the feasible constrained problem without a competing safety term in the task-policy update. When no action satisfies the learned safety condition, the same filter approaches the action with minimum predicted peak harm. On a double integrator example and a Safety Gym environment, FAITH achieves the highest return among methods with no feasible-start violations and matches the lowest harm from infeasible starts. On a 29-DoF humanoid, it reaches a 99.95% safety rate while retaining 97% of the unfiltered return in Walking-Avoid, and obtains the highest measured safety rate in Push-Avoid by learning to sacrifice balancing and fall away from the protected region. The same policies are also demonstrated on a real-world Unitree G1 humanoid.

arXiv cs.LG63

Toward Joint Optimization of Circuit Depth and Training Data Size in Adaptively Grown Quantum Classifiers

arXiv:2610.12428v1 Announce Type: cross Abstract: Building a quantum model involves a tradeoff: how complex the circuit should be, and how much training data it needs. Caro et al. show that models with fewer trainable gates need less training data to generalize well. Q-FLAIR shows that a quantum feature-map circuit can be grown gate-by-gate, stopping once further growth stops improving the training loss. We ask whether these two results combine into a predictable scaling law. Does Q-FLAIR's own stopping rule pick larger or smaller circuits as training data grows? Does the resulting generalization behavior track Caro et al.'s bound? We reimplement Q-FLAIR's growth mechanism faithfully, including its analytic reconstruction and exact stopping rule. We run it on full-resolution (784-pixel) MNIST 3-vs-5 classification, at five training-set sizes from N = 2000 to 10000. We then fine-tune each resulting circuit, so we can measure Caro et al.'s notion of active gates, K. We find no predictable relationship between training-set size and the circuit size Q-FLAIR converges to. Circuit size and test accuracy both vary non-monotonically with N, and seed-to-seed variance is nearly as large as any trend across N. The empirical generalization gap never exceeds Caro et al.'s bound in 14 of 15 runs, so the bound holds as a valid guarantee in those runs. But the gap correlates only weakly with the bound's value (r = 0.12). This shows that K does not explain most of the variation we observe. Why a valid guarantee can coexist with such weak predictive power remains an open question, and answering it may be necessary before circuit depth and training data size can be jointly optimized in practice.

arXiv cs.LG78

超越时空先验：一种用于稠密对应匹配的可泛化方法

arXiv:2610.12421v1 公告类型：cross 摘要：稠密对应匹配长期以来受限于简化的时空先验，例如平滑运动和刚性几何。尽管这些假设对经典任务十分有效，但在图像编辑和参考引导生成（IEG）中却会失效，因为这类变换能够保持视觉身份，同时打破物理连续性。为了在此类变换中建立保持身份的对应关系，我们提出了 FreeMatching，这是一种可泛化的框架，将生成式和语义基础表征与来自经典数据集、跟踪视频和合成场景的异构监督相结合。教师引导的迭代细化进一步提升了 FreeMatching 在 IEG 中的对应关系效果，且无需稠密对应标注。在实验中，单个 FreeMatching 模型显著提升了具有挑战性的 IEG 图像对上的对应质量，同时在经典基准测试中保持了有竞争力的性能。此外，我们还展示了其作为评估身份保持程度的定量指标的实用性，其得分与人类判断具有较高相关性。代码可在 https://github.com/luping-liu/FreeMatching 获取。

arXiv cs.LG82

WOVEN：将视觉世界建模融入多模态LLM

arXiv:2610.12417v1 公告类型：cross 摘要：多模态大语言模型（MLLMs）在空间、具身、物理和时间推理方面表现不佳。我们假设，这些失败反映出一种共同的视觉状态转移推理能力缺陷，并检验该能力能否作为一种共享训练原语：不同模型可以从不同监督来源中学习这一能力，并将其复用于不同任务，同时采用系统化的训练方案。现有基准分别记录了这些缺陷，但不支持跨场景、动作和推理操作的受控比较。因此，我们提出WOVEN——一个用于视觉状态转移推理的训练数据源和基准。WOVEN按照场景、动作和推理类型组织转移监督，使用由视频预训练生成模型产生的多样且逼真的演化过程数据：涵盖20种场景类型、5种动作类型和8种推理类型，共36,076个样例。我们首先评估了38个前沿MLLMs（例如GPT-5.4和Qwen3-VL-235B-A22B），发现了显著且系统性的能力缺陷：即使是最强的模型，表现也远低于人类；这些失败在不同模型系列中反复出现，并且随着模型规模扩大仍然存在。随后，我们在多个规模上使用WOVEN训练MLLMs，发现它们学会了一种能够广泛迁移的共享能力：仅分别使用约2,000条样本训练的子集，就能使26个外部基准中的22个得到提升，最高提升27.3个百分点；此外，在保持相当准确率的情况下，WOVEN数据可以替代某项任务自身训练数据的30%至50%。进一步的受控比较得出了一套视觉世界建模训练方案，并在预留基准上进行了前瞻性验证：应根据监督所教授的推理操作来选择监督数据，而不是根据其呈现的动作、场景或领域来选择；同时，为增强鲁棒性，应优先选择视觉状态变化更大的数据。我们的工作确立了视觉状态转移推理作为一种可复用的基础能力，用于在MLLMs中开展系统性的视觉世界模型训练。

arXiv cs.LG79

使用价值表示预测对齐泛化

arXiv:2610.12410v1 公告类型：cross 摘要：LLM 开发者会对模型进行后训练，使其表现出亲社会价值观和行为特征，并将这些价值观和特征列举在对齐目标中。然而，尽管近期的后训练发展已经产生了在对齐评估中得分很高的模型，在狭窄行为集合上训练模型，仍会以意料之外的方式影响其在未见过的上下文和环境中的行为。本文提出对齐泛化预测这一任务，即预测将模型微调为遵循某一给定价值观后，其行为在广泛的留出价值观集合上会如何变化。我们针对现代对齐目标中发现的 66 种价值观，对对齐泛化效应进行了大规模分析，并对多种表示技术在对齐泛化预测任务上的表现进行了基准测试。我们发现，在上下文中应用价值观时基于模型激活的表示，显著优于基于价值观文本描述的方法。具体而言，表现最佳的基于激活的方法与我们的泛化矩阵达到了 0.45 的相关性，而基于描述的基线方法仅为 0.05。随后，我们通过使用这些表示来衡量多价值对齐目标中的价值观之间的相似程度，展示了能够预测对齐泛化的表示在下游任务中的适用性；我们发现，这种相似程度与模型鲁棒性存在显著相关性。最后，我们展示了关于共享的、与模型无关的价值空间的初步证据，并据此构建了首个以经验泛化动态为基础的 LLM 价值观分类体系。我们的工作证明了研究 LLM 中价值观泛化的重要性，以及将其应用于更加经验化的模型行为设计与训练的价值。

arXiv cs.LG73

HRIL：通过高阶张量建模学习多模态协同

arXiv:2610.12393v1 公告类型：cross 摘要：自监督多模态表征学习已在各个领域取得显著成功，但由于跨模态交互的复杂性，捕获协同信息仍然具有挑战性。不同于各个模态之间分别存在的共享信息，协同信息产生于这样的情形：只有在多个模态的联合配置下，任务相关信号才会出现，而从任何单一模态中都无法恢复这些信号。本文聚焦于如何在多模态表征中保留这类协同信号的信息容量。关键观察是，协同信息体现在模态之间的高阶统计依赖中，这为显式建模联合交互提供了一个具有理论依据的目标。基于这一认识，我们提出高阶表征与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用 Tucker 分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕获协同信息的高阶耦合容量。在受控协同任务和真实世界基准上的实验表明，相较于现有多模态对比学习方法，HRIL consistently improved，并在以协同交互为主导的任务上取得了显著提升。代码发布于 https://github.com/brightest66/HRIL。

arXiv cs.LG79

OnTrack：通过流式结构感知最优传输实时监控并干预 LLM Agent 轨迹

arXiv:2610.12375v1 公告类型：cross 摘要：Agent 被部署于旅行规划、股票交易和 IT 事故分诊等应用中。在大多数情况下，LLM Agent 几乎不受基于规则的安全防护约束而自主运行，因而可能由于不可逆操作引发成本和安全问题。近期研究要么使用安全防护 Agent 监控行为，要么事后评估日志。前者会为每一步增加成本和延迟；后者则要等到运行结束后才能给出判断，此时 token 已经消耗，损害也已经造成。为解决这一问题，我们提出 OnTrack，一种流式监控机制，将 Agent 的步骤及其依赖关系与已记录的成功运行进行比较，从而在每一步约一毫秒内向用户发出警报或阻止 Agent。我们在三种访问权限逐步降低的情形下研究这一问题：完全访问参考数据（历史运行记录和工具模式）、中等访问权限（仅工具模式）以及无先验知识（仅有生成的步骤日志）。随着数据访问权限降低，OnTrack 的监控能力也随之减弱，其检测范围从计划违规逐渐缩小到识别循环、停滞和重复工具调用。最后，我们使用 SWE-bench 轨迹评估 OnTrack。基于前 8 个步骤，我们的方法对失败轨迹进行排序，使其排名低于成功轨迹的效果优于内容相似度方法（AUROC 提升 +0.057）。采用中止策略后，对于原本会在失败运行中消耗的计算资源，我们节省了约 18%；在被中断的运行中，有 83% 实际上正走向失败（6 次中止中有 5 次判断正确）。

arXiv cs.LG78

Subspace Uncertainty and Sharp Sampling Thresholds on the Boolean Cube

arXiv:2610.12358v1 Announce Type: cross Abstract: We study Gaussian regression under squared population $L_2$ loss in a known $m$-dimensional subspace of degree-at-most-$k$ functions on the $d$-dimensional Boolean cube. Random inputs can undersample regions essential for prediction, delaying the parametric rate even when the model is known. For fixed $q_0<1/2$, $1\le k\le q_0d$, and sufficiently large fixed $A$, the worst-subspace sample threshold for minimax error $A\sigma^2(m+t)/n$ with confidence $1-e^{-t}$, $t\ge\log4$, is \[ N=(m+t)\exp\{E_{d,k}+O(k^{1/3})\}, \quad E_{d,k}=d\Psi(k/d), \] where $\Psi(q)=\log2-\mathsf H(\tfrac12-\sqrt{q(1-q)})$ and $\mathsf H$ is binary entropy with natural logarithms. The upper bound holds for every feasible $m$; the matching lower bound holds when $m\le\binom d{\lfloor k^{1/3}\rfloor}$ or $t\ge m$. We sharpen the Polyanskiy--Samorodnitsky uncertainty principle in two respects. First, for fixed leakage $\rho\in(0,1)$, the smallest set carrying a fraction $1-\rho$ of a nonzero degree-at-most-$k$ polynomial's energy has probability $\exp\{-E_{d,k}+O_{\rho,q_0}(k^{1/3})\}$. An Airy-kernel construction proves that the remainder cannot be $o(k^{1/3})$ in general. Second, we construct a subspace of dimension $\binom d{\lfloor k^{1/3}\rfloor}$ such that every function in the subspace has at least a fraction $1-\rho$ of its energy on the same set, whose probability is at most $\exp\{-E_{d,k}+C_{\rho,q_0}k^{1/3}\}$. For sufficiently large $k$, this set is a Hamming ball. A striking consequence is an exponential cost of noise: the parametric rate can require $(m+t)4^k\exp\{-O(k^{1/3})\}$ samples, whereas $O((m+t)2^k)$ suffice for noiseless identification. As $k\to\infty$ with $k/d\to0$, the noisy threshold is $(m+t)\exp\{2k+o(k)\}$.

arXiv cs.LG75

克服先验壁垒：长尾分布下的监督微调

arXiv:2610.12345v1 公告类型：交叉收录 摘要：监督微调（SFT）使预训练大语言模型（LLMs）适应下游任务，但预训练对任务所需概念的支持程度可能存在显著差异。高频概念更可能被充分学习，而稀有概念的表征可能仍然薄弱。我们提出了一个名为“先验壁垒”的新概念，用于量化预训练模型相较于目标概念对竞争概念的支持强度。我们观察到，先验壁垒呈长尾分布，使头部概念和尾部概念在 SFT 中处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导了长尾先验壁垒下 SFT 的预测风险界，明确刻画了先验壁垒与累积的 SFT 证据如何共同决定预测性能。针对这种依赖于先验壁垒的需求，我们提出 PASS，一种自适应 SFT 指令选择方法。该方法构建从参考内容中提取的概念，估计每条指令提供的区分性证据，并将选择预算自适应地分配给当前选择尚未充分覆盖的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些概念需要额外监督。实验表明，在四种骨干模型与预算组合设置下，我们的方法均优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。

arXiv cs.LG69

VFold: Symmetry-Aware Cross-Layer Value Cache Compression

arXiv:2610.12338v1 Announce Type: cross Abstract: While caching key-value (KV) states accelerates Large Language Model (LLM) decoding, this cache can dominate memory usage at long context lengths. One solution is to compress this memory by exploiting inter-layer cache similarities. However, most existing techniques necessitate architectural changes to LLMs and incur substantial overhead. In this work, we propose a symmetry-aware value cache merging strategy that reduces cache memory while avoiding both harmful performance degradation and architectural overhead during decoding. Furthermore, we show that this approach can be exploited alongside existing cache compression techniques, composing with high-ratio quantization or key cache pruning to reach compression ratios that neither method reaches alone, with minimal additional cost. Ultimately, our findings reveal a major source of underutilized capacity in the value cache, offering a simple yet highly effective direction for scaling context windows under memory constraints.

arXiv cs.LG74

asdex：JAX 中的自动稀疏微分

arXiv:2610.12336v1 公告类型：交叉收录 摘要：科学计算和机器学习中的许多任务都需要计算函数的雅可比矩阵或海森矩阵。自动微分（AD）能够以机器精度计算这些导数，但显式构建一个稠密的 $m \times n$ 雅可比矩阵需要执行 $n$ 次前向模式或 $m$ 次反向模式的 AD，每次计算一列或一行。对于一大类函数，每个输出仅依赖少量输入，因此其导数矩阵是稀疏的。自动稀疏微分（ASD）通过四个步骤利用这一结构：检测与输入无关的稀疏模式；通过图着色，将可以共享一次 AD 计算的列或行分组；执行压缩微分，每种颜色进行一次 AD 计算，得到压缩的导数矩阵；最后将其解压缩，恢复原始稀疏模式。颜色数量以及相应的 AD 计算次数通常与问题维度无关：例如，具有 $b$ 条连续带的带状雅可比矩阵，无论规模多大，都只需要 $b$ 种颜色。asdex 是广受欢迎的 JAX 生态系统中首个独立的 ASD 工具包。它通过 asdex.jacobian 和 asdex.hessian，为 jax.jacobian 和 jax.hessian 提供可直接替换的稀疏版本。

arXiv cs.LG75

RiCo：通过局部接触推理进行刚体交互的神经模拟

arXiv:2610.12333v1 公告类型：交叉发布 摘要：准确模拟刚体交互对于预测性物理世界模型至关重要。尽管物体动力学建模近期取得了进展，但捕捉表面之间的局部接触如何影响物体运动仍然具有挑战性。端到端世界模型在整个场景或物体层面预测交互，而在实际中，刚体接触本质上是局部的，只有邻近表面才能直接交换接触力。基于这一观察，我们提出 Rigid-body Contact Reasoning（RiCo），通过接触表面点的稀疏邻域来表示物体之间的交互。RiCo 将每个点的状态与邻近表面的相对几何关系、运动和物理属性相结合，随后在物体各点之间进行推理，以确定这些局部接触如何共同影响物体的运动。通过将跨物体推理限制在邻近表面之间，同时在每个刚体内部传播接触信息，RiCo 既保留了细粒度的交互细节，又避免了对场景中每一对点进行建模的开销。这些特性使 RiCo 能够实现更高的准确性和接触保真度。在 MOVi-benchmark 上的实验表明，与基线方法相比，RiCo 将 100 帧的位置误差和姿态误差分别降低了 31–35% 和约 38%。此外，RiCo 实现了较高的接触保真度，其穿透时间和平均穿透深度相较于真值的差异分别为 11.0% 和 2.22 毫米。RiCo 还能够从小规模训练场景零样本泛化到包含 270 个物体的场景。我们在真实世界中开展的多球碰撞实验进一步提供了从仿真迁移到现实的初步证据。

arXiv cs.LG77

用于治疗效应估计的预测赋能数据融合

arXiv:2610.12332v1 公告类型：交叉收录 摘要：随机对照试验（RCT）能够在不受混杂影响的情况下识别治疗效应，但其规模通常较小；相比之下，观察性研究（OBS）规模较大，却可能受到混杂影响。针对平均治疗效应（ATE）和条件平均治疗效应（CATE），已有许多将小规模 RCT 与大规模 OBS 相结合的估计方法。然而，现有的 ATE 估计方法要么对 OBS 作出假设，要么未能充分借助 OBS 提升统计效能。与 ATE 相比，针对 CATE 的研究较少。现有的 CATE 方法要么假设 OBS 不存在混杂，要么依赖混杂函数模型，要么接受偏差以换取更低的方差。因此，我们提出了一个框架，无需对 OBS 作出特殊假设，即可融合 OBS 和 RCT，在保持基于 RCT 的估计无偏性的同时，借助大规模 OBS 提升估计精度。基于这一原则，我们构建了具有闭式权重和置信区间的 ATE 估计器 AIPW-Fusion，以及两个 CATE 学习器 DR-Fusion 和 R-Fusion。实验验证了我们的研究结果。

arXiv cs.LG70

Prior or Feedback? What an LLM Uses When Adapting Neural Operators

arXiv:2610.12325v1 Announce Type: cross Abstract: Do LLM scientific agents rely only on their initial task context, or do they adapt their decisions in response to experimental feedback? We study this question in neural operator adaptation, where a large language model (LLM) selects fine-tuning configurations under a limited trial budget. Across transfers within and between partial differential equation (PDE) families, the LLM achieves lower held-out test nRMSE than random search and Bayesian optimisation in nearly every matched comparison. Endpoint performance alone cannot distinguish what happens, so we verify each attribution with controlled interventions. Before observing any validation score, the LLM's first configuration already ranks near the top of the corresponding random-search pool, indicating a useful initial bias. A complementary cold-start intervention shows that the selected base learning rate shifts with the PDE description. Once feedback becomes available, reassigning validation scores among evaluated configurations changes the next proposal in every case tested, whereas a value-preserving rewrite produces no comparable aggregate effect. These interventions establish that the LLM's decision-level actions respond to the given task and observed outcomes, showing that it combines a task-dependent prior with sensitivity to experimental feedback.

arXiv cs.LG66

Spatial Pattern Formation from Multi-Agent Learning in Public Goods Dilemmas

arXiv:2610.12321v1 Announce Type: cross Abstract: Spatial public goods models show that prescribed movement toward richer locations can generate spatial patterns. We ask how such patterns emerge when agents learn where to move and how learning rates shape their consequences for collective welfare. Fixed populations of cooperators and defectors independently learn movement policies using tabular Q-learning and local observations. Cooperator learning generates clusters around resource peaks, while co-adaptation changes their strength and motion. At a fixed training budget, the largest welfare losses occur when cooperators learn at high rates and defectors at low rates. In part of this regime, learned policies also generate traveling bands supported by a shared directional preference. The conditions supporting travel change with further training, so these patterns reflect training history rather than an established asymptotic outcome. Across the tested learning-rate conditions with cooperator learning, mean collective welfare falls below random movement because increased crowding outweighs gains in resource benefit. Charging agents for the crowding they impose on others during learning recovers much of the welfare loss in the tested conditions. These results connect learning rates to the emergence and welfare costs of spatial organization driven by individual rewards.

arXiv cs.LG79

借助 ARGUS 解锁调控基因组：用于解释单核苷酸变异的证据约束智能体框架

arXiv:2610.12281v1 公告类型：交叉收录 摘要：全基因组关联研究发现的疾病相关变异中，超过 90% 位于非编码调控区域，但对其功能的解释仍是基因组医学中一个尚未解决的核心问题。在被提示解释此类变异时，大语言模型经常臆造转录因子（TF）结合变化、捏造实验支持，并赋予统计上可忽略的信号以生物学意义。我们提出 ARGUS（Agentic Regulatory Genomics for an Uncertainty-aware Scientist），将确定性的生物学计算与由 LLM 介导的推理严格分离。ARGUS 将 458 个基于 DNABERT 的 TF 结合模型封装在一个由假设引导的探究循环中：规划器根据当前的不确定性选择证据来源，验证器以确定性方式解释每项观测，中间结果则会改变探究路径。针对位于 8q24 癌症风险位点的变异 rs6983267，同一个规划器为四种 TF 生成了四条不同的探究轨迹。当真实的 ADASTRA 等位基因特异性结合数据（15 项实验，FDR = 0.030）揭示出一个被饱和效应掩盖的模型假阴性时，FOXA1 的判断在 3 步内得到纠正。KLF6 经历了涵盖 ADASTRA、JASPAR 基序分析和 ENCODE cCRE 调控注释的 8 个步骤，最终因间接证据相互矛盾而放弃判断。ADASTRA 返回了满足覆盖度要求但不显著的等位基因检验结果（5 项实验，FDR = 0.65）后，RAD21 在 8 步内放弃判断；SP1 与 FOXA1 一样，具有受饱和效应影响的结合保留预测，但由于该位点不存在直接实验证据，也放弃判断。所有观测均来自真实的 ADASTRA、JASPAR 和 ENCODE cCRE 查询，没有任何模拟数据。对固定优先级规划与 LLM 介导规划的比较表明，LLM 规划器通过舍弃无法判定待检验论断的证据，以更少的工具调用得出了相同的结论。

arXiv cs.LG74

基于扩散积分分数的最快变化检测

arXiv:2610.12200v1 公告类型：交叉收录 摘要：经典 CUSUM 依赖于底层分布的对数似然比，而通常无法仅凭有限的变化前后样本计算该比值。我们提出扩散积分分数 CUSUM（DI-SCUSUM），这是一种无需训练的检测器。我们向样本添加高斯噪声，构造两个平滑密度估计，并精确计算其 Hyvärinen 分数，无需训练分数网络。对于每个新到达的观测，我们采样一个扩散时间，对观测施加扰动，并将重要性加权的分数差用作 DI-SCUSUM 递推中的增量。在观测服从固定经验分布的假设下，变化后的平均增量与从平滑后的变化后经验分布到平滑后的变化前经验分布的 Kullback-Leibler（KL）散度成正比。我们确立了误报的指数缩放关系和一阶延迟界；在阈值和增量缩放固定时，该延迟界与 KL 散度成反比。在经过校准的各向异性高斯仿真中，DI-SCUSUM 的表现几乎与似然比 CUSUM 相当，相较于基于分数的 CUSUM，测得的检测延迟降低了约 91%。在 MNIST 和 Oxford-IIIT Pet 上，DI-SCUSUM 在相近的误报水平下，其经验条件检测延迟也低于 SCUSUM。

arXiv cs.LG71

Learning to Plan by Looking Back: Hindsight Hierarchies for Training Reasoning Models

arXiv:2610.12168v1 Announce Type: cross Abstract: We introduce a self-improvement loop for reasoning models based on the following observation: Even when the difficulty of a problem exceeds the model's current solving abilities, an additionally supplied solution might enable the model to extract useful solution ideas in hindsight. We operationalize this by jointly training the same model to exhibit the following three capabilities: predicting solution ideas from problems alone, reverse-engineering ideas from problems and known solutions, and solving problems using provided ideas. The loop alternates between reverse engineering such ideas from problems with supplied solutions and using these ideas as additional supervision for joint training of all three capabilities. We give a formal specification of our method and a concrete instantiation for interactive theorem proving in the Lean theorem prover; empirical evaluation remains future work.

arXiv cs.LG79

海报：LLM 蒸馏推断的初步研究

arXiv:2610.12137v1 发布类型：cross 摘要：未经授权的模型蒸馏，即利用专有大型语言模型（LLM）的输出训练模型，正日益成为模型提供商面临的威胁。我们研究蒸馏推断：判断一个可疑模型是从另一个模型蒸馏得到的，还是独立训练得到的。我们将这一问题表述为假设检验，并通过训练影子模型来估计每个假设下的预期行为：蒸馏影子模型从教师模型的推理轨迹中学习，而独立影子模型仅从参考答案中学习。审计者衡量每个模型对教师模型推理输出的预测接近程度，然后利用影子模型将可疑模型的得分转换为经过校准的 p 值。在一项以 Qwen2.5-7B 为教师模型、以 Llama-3.2-3B 为可疑模型的初步研究中，我们的检验在显著性水平为 0.02 时达到了 1.0 的真阳性率。这些结果表明，利用蒸馏推断检测蒸馏攻击是可行的。

arXiv cs.LG82

复习全部，什么也记不住：Attic-KV 复习将被读取的内容

arXiv:2610.12133v1 公告类型：交叉发布 摘要：许多键值（KV）缓存在人们尚不知道会向其提出什么问题之前就已被压缩，例如为检索而缓存的文档、跨请求共享的提示前缀，以及长对话的记忆。当前主流方法通过复习为 KV 条目评分：模型重新阅读上下文，并保留其关注的条目，假设缓存对上下文的复习越完整，记忆效果就越好。我们表明，在预算紧张时，这一假设会适得其反：复习全部，什么也记不住。在 3% 的保留率下，重读全部上下文只能在 RULER 上保住原有 96.5 分中的 31.5 分，而在 LongBench 的自然文本任务上，其表现甚至不如完全不复习的方法。原因在于，缓存会保留它所复习的内容：重读将预算分散到整个上下文，使答案本身对应条目的留存概率仅略高于随机水平。如同考前的学生，缓存通过自测能比通过重读记住更多内容。由此得出两项原则：复习将被读取的内容，并根据内容量决定复习量。我们将这两项原则实现为 Attic-KV（简称 Attic），这是一种无需训练的复习方法，模型使用引用上下文的问答对进行自测，同时辅以数量随内容自适应调整的锚点词元。仅改变复习方式，就能提升三种采用不同评分方式的基础方法：在我们于 RULER 和 LongBench 自然文本任务上测试的全部八种设置中，单独使用 Attic 均是表现最佳的无需训练方法；将其接入基于梯度的 KVgrad 和经过训练的 RestoreKV+ 后，二者的得分分别最高提升 17.1 分和 28.1 分。随着预算缩减，其优势不断扩大，在 3% 的保留率下，相比完整重读的优势达到 41.9 分，而且其压缩速度也快于重读全部上下文。

arXiv cs.LG79

用于聚合物电解质离子的保结构神经密度泛函

arXiv:2610.12132v1 公告类型：交叉收录 摘要：预测非均匀聚合物电解质的结构与响应，需要一种既能保持分子尺度精度，又能跨空间尺度和几何构型迁移的离子关联描述。我们开发了一种用于电解质的神经密度泛函，它保持空间对称性、热力学可积性和 Noether 恒等式，并在稳定、非临界的体相状态下恢复完全屏蔽。其非线性密度依赖性能够捕捉成对闭合近似所遗漏的浓度依赖关联，包括强耦合条件下长波长粒子数涨落从增强到受抑制的交叉转变。该泛函能够描述未用于训练的盐浓度下的密度分布，并预测体相结构因子和长波长粒子数响应。该泛函仅使用分子动力学模拟得到的平面密度和内力分布进行训练，即可预测更大空间区域及二维外场中的离子结构。在相同的离子数据上，其精度高于另外三种神经密度泛函架构；当训练模拟次数减少至四分之一时，它仍能保持精度，而表现最佳的其他架构的误差则增加约三分之二。这种空间可迁移性为将分子关联与更大尺度的连续介质预测相连接提供了必要基础。

arXiv cs.LG71

DVLA-RL++：面向小样本学习的基于强化学习门控的双层次视觉语言对齐

arXiv:2610.12095v1 公告类型：交叉发布 摘要：小样本学习旨在利用有限的标注样本识别新类别。近期研究引入文本语义，以弥补视觉观测不足并改善类别表示。然而，较高的图像文本一致性可能同时反映物体的固有属性和偶然出现的上下文，使支持集原型容易受到上下文污染。为解决这一问题，我们提出 DVLA-RL++，在 DVLA-RL 的基础上引入互补语义净化（CSP）和反事实强化学习门控（CRG）。具体而言，CSP 根据带标注的支持样本生成固有属性描述与干扰因素描述，并比较这些描述与每个支持样本词元的一致性。随歧义程度变化的拒绝间隔引导稀疏证据分配，而固有语义锚点则填补未分配的权重，在视觉证据不可靠时提供兜底。CRG 使用兼顾识别性能与干扰暴露程度的奖励，学习逐层语义融合强度。在同一小样本学习任务中独立执行的参考轨迹提供配对学习信号。理论分析将保留证据及锚点质量与原型稳定性联系起来，并确立了同策略梯度无偏估计的条件。在标准、细粒度和跨域基准上的实验表明，该方法达到最先进的准确率，较 DVLA-RL 平均提升 1.4%。项目页面：https://peacelwh.github.io/TPAMI27-DVLA-RLpp/。

arXiv cs.LG76

用于变分序贯蒙特卡罗的可微系统重采样

arXiv:2610.12094v1 公告类型：cross 摘要：粒子滤波器是非线性状态估计的标准工具，但其重采样步骤是离散的，从而阻碍了在变分序贯蒙特卡罗中进行基于梯度的学习。我们提出可微系统重采样（Differentiable Systematic Resampling，DSR），这是一种由温度控制的系统重采样松弛方法，在实现完整梯度流的同时，保留了系统重采样基于 CDF 排序的带状结构。当温度趋近于零时，DSR 收敛于精确的系统重采样；我们还证明了其所引入偏差的逐点指数收敛速率。与基于最优传输的可微重采样相比，DSR 无需迭代求解器，计算开销显著更低。在随机动力系统和真实世界手写数据上的实验表明，DSR 在滤波和动力学学习性能方面达到相当或更优的效果。

arXiv cs.LG75

Perception Test 2026：挑战总结及向城市级视听推理的扩展

arXiv:2610.12081v1 发布类型：cross 摘要：延续 Perception Test 挑战系列，我们在瑞典 Malm\"o 举办的 2026 年欧洲计算机视觉会议（European Conference on Computer Vision，ECCV）上以研讨会形式组织了第四届挑战赛。本届赛事聚焦空间智能，设有四个不同赛道：源自 Perception Test 基准的统一多选题视频问答和基于视频的定位问答，以及基于城市规模步行导览视频的两个新赛道（KilometerAudio 和 KilometerVision）。本文介绍了城市规模赛道所采用的新基准，并总结了所有赛道的获胜方案，其中包括一个在所有赛道中参赛且表现令人满意的通用模型。新增城市规模赛道的获胜方案表明，复杂的空间推理和多模态推理可以通过高成本的智能体流水线来解决，但对于单独使用的多模态模型而言，这仍然很困难。

arXiv cs.LG68

Diffusion Removes Langevin's Conditioning Dependence: A Sharp Gaussian Analysis

arXiv:2610.12052v1 Announce Type: cross Abstract: Despite their empirical success, why diffusion models overcome the bottlenecks of classical score-based samplers remains unclear. In this work, we leverage Gaussian distributions to isolate this phenomenon. We establish 2-Wasserstein convergence bounds for optimized hyperparameters, showing that diffusion processes achieve a sampling error of $O(\sqrt{d\lambda_{\max}}\log N/N)$, where $d$ is the dimension, $N$ the number of sampling steps, and $\lambda_{\max}$ the largest eigenvalue of the target covariance matrix. Unadjusted and underdamped Langevin dynamics suffer from an additional $\sqrt\kappa$ factor, where $\kappa$ is the condition number. These rates follow from spectral bounds which are sharp: we confirm them via matching first-order asymptotics as $N\rightarrow\infty$. Our analysis provides a rigorous characterization, in the Gaussian setting, of how time-dependent score trajectories remove condition-number dependence during sampling. By contrast, in the learning phase, we show that estimating the unnoised score by gradient descent leads to essentially the same estimator as estimating a noisy score, which suggests that the benefits of noising do not come from the learning phase.

arXiv cs.LG72

离散数据的高效且具有良好泛化能力的原型分析

arXiv:2610.12035v1 公告类型：cross 摘要：原型分析（AA）将观测表示为由数据驱动的极值特征构成的凸组合，从而为复杂数据集提供可解释的低维描述。经典原型分析依赖最小二乘目标函数，而这并不适用于二元、计数和分类等离散观测数据。我们提出了一个高效的、基于似然的原型分析框架，支持 Bernoulli、Poisson 和 multinomial 观测模型。我们的优化方案采用负对数似然的局部二次近似，通过序列最小优化（SMO）和活动集方法实现约束更新。通过对活动集进行大小限制，同时保持单纯形可行性，提升了可扩展性。我们进一步提出了一种用于选择原型数量的交叉验证预测似然准则，为重构误差启发式方法和基于稳定性的诊断提供了有原则的替代方案。合成实验表明，该方法具有较高的计算效率，并能准确恢复模型复杂度。在单细胞 RNA 测序、微生物组组成和体细胞突变数据上的应用显示，所学习到的原型能够捕捉具有可解释性的领域特定结构，同时实现具有竞争力的似然拟合和稳定的解。总体而言，所提出的框架实现了对离散数据进行高效的基于似然的原型分析，并辅以基于预测似然的模型选择。

arXiv cs.LG78

考察 LLM 推理中的社会归因：一种理论引导的探究方法

arXiv:2610.12022v1 公告类型：cross 摘要：大型语言模型（LLM）正日益部署于社会技术系统中，其中社会归因——将外部事件归因于行动者社会行为的原因和理由的推理过程——发挥着关键作用。这些过程涉及对社会原因、责任以及对行动者的责备/赞誉进行判断。尽管归因模型已通过归因理论在社会心理学和认知领域得到充分研究，但社会归因在人工智能领域，尤其是 LLM 社会推理中的研究仍不充分。本文首次对 LLM 社会归因进行了系统性探索。我们的工作聚焦于责任归因和责备归因，考察当前 LLM 的判断及其底层内部机制。在归因理论的指导下，我们构建了一个社会归因基准，其中包括基于归因理论研究中经典情境的 Vignette 子集，以及基于现实世界社会叙事的 Reality 子集，共产生 7,639 个责任/责备判断问题。在此基础上，我们评估了 32 个具有代表性的 LLM 和 5 个基础非 LLM 基线模型。为进一步探索 LLM 判断过程背后的内部机制，我们开发了一种基于探究的方法，用于研究 5 个关键归因维度在潜在空间中的表征，以及这些维度对 LLM 判断的影响与人类社会归因中的影响是否保持一致。研究结果表明，当前 LLM 在责任和责备判断方面与人类表现出可测量但并不完整的一致性，同时，这种一致性与模型规模呈正相关。一些归因维度可以从 LLM 隐状态的特定位置系统性地解码出来，并且它们对最终判断的影响与人类归因理论所揭示的影响一致。数据集及相关代码可从 https://github.com/Yuzhaoxin946/SAB-Bench 获取。

arXiv cs.LG73

Score-Based Learning of Cluster DAGs from Interventions

arXiv:2610.11947v1 Announce Type: cross Abstract: Graphical approaches to causal abstraction transform a low-level causal directed acyclic graph (DAG) over many measured variables into a smaller, high-level DAG whose nodes cluster the original variables and whose edges summarize the causal relations between clusters. Such cluster DAGs are easier to interpret, but learning them requires finding the clusters and recovering the edges between them. Madaleno et al. (2026) learn the interventional coarsening (the cluster DAG that merges variables the interventions cannot distinguish) in two constraint-based phases: first the clusters, then the edges. We introduce COARSE, the first score-based method for this task: it keeps the two-phase structure but, under linear Gaussian assumptions, swaps the constraint-based edge phase for a score-based one. We show that the interventions themselves identify a causal order over the clusters, and learning the edges reduces to a single local search per cluster under a cluster-level BIC score. We prove that the procedure runs in polynomial time and, provided the variables affected by each intervention are correctly identified, that it is consistent. On synthetic and real-world interventional data, COARSE matches state-of-the-art edge recovery given enough samples, with an edge phase up to two orders of magnitude faster, including on dense graphs with hundreds of nodes.

arXiv cs.LG77

TACROSS：一种面向灵巧机器人学习、跨异构触觉传感器的高效低成本可扩展人类触觉系统

arXiv:2610.11945v1 公告类型：cross 摘要：在机器人上采集触觉示范成本高且速度慢，因此人们开始使用成本更低的人用触觉手套来实现可扩展的数据采集。然而，人用电容式/压阻式手套与机器人触觉传感器在换能原理、传感器布局、空间分辨率和动态响应方面存在根本差异，使得原始传感器通道的对齐变得缺乏明确意义。为解决这一问题，我们提出了TACROSS，这是一种从人类触摸中学习并将其迁移至机器人的可扩展系统。该系统通过在接触事件层面而非原始传感器数值层面对齐触觉流，弥合了上述异构性。TACROSS的硬件组件集成了一款五层压阻式手套，成本为10.86美元，配备285个感知点。为对齐接触语义，我们设计了规范化器和残差适配器，通过一个在手指之间进行注意力计算的时序Transformer，将异构信号映射到一个256维的共享触觉潜空间中。我们进一步提出了一种以机器人为基础的策略学习方案：机器人示范作为真实动作监督的唯一来源，而人类示范则用于触觉表征学习，并通过有效的重定向手部目标提供基于置信度加权的辅助监督。我们在四项接触密集型操作任务上评估了系统。与传统遥操作相比，我们提出的系统将效率提升了3.5倍，同时将示范采集设备成本降低了95.7%。我们将开源TACROSS硬件和软件系统，并公开发布一个包含超过150小时记录的触觉数据集。项目页面：https://tacross-touch-project.github.io/。

arXiv cs.LG71

Revisiting Identity and Spectra Dispersion in Media-Bridged Time Series Forecasting: Linking Multivariate Signals and Narrative Flows

arXiv:2610.11924v1 Announce Type: cross Abstract: Media-bridged time series forecasting is expanding to encompass traditional "multivariate" and emerging "multimodal" (e.g., through textual assistance). Existing Time Series Forecasting (TSF) models still rely on paradigm-specific relation, fusion, and temporal modules, hindering a common forecasting backbone across numerical and pre-aligned narrative-flow settings. To explore this, we propose the Multimedia Identity-Aware Prism Network (MIDAPN), a unified spatiotemporal forecasting backbone based on media-general graph adaptation and automatic temporal learning: (1) Following media pre-alignment, our Multimedia Identity-Aware Graph (MIDAG) revisits identity through static essence, dynamic behavior, and latent commonality, inducing affinities that extend variable-specific dependencies across media. Contextual Identity Modulation (CIM) further refines discriminative aggregation. (2) We develop Spectral Prism Convolution (SPConv) to automatically perform hierarchical temporal analysis, balancing coarse trends and fine-grained details. Meanwhile, its Adaptive Search Guidance configures a scale-efficient architecture for temporal-dimension reconstruction. These decoupled yet synergistic components jointly address media identity disentanglement and temporal-scale mismatch. Comprehensive evaluations involving 16 SOTA TSF models across 13 "multivariate" and 12 "multimodal" datasets, alongside targeted long-context comparisons against 14 time series foundation models and fused pretrained language models, demonstrate MIDAPN's consistent superiority and broad shared backbone compatibility. The code is available at \href{https://github.com/leijieruilq/MIDAPN/tree/main}{https://github.com/MIDAPN}.

arXiv cs.LG77

面向模型市场的成本感知 Mixture-of-Experts 协调

arXiv:2610.11908v1 公告类型：cross 摘要：现有模型市场通常将单个模型作为不可分割的单位进行交易和选择，限制了其利用异构专家之间互补性的能力。本文提出一种基于 MoE 的模型市场框架，将 Mixture-of-Experts 从模型级学习架构提升为市场级协调机制。在该框架中，经纪商利用门控网络协调多个异构专家，并提供复合模型服务。我们形式化定义了市场参与者、服务流程、专家成本结构，以及将预测效用与异构执行成本相结合的福利目标。随后，我们推导出一种成本感知门控机制和面向市场的训练目标，并引入一种经成本调整的收益分配规则，根据实际专家参与情况和执行成本分配剩余收益。我们还建立了该分配规则的基本理论性质，包括预算平衡、参与单调性和成本敏感性。在十五个表格和图像基准数据集上，使用五个随机种子开展实验；实验采用独立训练且冻结的神经网络专家和基于树的专家，并结合由延迟推导出的执行成本。MoE Market 在全部十五个数据集上均取得最高平均福利，并且在每种情况下的平均预期成本都低于 Standard MoE，同时保持了具有竞争力的预测性能。收益分配实验进一步表明，该方法对专家参与度和成本具有系统性的敏感性，同时其计算开销显著低于精确 Shapley 分配。这些结果表明，MoE 可以作为协作式、成本感知且具有经济学基础的模型市场中的市场级协调原则。

arXiv cs.LG72

RobustLDS：在对抗性污染下学习线性动态系统

arXiv:2610.11906v1 发布类型：cross 摘要：我们研究了这样一个问题：从一条长度为 $T$ 的轨迹中，在对抗性污染条件下学习线性动态系统。尽管线性动态系统的辨识本身已经得到了广泛研究，但在对抗性污染下进行鲁棒系统辨识的研究相对较少。在本文中，我们研究了 $T$ 个观测中有一部分受到对抗性离群值污染的情形。我们提出了基于最小截尾二乘法松弛的不同估计器，以及一种交替最小化算法。此外，我们还提出了两种利用离群值组稀疏性（通过惩罚项/硬约束）的估计器。对于采用组稀疏惩罚的估计器，我们推导出了非渐近误差界，证明了其对离群值的鲁棒性。我们还通过实验证明，所提出的估计器在实践中表现良好。

arXiv cs.LG73

从缺失观测中学习结构化线性动态系统

arXiv:2610.11869v1 公告类型：cross 摘要：我们研究了在凸集 $\mathcal{K}$ 上学习结构化线性动态系统的问题，其中每个时间点仅有一小部分观测可用。我们提出了一种估计器，该估计器最小化一个经过偏差校正且可能为非凸的目标函数。我们为统计误差获得了非渐近界，该误差界取决于 $\mathcal{K}$ 的局部复杂度、轨迹长度 $T$ 以及子采样概率 $p$。我们还建立了投影梯度下降算法的收敛性。我们将一般理论应用于以下情形：(i) $\mathcal{K}$ 是一个子空间；(ii) $\mathcal{K}$ 是双保序矩阵的集合；(iii) $\mathcal{K}$ 是这样一类矩阵的集合：其行由对 Lipschitz 函数进行采样得到。我们证明，即使 $T$ 远小于无约束情形所需的值，且当 $p = o(1)$ 时，仍然能够实现对转移矩阵的有效恢复。

arXiv cs.LG73

条件核 Stein 差异

arXiv:2610.11863v1 发布类型：cross 摘要：核 Stein 差异（KSD）为比较分布提供了一种灵活的工具。其主要应用之一是量化数据生成分布与给定目标分布之间的拟合优度（GoF）。在本文中，我们研究了相关的条件拟合优度量化问题：仅给定一个（可能未归一化的）条件目标模型，而不知道其协变量的分布，并拥有来自某个联合分布的样本，目标是评估样本的条件分布与目标分布的匹配程度。为处理这一问题，我们提出了一个框架，通过协变量空间上的算子值核，将无条件 KSD 提升到条件情形，从而超越已知的欧几里得情形。我们证明，所提出的统计量当且仅当条件模型与真实条件分布对几乎所有协变量一致时才为零，并利用该统计量在光滑流形和离散空间上检验条件拟合优度。我们在检验水平、功效和运行时间方面的实验表明，使用所提出的统计量在这些域上进行检验是可行的。

arXiv cs.LG64

Softmax Attention on Gaussian Mixtures: Linear When It Can, Selective When It Must

arXiv:2610.11798v1 Announce Type: cross Abstract: Softmax attention, at the heart of Transformers, has demonstrated remarkable capabilities. Yet its underlying mechanisms remain only partially understood. Recent theoretical work studies Gaussian prompts, where the infinite-prompt limit reduces softmax attention to a linear map, but also removes the query-dependent selection that distinguishes it from linear attention. This work studies the infinite-prompt limit of softmax attention on Gaussian mixtures, which retain the tractability of Gaussian data while introducing latent structure, multimodality, and nonlinear dependencies. We show that softmax attention can represent and learn, via gradient-based methods, optimal solutions to a range of statistical tasks, including supervised classification and denoising. Our results highlight two complementary capabilities of softmax attention: it can recover linear tasks as effectively as its simpler linear counterpart, while also exploiting query-dependent context selection to solve nonlinear tasks beyond the reach of linear attention.

arXiv cs.LG70

Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks

arXiv:2610.11794v1 Announce Type: cross Abstract: Learning to act in unfamiliar environments requires agents to infer how the world works and revise that understanding as new evidence arrives. Yet limited observations can support multiple world models that explain past interactions but predict different outcomes in unseen states. We introduce Memento 3, building on the Memento series to enable frozen LLM agents to continually learn explicit world models through external memory. The agent maintains a natural-language rulebook as persistent semantic memory, recording revisable hypotheses about environment dynamics while leaving unknown aspects underspecified. It compiles this rulebook into executable code for prediction and planning. Through a continual loop of observation, reflection, rule revision, compilation, and verification, the agent uses prediction errors to refine both the rulebook and its code. Updated code is accepted only when the LLM judges it faithful to the rulebook and cell-exact replay reproduces the observed transitions. We investigate this process as a model-based route to recursive self-improvement (RSI): the agent autonomously explores the environment, revises its world model, and uses verified updates to guide subsequent interaction and learning, while the underlying LLM remains fixed. A population extension maintains multiple world models in parallel, sharing interaction evidence and using their predictions to guide exploration. On ARC-AGI-3, the single-model agent clears every level of all 25 public games, achieves a mean Relative Human Action Efficiency (RHAE) of 100.0, and uses 44% of the human action count. In an Atari Pong case study, a learned feedback controller wins 21:0 in each of three evaluated episodes with different openings, without further LLM calls.

arXiv cs.LG69

Beyond QAOA: A Review of AI and Quantum Computing for Adaptive Combinatorial Optimization

arXiv:2610.11759v1 Announce Type: cross Abstract: Near-term quantum approaches to combinatorial optimization are limited by qubit counts, circuit fidelity, sampling cost, and the difficulty of encoding constraints, while machine learning is increasingly used to configure and control quantum optimization workflows. We call such workflows adaptive: decisions conventionally fixed in advance, from formulation and penalties to shot budgets, backends, and whether to invoke a quantum processor at all, are made by learned policies that respond to the instance, the progress of the solve, or the hardware. This review examines three paradigms, AI for quantum optimization, quantum for AI-driven optimization, and AI-quantum co-optimization, and organizes the literature by the decision being learned rather than by application. A structured review of 119 papers, 67 coded in detail, shows that the evidence is considerably stronger for AI-assisted quantum optimization than for the reverse direction: learning already reduces quantum evaluations, improves initialization, supports decomposition and penalty control, and mitigates noise, whereas evidence that quantum computation improves learned optimizers remains largely confined to small-scale simulation. Experimental controls are thin: 25 of 57 studies include no classical baseline, the quantum contribution is fully isolated in 10 of 24 studies where an ablation applies, and the median experiment uses 17 qubits. We introduce an M0-M5 evidence hierarchy, from simulation to matched-resource practical advantage, and find no broadly convincing result at the highest level. We argue that scaling is increasingly a systems problem: the question is not only whether a problem fits on a quantum processor, but how classical and quantum resources should be allocated across the optimization process. The review is aimed at researchers in quantum computing, machine learning, and operations research.

arXiv cs.LG77

DEX：面向能效型 MSDF 神经网络推理的数位级提前退出

arXiv:2610.11748v1 公告类型：cross 摘要：用于脑肿瘤分割的 U-Net 推理需要数十亿次乘加运算，因此需要能够动态降低计算量的硬件，而不能仅依赖固定精度或静态模型压缩。最高有效数字优先（MSDF）算术能够在计算过程中逐步暴露结果的高位数字，从而在生成完整数值之前，根据输出做出决策。本文提出了一种用于量化 U-Net 分割的 MSDF 加速器，其中包含支持有符号 INT8 操作数和流内偏置累加的两阶段分组处理单元。四种运行时机制直接作用于输出数字流：ReLU 层中的精确提前负值检测（END）、分割头中的精确仅符号决策、经校准的低阶数字跳过，以及经校准的剪枝。两种近似机制在满足精度约束的情况下离线选择，执行时仅需轻量级控制，且无需修改存储的权重。在使用 nnU-Net 针对 BraTS 训练的残差 U-Net 上，所提出的机制将数位周期减少了 38.38%，并在 73 个留出病例上取得 80.58% 的平均 Dice 分数，而浮点模型的得分为 81.20%；仅使用精确机制即可在不改变量化输出的情况下将周期减少 18.79%。在 45~nm 工艺下综合后，该处理单元的工作频率为 500~MHz，占用面积为 0.858~mm$^2$；根据标注开关活动的功耗分析，在每个 $192\times192$ 图像块上的能耗为 0.726~mJ。预计采用共享激活传输的八输出加速器可实现 16.6~ms 的延迟，以及每个图像块 1.67~mJ 的能耗。