arXiv:2608.12587v2 公告类型：替换交叉版本 摘要：本文介绍了 DYSANOS，这是首个能够为所有执行价和到期日生成平滑 SANOS 期权曲面的市场模型，且这些曲面不存在静态套利。我们的模型旨在生成未来数年每日现货价格和期权价格的完整路径。我们以 AR(1) 模型的形式提出了一个稳健且实用、尽管相对简单的基线模型。我们讨论了模型设置、数据处理流程和训练过程，并研究了市场重构、稳定性和尾部行为。我们使用 2022-01-03 至 2025-08-29 期间的 891 个 Option Metrics IvyDB S&P Index 曲面展示了模型性能。我们还展示了如何数值构造风险中性密度。作为其中的一部分，我们针对给定测度下条件均值为零的问题开发了一种新检验。我们证明，对于 100,000 条模拟路径，由 48 个期权和现货构成的交易集合在数值上不存在动态套利。
arXiv:2607.16204v2 发布类型：replace-cross 摘要：强化学习（RL）的近期发展凸显了对多样化、专门化训练环境的需求。随着模型性能提升，由人工精心设计且任务和奖励难度固定的环境所提供的训练信号会逐渐失效，而长时间跨度中的稀疏奖励则会导致模型在特定工作流或工具结构上发生模式坍缩。能够模拟环境状态的世界模型已经达到与纯 rollout 相当的性能，因此有望按需扩展环境多样性。然而，自回归（AR）世界模型存在从左到右的偏置，无法对工具模式、历史轮次和预期结果等全局相互依赖的状态锚点进行条件建模。我们：（i）将基于文本的世界建模形式化为一个可操控的转移动力学问题，将其分解为初始状态、任务上下文、工具模式、领域规则和操控指令；（ii）整理了涵盖九个开源环境和十二个前沿模型系列的239,403条有依据的状态—动作轨迹。我们比较了AR语言模型与掩码扩散语言模型（MDLM），结果表明，MDLM通过双向、锚点感知的去噪，在相近推理延迟下，实现了优于参数规模超过其4倍的LLM的连贯性、基于事实的可靠性和经实证验证的 rollout 多样性。我们提出了一个即插即用的GRPO训练框架，其中包含确定性的状态检查；并在三个分布外（OOD）环境（ScienceWorld、ALFWorld、AppWorld）和三个参数规模为1.2B至7B的智能体骨干模型（LFM2.5、Qwen3、Mistral）上开展零样本迁移消融实验，在无需针对环境进行微调的情况下，相较基线最高取得47%的绝对增益。我们还在对抗性场景下对失败模式进行了行为分析，并针对真实感、结果正确性和训练实用性开展了人工评估。我们将工作开源，以推动这一方向的研究。
arXiv:2607.01819v2 Announce Type: replace-cross Abstract: The Koopman operator has gained considerable attention due to its ability to provide a global linear representation of highly complex dynamical systems. The operator describes nonlinear dynamics in a linear way through the lens of real- or complex-valued observable functions. Data-driven techniques, like extended dynamic mode decomposition (EDMD), kernel EDMD, and machine-learning methods, can be used to generate finite-dimensional approximations accompanied by finite-data error bounds. In this tutorial paper, we provide a concise introduction into Koopman operator theory and its use in systems and control. A particular focus is put on data-driven surrogate models, their extension to systems with inputs, and controller design using Koopman operator theory. Moreover, we demonstrate the key techniques, i.e., EDMD and Koopman MPC. To this end, we provide simulation studies including source code on GitHub to enable the interested reader to experience the Koopman operator in systems and control step by step.
arXiv:2606.29438v2 公告类型：替换交叉版本 摘要：本文构建了一种由分数布朗运动驱动、具有残差动力学的分数随机神经网络。通过为该网络引入离散随机最大值原理，我们构造了相应的伴随递推关系。对于确定性的网络参数，我们证明了投影逐样本随机梯度下降的均方收敛性。数值实验包括闭式收敛性测试、带不确定性量化的噪声回归、长记忆时间序列生成，以及结构化扰动下的图像分类。结果揭示了相较于布朗运动和确定性基线，分数驱动项在某些情形下能够提升长记忆恢复能力或鲁棒性。
arXiv:2606.25170v2 Announce Type: replace-cross Abstract: We introduce a PAC framework in which the learner can access sampling oracles both before and at decision time. Sample complexity is measured by a pair $(n,m)$, where $n$ is the learning budget spent before a query is known and $m$ is the additional sampling budget per query. We demonstrate its relevance in discounted Markov decision processes with exogenous i.i.d.\ contexts revealed before acting. Contexts may affect both rewards and transitions but remain uncontrolled by the agent. The learner can sample the unknown context distribution and the transition kernel. We study policy evaluation (PE), best-value estimation (BVE), and best-policy extraction (BPE). When rewards and transitions are known, a variance-reduced algorithm solves all three tasks with sample complexity $\bigl(\widetilde O((1-\gamma)^{-3}\varepsilon^{-2}),0\bigr)$, which is minimax optimal up to logarithmic factors. Let $\mathcal{X}$ be the controlled state space. When transitions are also unknown, we give a PE algorithm with complexity $\bigl(\widetilde O(|\mathcal X|(1-\gamma)^{-3}\varepsilon^{-2}), \widetilde O((1-\gamma)^{-2}\varepsilon^{-2})\bigr)$ and matching lower bounds at this budget pair. For BVE and BPE, we give an algorithm with a common offline budget $\widetilde O(|\mathcal X|^2|\mathcal A|(1-\gamma)^{-4}\varepsilon^{-2})$ and respective query costs $\widetilde O(|\mathcal A|(1-\gamma)^{-2}\varepsilon^{-2})$ and $\widetilde O(|\mathcal A|(1-\gamma)^{-3}\varepsilon^{-2})$. Importantly, all bounds are independent of the context-space cardinality.
arXiv:2606.09701v2 公告类型：替换交叉版本 摘要：语言模型的安全性必须持续适应不断演变的攻击。近期研究表明，通过采用 PPO 风格的自博弈和 DPO 风格的在线偏好优化，可以联合训练出更强的攻击者模型和防御者模型。在本研究中，我们探讨了 GRPO 在这一场景中的有效性。协同训练颇具挑战，因为它要求同时优化攻击者和防御者的多项属性。因此，我们利用基于多个 LLM 评审器的奖励通道来塑造模型输出，并使用 GDPO 计算优势，从而避免任何单一通道占据主导地位。我们的方法采用课程式训练：先进行仅针对攻击者的单轮和多轮训练，再进入协同训练阶段，在此阶段交替更新攻击者和防御者模型。我们表明，该方法能够生成极为有效且具有迁移性的攻击，同时协同训练的防御者在保持通用效用的情况下达到具有竞争力的安全性。通过受控消融实验，我们进一步确定了训练流程中的哪些组件对最终安全性与效用之间的平衡影响最大。最后，我们发现 GRPO 往往会导致攻击者在训练过程中的多样性逐渐坍缩，并讨论了应对这一局限性的可能方法。
arXiv:2605.31163v4 公告类型：replace-cross 摘要：我们引入了\emph{设计模型框架}：一种根据关于记忆的显式假设推导高效递归序列映射的方法。设计模型通过精确贝叶斯滤波将证据写入记忆；依赖查询的读出会生成预测分布，其均值即为层输出。在我们的线性高斯实例中，\emph{Bayesian Layer}同时传播均值和协方差：协方差跟踪所存储关联的不确定性，使写入过程朝向不确定的方向，在证据不断积累时逐渐减小增益，并保留具有高置信度的记忆。同一框架统一了若干次二次方递归：在线性注意力、GLA 和 Mamba-2/SSD 中，它们是在潜在输入设计模型下的精确滤波器；而 DeltaNet 及相关的 Delta-rule 模型，则是对 Bayesian Layer 设计模型进行协方差重置后得到的约化形式。恢复协方差传播后，可以得到关于检索动态的闭式预测；我们通过实验证实了这些预测，并在受控碰撞研究、学习式关联回忆和 Zoology MQAR 基准测试中发现，这样做提升了模型在训练范围之外的鲁棒性。在匹配状态预算的条件下，从头开始在 WikiText-103 上训练，可降低关联回忆命中样本的困惑度。将 Bayesian Layers 蒸馏到一个预训练的 340M Gated DeltaNet 中，相较于计算量匹配的对照模型，能够提升 RULER 长上下文检索性能，但会使留出集困惑度增加 2.5--2.7%。
arXiv:2605.28888v2 公告类型：替换交叉版本 摘要：现实世界中的用户行为很少由孤立的动作构成；相反，它们通常形成受时空依赖关系支配的意图流。为了提供一体化的服务推荐，我们聚焦于生成式时空意图序列推荐（GSISR）任务，其目标是在复杂的时空环境中生成逻辑连贯且物理上可执行的意图序列。尽管 LLMs 为 GSISR 提供了强大的推理潜力，但由于推理延迟高，以及生成的方案可能与上下文不匹配或在物理上不可行，直接将其部署到工业场景中仍受到限制。为应对这些挑战，我们提出了一种生成式框架 GPlan，通过两个组件将 LLM 的推理能力内化到轻量级模型中。首先，为了在严格的延迟约束下实现推理，我们引入了 Progressive Implicit CoT Distillation，将显式推理过程压缩到预留的潜在标记中，使小型模型无需生成冗长的推理文本即可继承复杂的规划逻辑。其次，为了解决通用知识与现实世界约束之间的脱节问题，我们设计了 Spatiotemporal Counterfactual DPO。通过使模型与反事实上下文—方案对保持一致，我们提升了模型对时空上下文的敏感性，并减少了与上下文不匹配的方案。离线实验和在线 A/B 测试表明，我们的方法提升了序列连贯性和上下文响应能力。我们的实现代码和匿名化 GSISR 数据集已发布于 https://github.com/alibaba/GPlan。
arXiv:2605.28732v4 公告类型：替换交叉版本 摘要：记忆对于使大型语言模型支持长程推理至关重要，然而现有记忆系统仍不可靠且难以调试。追踪记忆的动态演化，对于理解信息如何随时间被综合、传播或损坏至关重要。在本文中，我们研究了 LLM 记忆系统中的错误追踪与归因这一新问题。我们提出了一种新颖的框架，将记忆管道转换为可执行的记忆演化图，从而实现对操作信息流的细粒度追踪。随后，我们构建了 MemTraceBench，这是一个从 Long-Context、RAG、Mem0 和 EverMemOS 等具有代表性的记忆系统中收集的基准，用于系统研究记忆失效模式。我们进一步引入了一种自动归因方法，通过迭代追踪操作子图，定位任意失败案例的根本原因。我们的分析表明，记忆失效具有系统性，源于信息丢失和检索错位等操作层面的问题。更为关键的是，我们利用这些细粒度归因信号指导下游提示词优化，建立了一个闭环系统，能够自动纠正故障，并使最终任务性能最高提升 7.62 个百分点。代码已发布于 https://github.com/zjunlp/MemTrace。
arXiv:2605.14925v3 公告类型：替换交叉版本 摘要：无人机视角地理定位旨在将查询无人机图像（通常在恶劣天气条件下拍摄，例如雨、雪、雾）与带有地理标签的卫星图像库进行匹配。天气导致的无人机视角图像质量下降，如噪声、能见度降低和局部遮挡，会严重加剧固有的跨视角域差异。尽管以往方法主要依赖针对特定天气设计的架构或数据增强，但在很大程度上忽视了道路地图数据这一易于获取的模态。道路地图能够以几乎零额外成本提供强大且天然不受天气影响的几何布局线索（例如道路网络和建筑物轮廓）。我们提出 GeoFuse，一种跨模态融合框架，将精确对齐的道路地图切片与卫星图像相结合，以生成更具判别性且更耐受天气变化的表征。首先，我们为现有的 University-1652 和 DenseUAV 基准补充地理对齐的道路地图，从而提供对气象变化具有鲁棒性的结构先验。在此基础上，我们提出一种灵活的融合模块，通过令牌级和通道级交互结合卫星图像与道路地图特征，并采用轻量级动态门控机制，根据每个实例自适应地调整各模态的贡献。最后，我们采用类别级跨视角对比学习，促进受天气影响的无人机特征与融合后的卫星图像-道路地图表征之间实现鲁棒对齐。在多种天气条件下进行的大量实验表明，GeoFuse 始终优于当前最先进的方法，在 University-1652 和 DenseUAV 基准上分别取得了 Recall@1 准确率 +3.46% 和 +23.18% 的提升。
arXiv:2605.12118v3 公告类型：replace-cross 摘要：随机过程模型的神经似然替代模型（例如 Neural Ratio Estimation）通常通过在模拟数据上进行概率分类来训练，这迫使人们在替代模型质量和训练成本之间进行权衡。对于能够获得精确得分函数 $\nabla_\theta \log p(x \mid \theta)$ 的结构化模型，可以将这一信息用于训练，即在交叉熵损失中加入得分匹配项。然而，两种损失的最优权重无法预先确定，手动选择则需要耗费高昂的调参成本，从而抵消了计算节省。我们提出一种自适应、免调参的算法，根据损失梯度在训练过程中设置得分损失权重，仅为标准分类器训练增加极小的开销。我们在涉及网络动力学和空间过程的案例研究中评估了该方法，结果表明，与生成更多训练数据相比，该方法能够以大幅降低的计算成本提升替代模型质量。值得注意的是，在某些情况下，我们的方法仅使训练时间增加不到 1.1 倍，却实现了相当于将训练数据增加 10 倍的下游推断性能。
arXiv:2605.09125v2 Announce Type: replace-cross Abstract: Preliminary low-thrust spacecraft mission design is a global search problem characterized by a complex solution landscape, multiple objectives, and numerous local minima. During this phase, mission parameters are often not yet fully defined, requiring new solutions to be generated at a high cadence across varying parameter values. When combined with the indirect approach to optimal control, diffusion models can accelerate this search by learning distributions that represent high-quality initial costates. However, generating training data remains expensive, and opportunities exist to better exploit past data. We propose a transfer-learning framework that combines homotopy in a mission parameter with Markov chain Monte Carlo (MCMC) to generate training data more efficiently. The approach reformulates a multiobjective optimization problem as sampling from an unnormalized target distribution in costate space. We compare three MCMC algorithms on a planar multi-revolution transfer in the circular restricted three-body problem, with homotopy in the system mass parameter. The results show that gradient-based MCMC variants achieve the best trade-off between sample quality and computational cost. For the test transfer, the proposed framework generates 40 % more feasible solutions and achieves a higher-quality Pareto front than a state-of-the-art indirect approach based on adjoint control transformations and gradient-based optimization. Finally, the MCMC-generated samples are used to fine-tune a diffusion model conditioned on the mass parameter, enabling it to learn a global representation of the underlying solution distribution and efficiently generate new solutions. These findings establish the transfer-learning framework as a practical method for efficiently solving indirect trajectory optimization problems with varying parameters.
arXiv:2605.07505v2 公告类型：replace-cross 摘要：我们提出了 LiteGUI，一种用于构建轻量级 GUI 智能体的新框架。由于复杂任务具有长时程特性，且存在多条有效的交互路径，GUI 交互面临独特挑战，而轻量级 GUI 智能体难以有效应对这些挑战。为解决这些问题，LiteGUI 提出了一种基于已记录 GUI 状态运行的两阶段后训练框架。首先，我们提出 Guided On-Policy Distillation：通过从经人工验证的多解动作标注中选择与当前 GUI 状态最匹配的有效动作，在每个 GUI 状态为训练过程提供教师特权指导，同时保持学生模型的在策略 rollout 不变。其次，我们开发了 Multi-Solution Dual-Level GRPO：在考虑每个已记录 GUI 状态存在多个有效动作的同时，将动作级监督与基于历史条件、按状态进行的规划质量监督相结合。这两个阶段共同支持多步 GUI 任务，而无需学生模型复现固定的示范轨迹。我们进一步开发了可扩展的数据生成流程及相应的多解数据集 Lite-Dataset，以支持 GUI 智能体的训练与评估，弥补现有文献中的空白。在多个 GUI 基准上的大量实验表明，与包括 SFT、在策略蒸馏和 GRPO 在内的现有训练范式相比，LiteGUI 能够显著提升轻量级 GUI 智能体的性能；此外，与规模大得多的模型相比，LiteGUI 也实现了具有竞争力甚至更优的性能。
arXiv:2604.21097v3 公告类型：replace-cross 摘要：混沌现象存在于许多复杂动力系统中，从天气系统到电网皆是如此，但使用机器学习模拟器等数据驱动方法对其进行准确建模十分困难。尽管模拟器是加速仿真和求解逆问题的有力工具，但它们仍难以学习混沌动力学，因为对初始条件的敏感性使得长期精确预测变得不可行，尤其是在数据存在噪声的情况下。近期的研究转而训练模拟器，使其匹配混沌吸引子的统计特性，但这些方法通常依赖人工设计的汇总统计量，或大规模且多样化的多环境数据集。在本文中，我们提出了一系列对抗性最优传输目标函数，能够仅凭单条含噪轨迹，同时学习高质量的汇总统计量和符合物理规律的模拟器。我们从理论上分析并通过实验验证了该方法的 Sinkhorn 散度形式（2-Wasserstein）和 WGAN 风格的对偶形式（1-Wasserstein）。在包括高维时空混沌系统在内的各种混沌系统上进行的数值实验表明，使用我们提出的目标函数训练的模拟器，其长期统计保真度得到了显著提升。
arXiv:2604.07341v4 公告类型：替换交叉 摘要：由于适配新的编程语言（PL）对所需的复杂工程工作量很大，大多数仓库级代码翻译与验证技术都只在单一源语言—目标语言（PL）对上进行了评估。编程智能体能够赋予仓库级代码翻译与验证以语言无关性：它们可以跨多种 PL 综合代码，并自主使用针对各 PL 的现有分析工具。然而，现有最先进的方法尚未提供一种完全自主的智能体方法，用于大规模程序的仓库级代码翻译与验证。本文提出 ReCodeAgent，一种面向语言无关仓库级代码翻译与验证的自主多智能体方法。用户只需提供源 PL 中的项目并指定目标 PL，ReCodeAgent 即可自动翻译并验证整个代码仓库。ReCodeAgent 是首个在多种 PL 上实现高翻译成功率的技术。我们将 ReCodeAgent 与另外四种神经符号和智能体方法进行比较，使用它们翻译 118 个真实世界项目；每个项目平均包含 1,975 行代码（LoC）和 43 个翻译单元。这些项目涵盖 6 种 PL 和 4 个 PL 对。结果表明，在翻译正确性方面，ReCodeAgent 始终优于以往技术：在真实值测试上，测试通过率提高了 60.8%，平均成本为 15.3 美元。我们还对 ReCodeAgent 的运行轨迹进行了以过程为中心的分析，以确认其过程效率。最后，我们研究了设计选择（多智能体架构与单智能体架构）如何影响 ReCodeAgent 的性能：平均而言，测试通过率下降了 40.4%，运行轨迹变长了 28%，并且持续表现出低效率。
arXiv:2604.04328v4 Announce Type: replace-cross Abstract: Soft Tournament Equilibrium (STE) is a differentiable layer for Top-Cycle (TC) and Uncovered-Set (UC) inference from reciprocal pair probabilities. Normalized log-sum-exp reachability and covering give smooth scores with approximation, perturbation, and margin-recovery bounds. We distinguish structural supervision, posterior uncertainty, and the final set decision through controlled synthetic studies and reconstruction of recorded ordinal profiles. Matched-epoch training improves F1 under a common structural readout, but a separate equal-budget soft-UC comparison does not demonstrate an advantage. A prospective equal-budget hard-UC study improves selective F1 at 24 alternatives from 0.6327/0.6292 for ordinary/relational native heads to 0.6676, while exact recovery remains only 1.16%. On 36 human profiles held out by source, a separate exploratory comparison favors Jeffreys posterior inference over learned independent-edge and mixture distributions in native expected-F1 decoding (0.8742 versus 0.8704/0.8366). Only three references are non-singleton selective cores. Completion certificates and full-depth TC diagnostics clarify additional identification, smoothing, and computational limits. The evidence supports conditional synthetic overlap gains, while preserving the soft-set null and the absence of a demonstrated learning advantage over strong count-based human-profile controls.
arXiv:2604.04246v2 Announce Type: replace-cross Abstract: This paper extends the Transmission Neural Network model proposed by Gao and Caines in [1]-[3] to incorporate inhibitory connections and neurotransmitter populations. The extended network model contains binary neuronal states, transmission dynamics, and inhibitory and excitatory connections. Under technical assumptions, we establish the characterization of the firing probabilities of neurons, and show that such a characterization considering inhibitions can be equivalently represented by a neural network where each neuron has a continuous state of dimension 2. Moreover, we incorporated neurotransmitter populations into the modeling and establish the limit network model when the number of neurotransmitters at all synaptic connections go to infinity. Finally, sufficient conditions for stability and contraction properties of the limit network model are established.
arXiv:2603.12717v3 公告类型：替换交叉版本 摘要：视觉-语言-动作策略将摄像头图像和自然语言指令映射为机器人的运动动作。其中一些策略被设计为在行动前先以文本进行推理，生成一条推理链，并根据该推理链解码动作。提出这种设计的研究将推理链作为一种监督接口：人可以阅读和编辑其中的文本，以纠正策略。编辑后的推理链会对策略的运动动作产生什么影响——是修复动作还是破坏动作——此前仅得到部分测量。我们通过将确定性实体替换应用于策略接收的指令以及策略生成的推理链，同时测量修复和破坏这两个方向。在四个 LIBERO 仿真套件中涵盖 40 项任务的观测结果表明，当目标仅由语言决定时，破坏推理链的代价最为集中。在这种情况下，我们在 LIBERO-Goal 上使用 DeepThinkVLA 进行反事实干预，选择它是因为其推理链以纯文本形式公开。策略接收一条被破坏的指令，但其推理链被替换为该指令保持干净时策略生成的推理链。这条反事实正确的推理链挽回了损失成功率中的 47.8 个百分点，这是我们预注册的验证性检验。如果推理链仅仅复述摄像头图像已经确定的信息，那么替换它本来可能不会产生任何影响。然而，全部 10 项任务都朝着预测方向变化，尽管成功率仍比干净运行低 38.0 个百分点，而我们此前预测的差距为 5–15 个百分点。因此，推理链确实是一种有效的控制面：写入其中的文本会驱动机器人，文本正确时修复其行为，文本错误时破坏其行为。是否公开这种控制面是部署时需要权衡的问题，而其中一部分影响如今已经可以测量。
arXiv:2603.08706v2 公告类型：replace-cross 摘要：模仿学习（IL）教会语言模型智能体复现专家动作，却无法教会它们区分专家动作与看似合理的错误。自我反思方法让模型接触备选方案，但仍使用监督微调（SFT）去模仿固定的推理过程和动作。我们提出 Agentic Critical Training（ACT），利用带可验证奖励的强化学习（RLVR）直接训练模型判断动作。在每个专家轨迹状态下，ACT 将一个专家动作与一个从初始策略中采样的备选动作配对，并随机化二者的顺序。模型生成自己的推理过程，但只有选择专家动作才能获得奖励。ACT 重用演示数据，不需要参考推理过程，并允许在不同模型规模之间复用动作对。ACT 可作为 IL 之前的预热阶段，也可以选择在其后接入 RL；推理时不需要比较候选项。在 ALFWorld-ID、WebShop 和 ScienceWorld 上使用 Qwen3-8B 和 Olmo-3-7B-Instruct 进行的实验表明，与 IL 相比，ACT 平均提升 5.85 分；与不使用 ACT 的 IL$\to$RL 相比，平均提升 4.12 分，同时还能改善 ALFWorld-OOD 上的表现。在 ScienceWorld 上使用 Olmo 时，完整流程相比 CoT 提示提升 15.36 分，相比不使用 ACT 的 IL$\to$RL 提升 9.23 分。ACT$\to$IL 和完整流程均优于监督式反思基线。采用固定动作对或匹配训练时长的对照实验表明，性能提升源于 ACT 目标，而不是额外数据或训练过程。无需针对推理进行专门的后训练时，独立的 ACT 检查点在 MATH-500 和 GPQA-Diamond 上取得了所评估模型中的最高平均分，表明动作比较能够补充生成能力。
arXiv:2602.24230v2 公告类型：替换交叉版本 摘要：在概率分类中，校准误差（CE）衡量预测概率 $f(X)$ 与 $\mathbb{P}(Y|f(X))$ 之间的平均差异，其中后者是针对该预测概率的真实类别分布。校准误差是一种有用的诊断工具，但很难估计：流行的基于分箱的估计器通常不一致，并且在类别数超过两个时扩展性较差。近期研究将 CE 重写为模型相对于其自身预测结果的最佳再校准所产生的超额风险，并使用适当损失进行度量。然而，这种方法仅适用于基于 Bregman 散度的校准误差（如平方误差），无法处理更为常用的基于 $L_1$ 距离的 CE。我们表明，使用依赖于预测的适当评分可以缓解这一限制，从而能够利用一般凸散度估计 CE，其中包括在二分类和多分类场景下具有封闭形式损失的 $L_p$ 距离。为估计超额风险，我们引入了一种更准确的再校准器：通过梯度提升，将残差拟合到温度缩放结果上。所得的变分估计器 V-ECE 无需分箱或聚类，并且在期望意义下为真实校准误差提供下界。在一个由真实分类器构建、且真实 CE 已知的半合成任务基准上，对于每一种校准误差，V-ECE 都是最准确的二分类估计器之一，并且显著优于所有多分类估计器。我们的研究还给出了关于 $L_p$ CE、估计器偏差以及过度自信或信心不足估计的补充理论。
arXiv:2602.03762v5 Announce Type: replace-cross Abstract: Visually-guided acoustic highlighting seeks to rebalance audio in alignment with the accompanying video, creating a coherent audio-visual experience. While visual saliency and enhancement have been widely studied, acoustic highlighting remains underexplored, often leading to misalignment between visual and auditory focus. Existing approaches use discriminative models, which struggle with the inherent ambiguity in audio remixing, where no natural one-to-one mapping exists between poorly-balanced and well-balanced audio mixes. To address this limitation, we reframe this task as a generative problem and introduce a Conditional Flow Matching (CFM) framework. A key challenge in iterative flow-based generation is that early prediction errors -- in selecting the correct source to enhance -- compound over steps and push trajectories off-manifold. To address this, we introduce a rollout loss that penalizes drift at the final step, encouraging self-correcting trajectories and stabilizing long-range flow integration. We further propose a conditioning module that fuses audio and visual cues before vector field regression, enabling explicit cross-modal source selection. Extensive quantitative and qualitative evaluations show that our method consistently surpasses the previous state-of-the-art discriminative approach, establishing that visually-guided audio remixing is best addressed through generative modeling.
arXiv:2512.16545v3 Announce Type: replace-cross Abstract: Cu NPs have a broad applicability, yet their synthesis is sensitive to subtle changes in reaction parameters. This sensitivity, combined with the time- and resource-intensive nature of experimental optimization, poses a major challenge in achieving reproducible and size-controlled synthesis. While ML shows promise in materials research, its application is often limited by scarcity of large high-quality experimental data sets. This study explores ML to predict the DLS-derived hydrodynamic diameter of Cu NPs using a small data set of 25 syntheses. Latin Hypercube Sampling is used to efficiently cover the parameter space while creating the experimental data set. Ensemble regression models successfully predict hydrodynamic diameters with good predictive performance given the limited dataset. Since quantitative regression requires a unique DLS-derived hydrodynamic diameter, the regression model is restricted to mono-modal DLS distributions, while a complementary classification model identifies synthesis conditions for which quantitative prediction is applicable. Using equivalent out-of-sample validation, the ML and DoE models showed comparable generalization. The final ensemble model achieved an R2=0.74 compared to 0.60 for the DoE model, while retaining the complete synthesis parameter space, making it better suited for synthesis guidance. Additionally, classification models using both random forests and LLMs are evaluated to distinguish between large and small particles. These classification models exhibited only modest predictive performance, indicating that this small dataset is insufficient to fully exploit the capabilities of complex LLMs. Overall, this study demonstrates that carefully curated small data sets, paired with robust classical ML, can effectively support the synthesis of Cu NPs and highlights that for lab-scale studies, complex models like LLMs may offer limited benefits.
arXiv:2512.13892v3 公告类型：替换交叉 摘要：可靠地估计机器学习模型中的特征贡献，对于实现透明性、算法公平性和监管合规至关重要。尽管置换特征重要性被广泛使用，但经典实现依赖反复进行 Monte Carlo 随机打乱，从而带来显著的计算开销和随机不稳定性。本文表明，用单个最大-最小秩最优的确定性排列替代 $B$ 个随机排列，在消除估计方差的同时，能够保持或提高与真实重要性的相关性，并将复杂度从 $O(B \cdot n \cdot p)$ 降低至 $O(n \cdot p)$。对于位置-尺度特征分布，我们形式化证明了该方法能够精确恢复经尺度调整的线性回归系数；在模型敏感性为凹函数的情况下，还能改善重要性估计。我们沿着两个互补维度扩展了这一确定性框架。首先，Systemic Feature Importance（SFI）整合经验特征相关性，通过代理变量量化对特征的间接依赖。其次，Importance Direction 通过衡量协变量位移与输出变化之间的一致性，将标量重要性扩展为带符号的方向性表示。在近 200 个模拟场景中的广泛实证验证表明，在高维和低信噪比情形下，该方法具有更优的偏差-方差权衡。最后，两个真实世界的信用风险案例研究表明，将 SFI 与 Importance Direction 结合，能够帮助从业者和监管机构同时审计模型对受保护属性的隐性依赖程度及其净方向，从而为模型治理提供一种有原则、透明且可扩展的框架。
arXiv:2512.00665v2 公告类型：replace-cross 摘要：我们研究利用非线性独立成分分析（ICA）从数据中学习解耦信号的问题。受自监督学习进展的启发，我们提出学习自足信号：给定一个恢复信号的其余取值，观测其他信号不应改变其缺失值的条件分布。我们将这一问题表述为最小化条件 KL 散度。我们的算法无需先验且无需似然，即既不规定参数化的源密度，也不规定观测似然。为解决 KL 散度最小化问题，我们提出一种序贯算法，在每次迭代中学习一个解混流模型；并证明，对于具有精确速度和总体投影条件的理想化 Wasserstein 梯度流变体，总相关性会局部下降。这种方法完全避免了不稳定的对抗训练，而后者是最小化 KL 散度时常见的问题。在玩具数据集和真实世界数据集上的实验表明，我们的方法是有效的。
arXiv:2510.18239v4 公告类型：replace-cross 摘要：扩展大型推荐系统需要推进三个主要方向：处理更长的用户历史记录、扩大候选集，以及提升模型容量。尽管前景可观，transformer 的计算成本会随用户序列长度呈二次增长，并随候选数量呈线性增长。这种权衡使得在推理阶段扩大候选集或增加序列长度的成本高得难以承受，尽管这些做法能带来显著的性能提升。我们提出了 \textbf{LIME}，一种解决这一权衡的新型架构。通过两项关键创新，LIME 从根本上降低了计算复杂度。首先，低秩“链接嵌入”通过解耦用户与候选项之间的交互，使注意力权重能够预先计算，从而使推理成本几乎不受候选集大小影响。其次，线性注意力机制 \textbf{LIME-XOR} 将关于用户序列长度的复杂度从二次方（$O(N^2)$）降至线性（$O(N)$）。在公开数据集和工业数据集上的实验表明，LIME 达到了与当前最先进 transformer 几乎相当的性能，但在大规模候选集或较长序列长度下，推理速度提升了 10 倍。在某大型推荐平台上的测试中，LIME 在保持候选集大小和用户历史长度相关推理成本极低的同时，提高了用户参与度，为高效且富有表现力的推荐系统确立了新的范式。
arXiv:2509.16525v2 公告类型：替换交叉版本 摘要：机器学习模型正日益作为软件组件部署，并且必须随着需求变化而演进。当特定训练记录或特征不应再影响已部署模型时，机器遗忘旨在移除这种影响，而无需从头开始重新训练。由于机器遗忘通常是近似的，因此必须对其有效性进行测试。这类测试往往必须将模型视为黑盒，无法访问其参数、训练历史或遗忘过程。特征带来了进一步的挑战：即使某个特征已从模型输入中移除，其影响仍可能通过下游特征持续存在。许多现有检查只考察特征的直接使用，因此可能会将仍然依赖该特征的模型判定为合格。我们将遗忘测试定义为基于规范的测试，并提出 CAF\'E。该方法仅利用已部署模型的预测结果，对特征进行干预，将变化传播至其下游特征，并检查预测结果是否仍会作出响应。CAF\'E 通过直接和间接的因果路径测量目标的残余影响，其细粒度诊断还能显示哪些通道和子群体仍在传递该影响。在两个因果网络基准和四种遗忘方法上，CAF\'E 对残余影响的成对排序准确率达到 0.92--0.93，而现有检查最高仅为 0.71；后者在两个方向上都会失效：一方面，它们会将影响仍通过下游特征持续存在的模型判定为合格；另一方面，也会将已正确遗忘的模型误报为不合格。在真实人口普查数据上，CAF\'E 同样揭示了在重新训练后仍然存在、却未被直接输入检查发现的影响。
arXiv:2508.12466v3 公告类型：替换交叉版本 摘要：连接预训练视觉模型和语言模型通常需要将图像特征投影到语言模型的输入空间中。Inverse-LLaVA 在解码器注意力中反转了这一映射：将语言状态投影到视觉特征维度，并通过模态特定映射生成查询、键和值的残差更新。融合模块与低秩适配（LoRA）利用 665K 条视觉指令进行联合学习，骨干网络保持冻结，且无需单独的对齐阶段。在九项主要基准评测中，最终的 7B 模型在多项任务上接近两阶段 LLaVA-1.5。在 VQAv2 上，其得分为 78.45%，而官方 LLaVA-LoRA 为 79.13%；在 VizWiz 上则为 50.96%，高于后者的 48.56%；TextVQA 得分较低，为 56.96%，而后者为 58.47%。受控实验考察了融合组件、插入深度、视觉特征和语言模型规模。表示分析表明，文本映射保留了成对相似度排序中的大部分信息，同时改变了其几何分布范围。额外的配对监督提升了名人识别能力，而指令重放修复了由字幕引起的答案格式错误。分析性计算成本表达式和固定工作量配置文件将额外的融合计算与省略的对齐阶段区分开来。这些发现表明，文本到视觉的注意力融合是仅使用指令进行多模态适配的一种实用替代方案。
arXiv:2508.08833v4 Announce Type: replace-cross Abstract: Frontier large language models (LLMs) now reach near-ceiling accuracy on standard mathematical-reasoning benchmarks and gold-medal-level performance at the International Mathematical Olympiad. As these benchmarks saturate and their items leak into training data, a high score no longer shows whether a model reasons robustly or which component of its reasoning fails. To evaluate reasoning while keeping results informative and failures diagnosable, we propose GAP (Generalisation-and-Perturbation), a methodology that automatically generates mathematically equivalent variants of existing mathematics problems at scale using two disjoint, interpretable transformations: (1) surface renames, probing the binding between identifiers and latent variable roles, and (2) kernel rewrites, probing whether a high-level proof plan survives a change of mathematical setting. Compared with existing benchmarks, GAP has two key benefits: (1) novel, likely unseen variants mitigate data leakage, and (2) performance across transformation families enables failure diagnosis, each transformation testing a hypothesis about the cause of failure. We instantiate GAP on all 1,051 William Lowell Putnam Competition problems from 1938 to 2024, adding 5,255 unseen variants to form PutnamGAP, a 6,306-item competition-level mathematics corpus and the first public machine-readable dataset from the full Putnam archive. Using PutnamGAP, we evaluated 18 commercial and open-source models spanning sizes and providers. Accuracy drops across all models and variant families, most severely under kernel rewrites. This gap does not close with model strength, suggesting that even the strongest models' dominant weakness is transferring a proof plan to a changed mathematical setting, rather than handling surface changes. Further analysis provides finer failure diagnoses and potentially useful insights for improving LLM reasoning.
arXiv:2507.13835v2 公告类型：replace-cross 摘要：在许多机器学习任务中，高质量数据的数量受限于数据所有者本地可获得的数据。通过与外部数据代理进行交易或共享，可以扩展高质量数据集。然而，外部数据可能受到污染，或引入不理想的样本多样性，从而降低个性化机器学习任务的性能，例如罕见疾病诊断或推荐系统。因此，数据购买者在获取数据之前需要质量保证。以往研究主要依赖关于不同代理所持数据的分布假设，将质量检查 relegated to 事后步骤，并涉及成本高昂的数据估值流程。我们提出一种无分布假设且具备污染感知能力的数据获取框架，该框架仅通过检查少量数据，便可识别出对模型个性化最有价值的外部数据代理。为实现这一目标，我们引入了新颖的双样本检验程序，在完整获取数据之前执行，并以关于共形异常值检测的严谨理论基础为依据，用于确定某个代理的数据是否超过污染阈值。所提出的检验称为共形数据污染检验，在任意污染水平下均保持有效；此外，新颖的 Storey-type 检验可通过 Benjamini-Hochberg 程序，在有限样本条件下实现可证明的错误发现率控制。在多种协作学习场景中的实证评估表明，我们的方法具有稳健性和有效性。总体而言，共形数据污染检验是一种通用的数据聚合程序，能够提供具有严格统计保证的数据质量保障。
arXiv:2506.15971v2 公告类型：替换交叉版本 摘要：无监督域适应（UDA）能够有效弥合有标注源域与无标注目标域之间的域差异，但其前提是假设两个域具有相同的模态。异构域适应（HDA）则处理跨域的不同特征空间，但要求目标域样本带有标注，或存在连接源域与目标域的配对数据。当有标注源域和完全无标注目标域分别具有完全不同的模态（例如二维图像和三维点云）时，上述两种方法均不适用。为解决这一局限，我们提出了一种新的设置，称为异构模态无监督域适应（HMUDA）。该设置通过一个无标注桥接域跨模态迁移知识，其中包含来自两种模态的配对观测，且其分布可能偏离源域和目标域的分布。为在HMUDA设置下进行学习，我们提出了Latent Space Bridging（LSB），这是一种双分支框架：通过对桥接域配对样本施加特征一致性损失来缩小模态差异，并通过类别质心对齐损失来减小源域与目标域之间的差异。在涵盖二维到三维和三维到二维迁移的八种基准设置上进行的大量实验表明，LSB达到了最先进的性能。
arXiv:2506.06410v4 公告类型：替换交叉版本 摘要：我们介绍了 Delphos，这是一个用于辅助离散选择模型设定过程的深度强化学习框架。Delphos 旨在通过提供自动化、数据驱动的模型设定建议来支持建模者，从而减少开发和完善效用函数所需的工作量。Delphos 将模型设定视为一个序贯决策问题，其设计灵感来自人类离散选择建模者通过一系列有依据的设定决策迭代构建模型的方式。在这一设定下，智能体通过选择一系列建模操作来学习设定候选模型，例如添加备选项特定常数、同时纳入通用和备选项特定的偏好参数、对属性应用非线性变换，以及加入与协变量的交互项。每个生成的候选模型都会依据由建模者定义的奖励函数进行估计和评估，该奖励函数既可以反映统计模型拟合优度，也可以体现行为预期。具体而言，Delphos 使用 Deep Q-Network 来学习各项模型设定决策如何影响最终生成模型的质量，以及哪些建模决策序列倾向于产生表现良好的候选模型。我们使用不同的奖励函数，在模拟数据集和实证数据集上对 Delphos 进行了评估。在模拟案例中，学习曲线、Q 值模式和性能指标表明，Delphos 只探索了可行建模空间中的很小一部分，就学会了有效的模型设定策略。我们进一步将该框架应用于两个实证数据集，以对其进行基准测试并展示其实际用途。这些实验表明，Delphos 能够生成具有竞争力且符合行为规律的模型，并凸显了这一自适应学习型框架辅助模型设定过程的潜力。
arXiv:2505.24311v3 Announce Type: replace-cross Abstract: We study the large-sample variational problem for t-distributed stochastic neighbor embedding with a class of input and output kernels. The input law has compact support and a density continuous on that support. An entropy equation determines the scale parameter in the input kernel, and we prove that this parameter exists and is unique at interior points of positive density. We then give sufficient conditions for solutions to exist and be uniformly bounded on the entire support. Under these conditions and a decay assumption on the output kernel, the discrete optimal values converge to a continuum minimum. Empirical measures of approximate minimizers are tight after translation; every subsequential limit is a compactly supported minimizer satisfying the equilibrium equation. The admissible output kernels include Gaussian kernels and, in output dimension two, the Cauchy kernel. Numerical examples compare the two-dimensional representations obtained with different kernels.
arXiv:2504.12392v3 Announce Type: replace-cross Abstract: Archetypal analysis (AA) was originally proposed in 1994 by Adele Cutler and Leo Breiman as a computational procedure for extracting distinct aspects, so-called archetypes, from observations, with each observational record approximated as a mixture (i.e., convex combination) of these archetypes. AA thereby provides straightforward, interpretable, and explainable representations for feature extraction and dimensionality reduction, facilitating the understanding of the structure of high-dimensional data and enabling wide applications across the sciences. However, AA also faces challenges, particularly as the associated optimization problem is nonconvex. This is the first survey that provides researchers and data mining practitioners with an overview of the methodologies and opportunities that AA offers, surveying the many applications of AA across disparate fields of science, as well as best practices for modeling data with AA and its limitations. The survey concludes by explaining crucial future research directions concerning AA.
arXiv:2502.02679v3 Announce Type: replace-cross Abstract: Approximation and learning of classifiers of large data sets by neural networks in terms of high-dimensional geometry and statistical learning theory are investigated. The influence of the VC dimension of sets of input-output functions of networks on approximation capabilities is compared with its influence on consistency in learning from samples of data. It is shown that, whereas finite VC dimension is desirable for uniform convergence of empirical errors, it may not be desirable for approximation of functions drawn from a probability distribution modeling the likelihood that they occur in a given type of application. Based on the concentration-of-measure properties of high dimensional geometry, it is proven that both errors in approximation and empirical errors behave almost deterministically for networks implementing sets of input-output functions with finite VC dimensions in processing large data sets. Practical limitations of the universal approximation property, the trade-offs between the accuracy of approximation and consistency in learning from data, and the influence of depth of networks with ReLU units on their accuracy and consistency are discussed.
arXiv:2501.09223v4 Announce Type: replace-cross Abstract: This is a book about large language models. As indicated by the title, it primarily focuses on foundational concepts rather than comprehensive coverage of all cutting-edge technologies. The book is structured into six main chapters, each exploring a key area: pre-training, generative models, prompting, alignment, inference, and reasoning. It is intended for college students, professionals, and practitioners in natural language processing and related fields, and can serve as a reference for anyone interested in large language models.
arXiv:2610.05490v2 公告类型：替换 摘要：生成流通过训练流使其达到平衡，从而从未归一化目标分布中采样，而训练损失正是实践者所关注的信号。我们探讨这一信号究竟有多大价值：较小的损失是否能保证采样器准确，损失能否降至零，以及梯度下降达到这一目标的速度。损失决定了第一个问题的答案。通过差值比较平衡两侧的损失，能够以总变差距离界定流所隐含采样器的误差，并且界中的常数是显式的，不涉及策略；而通过比值进行比较的流匹配损失则不存在这样的界，即使在单个环上，只要其生成器在平衡点处连续，也已经如此。在图上，反向策略决定了另外两个问题的答案。一旦将其固定，平衡就等价于反向链下的不变性，因此在有限图上存在性是自动满足的；而一个常数——该反向链的格林算子范数，它所发挥的作用类似于谱隙的倒数——决定了平衡流附近损失曲率的上下阶，并为训练在其附近的收敛速度设定下限。其作用机制在于，梯度下降沿着反向策略对流进行扩散。对于详细平衡和轨迹平衡的平方对数生成器，在任意有限、路径连通的图上，从任意正初始化出发，在状态上训练平衡损失都能全局收敛。当反向轨迹的平均长度较短时，该常数仍可能为无穷大，此时精确流匹配可能失败。我们通过在可枚举状态空间上的精确计算检验了这些界和收敛速率，并且每个定理都带有由 Lean~4 开发计算出的认证状态。
arXiv:2610.05476v2 公告类型：替换 摘要：去中心化学习的规模扩展改变的不仅是客户端数量 $N$，还包括信息传播与共识的动态。我们认为，增加 $N$ 的影响无法孤立地理解，因为数据分配、依赖拓扑的混合过程以及通信容量可能会同时发生变化。我们在 CIFAR-10 上研究了这些耦合效应，取 $N\in\{10,50,100,200\}$，比较了二度 Ring、Static Random 图以及 Local-First Heuristic Evolution (LFHE)——一种基于“朋友的朋友”发现机制的局部自适应拓扑过程。Ring 提供了一种在解析上清晰的失效模式：其 Metropolis 谱隙按 $\Theta(N^{-2})$ 衰减，这意味着随着群体规模扩大，模型分歧的收缩会逐渐变慢。实验表明，当保持名义上的本地数据集大小不变时，将固定总数据集划分给更多客户端所导致的表面上的规模惩罚会显著减小。剩余的性能下降高度依赖通信结构：Ring 会进入高分歧状态，而 Static Random 和 LFHE 则仍接近共识。进一步提高 LFHE 的度阈值可以改善准确率和共识程度，但模型传输成本也会大幅增加。这些结果表明，去中心化扩展由学习与通信的耦合动态所支配，而不仅仅取决于客户端数量。
arXiv:2610.05196v2 Announce Type: replace Abstract: Risk regulation imposes directional constraints on scores; we adopt their strict per-input form -- the score monotone non-decreasing in every exposure input -- as a normative commitment. Deployed pipelines -- monotone hand-crafted aggregates feeding sign-constrained gradient boosting -- already satisfy it by composition, so constrained-versus-unconstrained comparisons price a guarantee the incumbent has for free. We instead hold admissibility fixed on both sides and measure what learning the aggregation is worth. Our instrument is a recurrent network whose state is classical risk statistics (an exponentially weighted moving average and a high-water mark with learned transforms), monotone by construction in every input and per MC-dropout sample. The central finding, by functional regression, is a subsumption boundary: a learned monotone channel reproduces the geometrically weighted separable family of hand-crafted statistics, one channel per member, to Spearman $\rho \ge 0.996$, approximates window statistics with measurable ceilings, and fails at consecutivity ($\rho = 0.924$) and time localization (0.628), both structural, and at the exposure floor (0.829), a learnability boundary. One explicit admissible basis repairs each failure (rank correlation 1.000). In or near the separable family, learned and engineered aggregation are substitutes, and the learned channel is never statistically behind at full sample size and specified capacity. Its advantages are incumbent-specific: a committed grid pays up to 0.019 AUC in decay regions it leaves uncovered (the learned channel stays within 0.004 of the strongest engineered consumer at every swept point); the highest-dimensional comparator degrades fastest with scarce data; and beyond the training support, grid-fed tree-ensemble scores go flat while a strictly increasing head keeps ranking. No single incumbent is dominated on all three axes.
arXiv:2610.04988v2 Announce Type: replace Abstract: Latent world models plan by rolling a frozen predictor forward under candidate action sequences and ranking the candidates by the latent distance between their imagined end state and the goal. However, this ranking breaks down when the goal lies several plans away, because the latent distance measures how closely an end state resembles the goal rather than how far it remains from reaching it. To address this, we propose TEMPO, a temporal-distance planning objective that leaves the world model untouched, learns only from the recorded trajectories already used to train it, and adds negligible cost to the planner's search. TEMPO learns a small map of the frozen latent in which the distance between two states of an episode reflects the number of environment steps between them, and blends this distance into the planner's cost. It requires no rewards, policies or success labels and, being a cost rather than a model, applies to frozen world models with one latent vector per state that plan by a latent distance. We evaluate TEMPO on eleven simulated environments (e.g., maze navigation, tabletop pushing, robotic arm control and three-dimensional manipulation) with the LeWM and PLDM planners. With a small MLP that adds at most 0.3% to a plan's arithmetic, TEMPO improves both planners at every goal distance, including the one-plan setting of their evaluations, raises LeWM from 36% to 99% on TwoRoom three plans from the goal, and remains competitive on a broad range of 2D and 3D navigation, reaching and manipulation tasks.
arXiv:2609.33563v2 Announce Type: replace Abstract: World models improve sample efficiency by training policies on imagined trajectories, but their usefulness depends on learning representations that capture the information needed for future control. We study whether self-supervised joint-embedding prediction (JEPA) can provide this learning signal for multi-agent reinforcement learning. We introduce MA-JEPA, a stochastic world model that replaces observation reconstruction with prediction of target representations, enabling model-based multi-agent reinforcement learning with centralized training and decentralized execution. A categorical latent state and a causal Transformer are trained with posterior and action-conditioned dynamics prediction objectives and are then used for actor-critic learning from latent imagination. A training-only joint predictor conditions on all agents' local states and actions to predict each agent's next local observation embedding. These predictions are passed through the same local posterior used during real interaction with a centralized critic that is used only for value learning, with execution remaining decentralized. Our experiments show that this architecture performs strongly on SMAC, matching or exceeding the strongest reported comparator mean win rate on four of eight evaluated maps.