00:55 arXiv cs.AI 82
当前的机器人学习方案需要大量机器人示范，才能获得稳健且具备适应性的策略。在本文中，我们介绍了 Steertuning，这是一套能够让机器人仅通过 5 段人类示范，在不到 5 分钟内于新环境中学习新任务的系统。Steertuning 由两部分组成。（1）我们在自建的第一视角人类数据集上预训练了一个拥有 4 亿参数的扩散策略模型。该数据集包含 100 小时经过密集标注的随机交互数据。这种预训练使 Steertuning 能够适应背景差异，并在部署到新任务时实现空间泛化和物体泛化。（2）给定新任务的 5 段示范后，我们仅用 2 分钟（2000 次训练更新）对模型进行微调，并在反向采样过程中，使用观测结果与部署环境最接近的示范来引导策略的动作。结合专为本体迁移设计的数据处理流程，Steertuning 在 12 个新环境中的 12 项任务上取得了 71% 的成功率，这些环境涵盖实验室场景和新住宅中的厨房。从新任务的数据采集到机器人策略部署，整个过程耗时不到 5 分钟。我们的完整数据集、模型权重、代码库和机器人视频将在我们的网站上公开：https://steertuning.github.io。
01:50 arXiv cs.AI 82
预训练大语言模型（LLMs）在零样本和少样本设置下的许多任务中表现出色。对于低资源语言的机器翻译，显而易见的选择是少样本提示和在小规模平行语料集上进行微调。我们提出一个问题：如果还能获得适量的低资源语言单语数据，情况会如何？我们认为，与继续预训练相比，更有效的利用方式是采用 LLM 出现之前的回译（BT）技术。当前经过微调的 LLM 对各语言的单语句子进行翻译，再利用生成的句对训练其反向翻译能力。训练过程中交替使用平行语料集进行更新，以保持学习的稳定性。在奥里亚语和斯瓦希里语上使用 1,000 个平行句对时，BT 在领域内翻译成低资源语言的任务上，比继续预训练高出 7.7 至 16.4 个 XCOMET-XXL 分数点。采用束搜索解码生成中间译文时，它还优于使用 10 倍平行数据的模型。从平行数据中检索得到的上下文示例可进一步提升 BT 的效果。我们还分析了单语文本的来源、质量和数量。在五种低资源语言上，以印地语作为高资源语言对照，并使用两个 3B 骨干模型，BT 相较于仅使用平行语料进行微调，使译入低资源语言的 XCOMET-XXL 分数提高了 16% 至 173%。针对奥里亚语和梵语的人工盲评结果与自动评估指标一致。
01:59 arXiv cs.AI 82
长时域智能体凭借能够自主执行具有经济价值的任务而日益受到关注，其工作时长可从数小时持续到数天。这一能力对于自动化发现和递归自我改进（RSI）至关重要。然而，开源模型在长时域任务上仍然表现不佳，主要原因在于缺乏训练数据和可行的训练方案，而同时扩展这两者十分困难：长而复杂的任务难以整理和验证，且其奖励通常十分稀疏。我们同时解决了这两个问题。首先，我们推出了 Tev-Gym，这是首个具备可验证、稠密且渐进式奖励的长时域智能体训练数据集，涵盖 7 个领域的 1,170 个已验证任务环境。该数据集采用“潜在世界优先”的方法构建：首先建立一个潜在世界，即对任务领域、工作流以及每一步之后预期状态的完整且正确的隐藏规范。随后，每个任务都根据该规范逐步呈现为面向智能体的环境，从而实现可控的复杂度和自然的进度指标。其次，我们将这一指标转化为训练方案：通过进度势能奖励塑形（PPRS），将进度转化为每一步的稠密奖励，从而提高训练效率，并使原本难以训练的任务变得可训练。采用该方案训练得到的 Tev-27B，在 Agents' Last Exam 的计算与数学科学领域（ALE-CM）上取得了显著提升，在 Pass@5 指标上达到 GPT-6 Astra 和 Claude Opus 5 的水平。尽管仅使用与 ALE 相关的数据进行训练，它仍能泛化到 Terminal-Bench（TB）3.0 和 4.0 子集，超过 GLM 5.2 和 Gemini 3.7 Flash，并在 TB 2.1 等中等时域任务上达到 Claude Opus 4.8 的性能水平。
01:59 arXiv cs.AI 80
在视觉-语言-动作（VLA）预训练过程中，应如何利用示范质量来提升目标任务微调后的性能？我们使用 5,000 条自然产生的次优人类示范和 24 个目标任务，在不同奖励定义和标签粒度下比较了加权、过滤和条件化方法。对于每个 VLA，我们确保各方法使用相同的示范和训练预算。其他比较还考察了预训练数据规模，以及质量标签在微调和推理过程中的作用。在三个 VLA 上，我们发现：感知接近过程的回合级条件化相较于普通行为克隆提高了平均成功率；平均而言，条件化和过滤分别更适合回合级标签和片段级标签，但具体模型上也会出现相反的结果；在条件化预训练之后，无论推理时是否使用标签，采用固定标签进行微调都能提高平均成功率。我们推出了 AXIS-Bench，以支持这些受控比较。该基准基于众包仿真示范构建，提供了记录的物体状态和接触状态，可用于在共享轨迹上重新计算质量标签。可回放轨迹支持与工作空间对齐的渲染，以及用户自定义的真实世界目标任务。在我们的真实世界实验中，仿真预训练将成功率从 9.6% 提升至 31.7%。项目页面：https://axis-bench.github.io/。
12:21 arXiv cs.AI 79
尽管后训练能够显著提升模型性能，但对海量未公开数据的使用引发了人们对基准污染和版权侵权的担忧。这推动了人们对后训练模型训练数据检测的日益关注。现有的训练数据检测评估通常采用事后构建的基准，这可能引入分布偏移。另一种做法是依赖小规模训练设置进行受控评估，但这类设置与真实的后训练环境存在差异。因此，其报告的性能可能无法准确反映检测方法在现实场景中的有效性。为此，我们提出 \textsc{\method}，这是一个可靠的基准，旨在真实的大规模后训练环境中评估检测方法。基于多阶段流程，\method\space 涵盖了整个后训练生命周期中的各阶段模型，包括 SFT、DPO 和 RL。为了进行可靠的评估，我们针对四项多样化任务构建了特定于模型的评估集，其中包含分布匹配的成员样本和非成员样本，并为其提供可验证的成员资格标签。结果显示，即使是表现最佳的方法，在我们的基准上取得的平均 AUC 也仅为 0.529，接近随机猜测水平（0.5）。此外，我们的分析表明，评估协议会显著影响测得的检测性能。这些发现凸显了在真实场景下开发有效、实用且稳健的检测方法的巨大潜力。
23:26 arXiv cs.AI 79
表格基础模型通过上下文学习（ICL）适应新数据集，并且和大多数 Transformer 一样，将计算深度与独立参数化层的数量绑定在一起。我们探讨这样一个问题：此类模型的 ICL 阶段是否需要每一层都有一组不同的参数，还是只需要增加深度。我们引入 Tab-Loop，以4个共享参数的模块重复执行 $k$ 次，替代 TabICLv2 中12个参数不共享的 ICL 模块，其他部分完全不变：编码器、解码器、合成先验和训练方案均与一个在相同计算量下训练的非共享参数基线保持一致。在预训练计算量相同（18.2 EFLOP）、推理计算量相同（应用模块12次）的条件下，Tab-Loop 的参数量减少62%，但性能与基线相当（10.4M 对 27.6M）：留出集对数损失为0.4583 对 0.4588，在200个 TALENT 数据集上的平均准确率为84.10% 对 83.92%，在38个 TabArena 数据集上的 Elo 得分为1409 对 1396。一个参数量与 Tab-Loop 相同的4模块非共享参数对照模型，在相同计算量下接触到多32%的训练表格数据，但表现落后于二者（83.46%；Elo 得分1343）。由于权重共享，深度成为推理时可以选择的项。在训练覆盖的循环次数范围内，准确率会随着循环次数增加而提升，并在超出该范围后保持稳定；通过以更深的循环次数继续训练，可扩展有效范围，并在达到基线推理计算量4--5倍时，取得基线的阶段2得分。在这一规模下，表格基础模型的 ICL 阶段更需要深度，而不是更多彼此不同的参数。
00:48 arXiv cs.AI 79
大型语言模型可以利用语言上下文比较 N-best 候选，并在需要时改写转写文本，从而在无需重新训练识别器的情况下，通常改善 WER。然而，仅依赖提示词的纠错方式较为脆弱：当 top-1 结果正确时可能过度编辑，在参考答案不在候选列表中时可能产生幻觉，而且往往需要规模非常大的模型。我们提出了一种 Oracle 引导的微调方法，通过三个经过筛选的数据池，将 N-best 列表转化为监督信号：纠错样本（参考答案在列表中但不在 top-1 中）用于教授选择，正则化样本（top-1 正确）用于抑制不必要的改写，以及困难负样本（参考答案不在列表中）用于抑制幻觉。在这些数据上进行微调，对于学习混合式“选择或改写”策略而言，比随机子集微调提供了更有效的监督；在专有数据集上，从约 3B 参数规模的模型开始即可观察到最明显的收益，但在 CommonVoice 上的结果则不太确定。这种差异表明，公开的朗读语音文本可能与 LLM 的预训练数据存在重叠，从而掩盖了真实的后编辑收益。
12:00 arXiv cs.LG 77
arXiv:2609.13677v2 公告类型：replace-cross 摘要：现代实际应用问题涉及矩阵值参数，但传统优化器将其视为向量，这促使人们开发利用输入—输出几何结构的矩阵感知方法，例如在参数更新前对动量矩阵进行正交化的 Muon。它在实践中的成功引出了一个概念性问题：正交化动量在非光滑优化中能否依然有效？本文使用与反向传播兼容的广义导数框架，针对局部 Lipschitz 函数研究这一问题。我们的第一项贡献是揭示了一个关键局限：对于任意固定的动量因子 $\beta\in[0,1)$，当步长根据完整的梯度历史自适应调整时，Muon 从几乎所有初始化出发都可能无法趋近某个凸 Lipschitz 目标函数的全局最优解。即使迭代序列有界，也可能出现这种失败。我们的例子受到 Parshakova 等人的例子的启发，而后者仅涵盖 $\beta\in[0,\frac{1}{2})$。随后，我们证明，障碍在于固定动量，而非正交化。事实上，当动量因子自适应调整并趋近于 1，同时步长趋于零时，在有界性和正则性条件下，Muon 可恢复在非凸非光滑优化中的渐近收敛性。此外，我们提出了 MAGD，它将正交化动量与梯度相结合，并根据二者的相对进展进行加权。MAGD 在非凸情形下保持渐近收敛性，并在凸情形下达到 $O(\min\{m,n\}\epsilon^{-2})$ 的收敛速率。一个下界证明了其维度依赖关系的最优性。在合成问题、图像分类和 LLM 预训练上的实验表明，MAGD 是一种简单实用的 Muon 替代方案。总体而言，我们的结果刻画了缺乏光滑性时正交化动量何时会失效，以及如何使其变得可靠；我们希望这些分析能在更广泛的情形下发挥作用。
12:00 arXiv cs.LG 79
arXiv:2609.10002v2 公告类型：替换并交叉收录 摘要：深度伪造检测器仍然容易受到基于迁移的黑盒攻击。在此类攻击中，对抗样本在源替代模型上生成，并迁移至攻击者未知的目标模型。然而，源模型与目标模型之间的兼容性如何影响攻击成功率，目前仍缺乏深入理解。既有研究评估的检测器范围有限，且很少区分架构因素与训练因素的影响。我们对涵盖六种骨干网络、两种预训练方案和五种训练数据配置的60个检测器开展了对抗迁移性的受控评估，使用两种攻击方法：AutoAttack（AA）以及结合变换期望的 Carlini--Wagner 攻击（CW--EOT）。匹配比较表明，当源模型与目标模型具有完全相同的骨干网络、相同的架构家族、预训练方案或训练数据时，迁移性显著提高。这种兼容性结构取决于攻击方法：在 AA 下，骨干网络完全一致的影响最大；而在 CW--EOT 下，共享预训练方案和训练数据的影响最大。对非目标源模型的迁移结果取平均时，AA 下的平均攻击成功率（ASR）为 $7.21\%$，CW--EOT 下为 $19.52\%$。相比之下，在排除骨干网络完全一致和训练数据匹配的情况后，结合两种攻击的多源预言机仍达到 \(64.48\%\) 的平均 ASR，表明对源模型取平均可能会大幅低估目标模型的脆弱性。我们公开了240,000张经对抗扰动的图像、完整的两两迁移结果、检测器配置和评估代码。这些发现确立了源模型与目标模型的兼容性以及源模型选择在可信的基于迁移的黑盒鲁棒性评估中的核心地位。
12:00 arXiv cs.LG 85
arXiv:2607.20274v3 公告类型：替换并交叉列出 摘要：诊断分类器和影像生物标志物基于医学基础模型的嵌入表示进行拟合。随着新版本出现，这些模型会被替换。这种做法假定不同模型对图像的表示方式相似。我们使用来自5种成像模态、14个数据集的超过750,000张图像、18个公开模型，以及101个在胸部X线片和组织病理图像上训练的模型，检验了这一假设。这101个模型在预训练目标、标签类型、规模、随机种子、初始化、训练所用患者或训练方案方面存在差异。我们以相互k近邻重叠率衡量一致性，即一张图像在两个模型中的最近邻集合共有元素所占的比例。对于一张胸部X线片，两个公开模型的10个最近邻平均重叠比例为0.091。随机初始化的网络与这些模型的重叠比例为0.036。在其余四种模态中，两个公开模型的重叠比例最高为0.300。在胸部X线片上，一致性更多地取决于来源数据集和摄片体位，而非影像所见，且与准确率无显著关联。利用4,096张无标签X线片拟合两个模型嵌入表示之间的线性映射后，可迁移针对14种胸部影像所见的分类器，其受试者工作特征曲线下面积达到原始值的0.987。趋同性取决于预训练目标。在胸部X线摄影和组织病理学中，标签监督模型在两种模型规模下的趋同性均最低。在胸部X线片上，仅随机种子不同的两个标签监督模型，其最近邻重叠比例为0.062至0.100。而采用自蒸馏、掩码图像建模或对比预训练的两个模型，其最近邻重叠比例为0.411至0.802。因此，开发者在选择预训练目标时，也可以选择模型的趋同性。在替换模型之前，用户可以使用无标签图像检验后继模型是否返回相同的最近邻。
12:00 arXiv cs.LG 72
arXiv:2606.15457v2 公告类型：replace-cross 摘要：三维 FLAIR MRI 被广泛推荐为多发性硬化（MS）脑成像的标准 MRI 序列之一，但公开可用的 MS 数据集规模仍相对较小，且在扫描仪、采集协议和病灶模式方面存在差异。这种数据稀缺性和变异性阻碍了稳健的神经影像机器学习模型的开发，对于旨在合成图像的同时保留微小、稀疏病灶的生成模型而言，挑战尤为突出。我们提出 Lesion-DDPM，这是一种用于病灶感知 FLAIR 合成的三维条件扩散框架，将多层级解剖掩膜注入与病灶加权重建损失相结合，在保持全局脑结构的同时强化对病灶体素的关注。我们使用经过整理的 MSLesSeg 数据集子集，将 Lesion-DDPM 与具有代表性的最先进 GAN 模型和扩散模型进行比较，同时评估图像生成指标和下游 3D U-Net 分割表现。在实验中，Lesion-DDPM 在所有方法中取得了最低的病灶区域重建误差。在下游 3D U-Net 病灶分割任务中，仅使用 Lesion-DDPM 生成的扫描图像训练、并在真实 MRI 上评估的模型达到了 0.616 的 Dice 分数，而表现最好的对比合成数据集对应的分数为 0.569。将 Lesion-DDPM 图像加入真实训练集后，Dice 分数进一步提升至 0.685。
12:00 arXiv cs.LG 79
arXiv:2605.27676v2 公告类型：替换并交叉归类 摘要：在经过筛选整理的数据集上微调预训练语言模型，可能会在微调任务与非预期的潜在因素（如失准人格或政治倾向）之间产生虚假相关性，因为数据筛选整理过程已将这些因素与任务纠缠在一起。模型可能会依赖这些虚假相关性，从而产生偏见并降低分布外泛化能力。我们证明，在对任务复杂度和虚假相关性作出合理假设的情况下，可以在没有监督的条件下，从朴素 LoRA 微调所得的权重中识别这些潜在因素。现有的偏见去除方法（如激活引导）会在推理或训练期间，从残差流激活中移除已识别的因素。然而，我们认为，目标应当是去除虚假相关性，而不是潜在因素本身，因为预训练模型可能依赖该因素来获取真正的任务信号。为此，我们提出 GRASP（GRadient projection of Associated Spurious Patterns），在保留预训练模型沿该潜在因素方向已有内容的同时，防止模型对已识别的潜在因素形成新的依赖。我们在三个微调任务上进行了验证。前两个任务涉及涌现性失准，即在狭窄任务上进行微调（在我们的实验中，分别是编写不安全代码和提供不当医疗建议），会导致模型在无关话题上给出失准回答。在这两种情形下，我们的方法分别完全消除了不安全代码场景中的失准，并将不当医疗建议场景中的失准降至约五分之一，在减少失准与保留任务能力之间的权衡上优于所有基线。最后一个任务是一项新的政治偏见实验：在右倾的 Reddit 财务建议数据上进行微调，会导致模型在无关话题上的政治倾向发生漂移。在该实验中，我们的方法将漂移幅度降低了一半以上，同时提升了财务任务表现，优于所有基线。
12:00 arXiv cs.LG 72
arXiv:2605.22892v3 公告类型：replace-cross 摘要：非寿险定价中的索赔频率和索赔损失程度建模主要依赖广义线性模型（GLM），而梯度提升机是主要的机器学习替代方案。表格基础模型（TFM）提出了一种根本不同的推理范式。通过在大量合成数据集上进行预训练，TFM 能够借助上下文学习对新数据进行推理，无须针对特定数据集进行预处理、拟合或超参数调优。本文首次对 TabPFN 在机动车保险定价中的应用进行了实证评估，在两个公开可用的机动车第三者责任险（MTPL）数据集上，将两个版本的 TabPFN 与 GLM 和 XGBoost 进行了基准比较。结果表明，TabPFN 并未始终优于成熟的基线模型：在索赔频率建模方面，其表现不及 GLM，且性能取决于上下文训练集的规模；但在数据更为稀缺的索赔损失程度建模方面，它具有竞争力。其推理耗时则明显更长。尽管表格基础模型前景可期，尤其是在数据稀缺的场景下，但 TabPFN 尚不足以取代成熟的索赔频率精算建模方法。
12:00 arXiv cs.LG 77
arXiv:2602.02473v2 公告类型：replace-cross 摘要：让人形机器人执行敏捷且自适应的交互，一直是机器人领域的核心挑战。当前方法受限于逼真交互数据的稀缺，或依赖精细的任务专用奖励设计，这限制了其可扩展性。为缩小这一差距，我们提出 HumanX，这是一个统一框架，可将人类视频转化为人形机器人可泛化的现实世界交互技能，无需针对每项任务单独设计。HumanX 集成了两个协同设计的组件：XGen 是一条以锚点为中心的数据生成流水线，从单目视频中生成符合物理规律的机器人交互数据，并通过数据增强构建多样化、可扩展的训练数据集；XMimic 是一个交互优先的学习框架，可从数秒的演示中学习可泛化的交互技能。我们在篮球、足球、羽毛球、货物拾取和反应式格斗五个不同领域进行评估，HumanX 成功习得了 9 种不同技能，并将其零样本迁移至实体 Unitree G1 人形机器人。习得的能力包括在不依赖任何外部感知的情况下完成投篮假动作接转身后仰跳投等复杂动作，以及仅从单段视频演示中学会连续超过 10 个回合的人机传球等交互任务。实验表明，HumanX 的泛化成功率高于以往方法，展示了在一类可锚定的交互中学习多样化现实世界机器人交互技能的可扩展路径。
12:00 arXiv cs.LG 77
arXiv:2503.19708v3 公告类型：replace-cross 摘要：城市微气候涵盖受建筑几何形态影响的风场和温度场，对建筑能耗、行人风舒适度、污染物扩散、城市热岛效应及公共健康具有重要影响。传统计算流体力学（CFD）的计算成本过高，难以用于快速评估；而许多深度学习方法需要大量训练数据，且难以泛化至未见过的布局。本研究提出 Fast Localized Urban Microclimate Emulator（FLUME），这是一个基于傅里叶神经算子的快速、数据高效且具备几何感知能力的框架，用于预测三维风场和温度场。FLUME 假设，在给定来流和热力强迫条件下，这些平均场的大部分空间变化由周围建筑的几何形态控制。该框架引入 Multi-Directional Distance Feature（MDDF），在由可见性界定的自适应空间尺度上捕捉几何信息。通过将仅包含 23 个城市街区的模拟数据分解为较小的三维局部块，并加入预先计算的 MDDF 信息，FLUME 能够利用有限的 CFD 数据进行学习。在未见过的城市布局上，该模型的流向速度平均绝对误差为 0.2 m/s，温度平均绝对误差为 0.19$^{\circ}$C。深度集成为认知不确定性提供了实用的代理度量，而保形预测则将这些估计转换为经过校准的预测区间。集成预测的离散程度与局部预测误差呈正相关，其中屋顶高度处的剪切层、建筑尾流以及近地面垂直速度的不确定性更大。这些结果表明，FLUME 有望用于城市设计和城市气候研究中的快速情景评估。
12:00 arXiv cs.LG 75
arXiv:2606.21386v2 公告类型：替换 摘要：视觉-语言-动作模型（VLA）在许多机器人操作任务上达到了最先进的性能，但在分布外场景中仍可能表现出不可预测的行为。因此，运行时失败检测对于 VLA 在现实世界中的安全部署至关重要。然而，现有的任务失败检测器要么需要计算成本高昂的动作采样，要么基于限制其对 VLA 适用性的架构假设，要么需要获取失败轨迹。我们提出 VLA-FAIL，这是一种轻量且广泛适用的 VLA 失败检测框架，以极低的额外开销结合了两种新颖的失败检测器，且无需失败数据。第一种是末层马氏距离（LLMD），通过逐词元测量末层特征相对于训练数据的偏离程度来检测分布外状态。第二种是动作块一致性（ACC），利用滚动时域控制产生的时间重叠，在连续动作块变得不一致时检测失败。为刻画检测准确性与检测延迟之间的权衡，我们引入了 \textsc{AUCPDT}，这是一种不依赖阈值的指标，可联合评估精确率、召回率和检测时间。通过大量现实世界和仿真实验，我们证明 LLMD 和 ACC 能够捕捉互补的失败模式，两者结合可在多种任务中实现可靠且及时的失败检测，并且经常优于计算成本高得多的基线方法。项目页面：https://vla-fail.github.io/vla-fail-2026
12:00 arXiv cs.LG 79
arXiv:2605.09081v5 公告类型：替换 摘要：工业机器是受驱动系统，但大多数开放时间序列语料库仅记录传感器测量结果；少数记录了指令信号的语料库也采用因机器而异的厂商特定格式，因此无法跨实体形态比较指令意图与测量响应。我们提出 FactoryNet，一个用于工业时间序列预训练的语料库：涵盖七种实体形态、四类任务的 5.7 万次端到端任务执行（1.5 万次真实执行、4.2 万次合成执行），共计 1.13 亿个数据点，并提供 27 种带标注的异常类型、正常基线及反事实配对。所有来源中的每个信号均映射至统一的控制理论模式 Setpoint、Effort、Feedback、Context（S-E-F-C），该模式以通用表示框架描述任意受驱动系统，并将指令与实际响应之间的动态差异呈现为显式预测残差。利用该语料库，我们发现，仅使用仿真训练、不使用任何真实阶段标签的任务阶段模型，在两种机器人上均能达到真实数据性能上限的约三分之二；迁移在同一机器人系列内有效，但跨厂商时鲜有成效。故障特征则表现不同：未经校准的仿真器在两种机器人上均无法提供可检测的故障信号，而对齐特征分布也无法弥补这一缺陷。有限的区分能力来自 Effort：在实测工具运动的故障判别表现接近随机水平时，电机电流仍能区分故障；而通过校准仿真器以复现这一个通道，即可在真实机器人上识别出一种负载故障。我们据此认为，仿真能够捕捉任务的稳定结构，而故障行为仍具有多样性，且取决于具体故障类型。我们发布 FactoryNet，旨在为工业基础模型提供持续扩展、涵盖多种实体形态的数据基础。
12:00 arXiv cs.LG 71
arXiv:2605.08037v2 公告类型：替换 摘要：直接偏好优化（DPO）利用成对偏好比较来对齐语言模型，为基于人类反馈的强化学习（RL）提供了一种简单有效的替代方案。然而，在许多实际场景中，训练数据包含每个提示对应的多个采样输出，由此形成了丰富的偏好结构，而成对 DPO 无法利用这些结构。将此类数据简化为相互独立的样本对会丢弃传递性，引入冗余或冲突的监督，并可能导致优化不稳定。我们提出 Graph Direct Preference Optimization（GraphDPO），这是 DPO 的一种结构化推广，在由采样输出排名形成的有向无环偏好图上进行优化。GraphDPO 将支配关系编码为边，并优化一个受 Plackett--Luce 启发的图结构目标函数，该目标函数在被支配邻域上聚合监督信息，传播输入偏好的传递结构，同时将标准 DPO 涵盖为一种特例。GraphDPO 通过等价类构造自然地处理偏好并列和不可比较的回答：具有相同偏好信号的回答构成图层，不可比较的回答共享同一层且彼此之间不连边，不存在的边对损失的贡献为零，从而避免严格全序目标函数产生的伪梯度。在这种分层构造下，GraphDPO 通过高效的 log-sum-exp 聚合，将每个提示的计算复杂度保持在线性水平。我们进一步引入可选的真实答案锚定机制，将经过验证的解作为支配节点插入，并采用退火调度，在稳定早期训练的同时逐步放松预言机监督。在推理和程序合成任务上的实验表明，该方法具有更优的性能，说明图结构偏好建模是一种可扩展且稳健的方案，可替代成对和列表式对齐目标。
12:00 arXiv cs.LG 71
arXiv:2605.06941v2 公告类型：替换 摘要：我们提出了 Constrained Triple-Head Price Optimization (C3PO) 网络，用于离散选择环境中的实时双层决策。在这些场景中，卖方选择提供的产品或服务以实现业务目标，而异质用户根据自身偏好做出个性化的接受或拒绝决策，最终决定卖方的收益结果。现有方法利用合成数据微调预训练的表格基础模型，但受限于模仿学习范式，且无法强制执行常见的定价规则，包括跨产品约束和全局约束。C3PO 通过一种新颖的基于 transformer 的架构解决了这些局限，该架构联合整合价格模仿学习、多任务收入预测和上下文弹性学习，无需重新训练即可生成跨领域的稳健定价建议。一个轻量级可微约束层使生成的价格在优化收入目标的同时满足业务约束。我们在仿真、合成和真实世界数据集上展示了该模型出色的分布外性能。在经过校准的 MNL 模型相对于真实选择模型存在设定偏误的仿真基准中，C3PO 相较于经过校准的 MNL 基线将预期收入提高了 1.4 至 7.9 个百分点。约束层将平均绝对约束违反量降低了 50% 以上。我们进一步将该模型部署到真实世界应用中，包括医疗招标定价和航空附加服务定价。在这些应用中，以涨价和降价召回率衡量，C3PO 将定价方向有效性提高了 18 至 34 个百分点，具体增幅取决于所比较的基线，包括经过校准的 MNL、经典优化方法和现成的表格基础模型。
12:00 arXiv cs.LG 77
arXiv:2603.17917v2 公告类型：替换 摘要：大语言模型（LLMs）包含数十亿个参数，但许多权重的精确数值并非必不可少。我们对预训练模型应用标量 $K$ 均值聚类，将每个权重矩阵中的权重替换为仅 16--64 个共享值。对于 Llama~3.1-8B-Instruct 和 SmolLM2-135M，这种方法无需重新训练即可保持较高的准确率，为压缩磁盘上存储的 LLMs 提供了一种简单方法。仅微调聚类中心，就能进一步挽回剩余准确率损失的 30--40\%。随后，我们将聚类作为分析工具，固定聚类分配，仅扰动共享值，以研究这些值的哪些属性最为重要。我们发现，保留它们的\emph{相对排序}（哪些连接比其他连接更强或更弱）比保留其精确大小更重要。破坏这种排序会大幅增加困惑度，而在许多中间层和后期层中，改变数值但保持排序只会造成很小的损失。然而，仅保留排序还不够。模型性能还取决于是否维持了重构权重的方差，而早期层仍然更为敏感；对聚类分配本身进行扰动表明，其空间几何结构也起着关键的支撑作用。我们在来自两个架构家族的四个 LLMs 中观察到了相同的行为。这些结果表明，权重的排序及其整体方差在 LLM 压缩和鲁棒性方面发挥着核心作用。
12:00 arXiv cs.LG 79
arXiv:2610.13816v1 公告类型：cross 摘要：通用机器人策略通过模仿学习进行训练，其能力受示范数据的质量和覆盖范围限制。强化学习可以通过微调策略权重，或训练一个小型模块来引导冻结生成式策略的输入噪声，从而改进并扩展这些策略。当任务按顺序到来时，这两种方法都会遭遇灾难性遗忘。针对某个任务进行微调会损害先前任务的性能，而仅进行引导则只是将遗忘转移到了共享的引导模块上。我们提出了 Dream to Remember（D2R），它持续将一个冻结的通用策略引导至新任务，同时保留其早期技能。当引导模块学习新任务时，一个冻结的预训练世界模型通过想象中的轨迹演练先前任务，在没有回放缓冲区或新数据的情况下，使该模块保持其早期行为。当世界模型足够忠实时，D2R 完全通过想象来学习新任务。否则，它在环境中学习任务，同时仅利用世界模型演练先前任务。在 CALVIN 上，D2R 完全通过想象按顺序改进了八个任务，使平均成功率从 63.7% 提升至 74.8%；而在相同任务序列上使用 LoRA 微调则使其降至 11.7%。借助冻结的现成通用策略和世界模型 $\pi_0$ 与 A2World，D2R 在环境中学习未见过的 LIBERO-90 任务，同时保持 $\pi_0$ 在其经过微调的 LIBERO 套件上的性能，尽管该世界模型的准确度不足以进行策略优化。最后，在真实的 Franka 机器人上，D2R 完全通过想象按顺序改进了三个任务，同时保留了早先的改进。
12:00 arXiv cs.LG 76
arXiv:2610.13764v1 发布类型：cross 摘要：先验数据拟合网络（PFNs）经过训练，用于近似合成先验的贝叶斯后验预测分布（PPD），但关于其近似质量的研究结果却出人意料地有限。我们从经验风险最小化的角度出发，将 PFNs 的部署误差分解为先验误差、上下文误差和摊销误差，并在现实先验下，以参考 PPD 为基准衡量摊销误差。结果表明，PFNs 通常能够很好地恢复目标 PPD。然而，我们发现，部分残余摊销误差仍然存在，尤其是在先验预训练分布下的\textit{罕见}情形中；即使扩大模型规模，这种误差仍未消失。这表现为独立预训练的 PFNs 之间存在分歧，并导致推理时预测器的不确定性。作为补救措施，我们研究了多种类型的贝叶斯模型平均，发现它们能够持续降低这种不确定性，并改善预测效果，直至全尺寸 TabICLv2 模型。
12:00 arXiv cs.LG 81
arXiv:2610.13740v1 公告类型：cross 摘要：世界-动作模型（WAM）能够预测机器人的动作以及这些动作将产生的观测结果。然而，性能最强的模型依赖视频扩散 Transformer，其计算开销对于资源受限的边缘设备而言过高。我们提出 SmolWAM，这是一种潜在 WAM，由拥有 2B 参数的 Cosmos Policy 构建而成：保留其预训练主干网络，并重建其推理接口，包括单帧视觉潜变量、保留主干网络注意力汇的缓存文本特征、28 个 Transformer 模块中的 12 个，以及从中读取动作和未来视觉潜变量的 1,008 个 token，并在一次整流流步骤中完成读取。SmolWAM 仅用 3.6 个 GPU 小时训练完成，在 400 个 LIBERO 回合中的成功率达到 95.5%；对于每个包含 16 个动作的分块，其延迟为 57 ms，计算量为 2.3 TFLOP，GPU 内存占用为 2.4 GiB。与教师模型相比，它的速度快 11 倍，FLOP 少 18.5 倍，内存占用降低 3.2 倍，同时其世界头仍能预测场景运动。
12:00 arXiv cs.LG 73
arXiv:2610.13687v1 公告类型：cross 摘要：音频-视觉数据集蒸馏旨在从大型配对音频-视觉数据集中合成一个小型数据集，同时几乎保留其对神经网络的训练效用。现有方法（如 DM 和 AVDD）面临两个关键局限：1）它们的内存消耗很大，难以扩展到复杂架构和更高的每类样本数（SPC）设置；2）它们通常无法保留较强的跨模态语义对应关系。为解决这些问题，我们提出 X-AVDD，一种基于交叉注意力的蒸馏方法，可在合成过程中显式捕获模态间关系。通过将跨模态对齐与联合优化解耦，X-AVDD 显著提高了内存效率，使端到端合成成本降低约 $8\times$ GPU 小时，同时生成高度对齐的合成数据。实验结果表明，X-AVDD 的性能显著优于其他音频-视觉蒸馏方法。在 VGGSound（一个由 YouTube 短视频片段构成的音频-视觉数据集）上，当 SPC=$10$ 时，X-AVDD 将 top-1 测试准确率从 $8.2\%\rightarrow24.0\%$ 提升至 $24.0\%$；当 SPC=$20$ 时，则从 $9.8\%\rightarrow26.5\%$ 提升至 $26.5\%$。此外，X-AVDD 提升了跨架构泛化能力（例如，在 AVE 数据集上、SPC $=50$ 时，针对 ViT 目标模型的准确率从 $25.5\%\rightarrow35.3\%$），并成功扩展至 AudioCLIP 等复杂架构：仅使用完整数据集的 $5.65\%$，便达到了 $62.3\%$ 的准确率，而完整数据集的准确率为 $72.4\%；与使用完整数据集相比，训练时间缩短了 $9\times$。
12:00 arXiv cs.LG 75
arXiv:2610.13608v1 公告类型：cross 摘要：语音强度转换是在保留语音内容和说话人身份的同时，以不同的语音强度重新生成录制的语句，而不是简单地缩放其振幅。现有系统通过参考语句或少量离散类别来控制强度。与之不同，我们在连续的 dB 刻度上，使用任意目标声压级（SPL）控制转换。我们训练了一个无需并行数据的条件循环一致 GAN 轻量级转换器，用于转换冻结语音编码器提取的特征，再由预训练声码器重新合成语音。我们比较了三种表示形式：对数梅尔频谱图、WavLM 和 SpeechTokenizer，并提出一种客观评估方案，在经过校准的语料库上测量实际实现的强度变化与目标强度变化之间的差异。使用 WavLM 时，转换器实现了目标强度变化的 83%，并且还会改变基频。感知评估证实，在振幅归一化的刺激材料上，感知到的语音强度会随目标声压级的提高而增加。
12:00 arXiv cs.LG 76
arXiv:2610.13370v1 公告类型：交叉收录 摘要：混合专家（MoE）模型已成为前沿大语言模型的标准架构。每个 Transformer 块中的多个并行专家，理论上能够在预训练期间按领域、语言或模态等类别形成专业化分工。然而，当不同类别之间的数据不平衡时，少数类别可能集中在专家池中的一小部分专家上，或低效地分散到各个专家上，从而实际上限制了这些类别可用的模型容量。在本研究中，我们证明，以类别为条件的专家选择偏置可以优先将不同类别的词元路由至专门的专家池。通过根据输入类别施加偏置，我们提供了一种简单的方法，以诱导与类别对齐的软性专业化分工。这种干预促使不同类别倾向于使用不同的专家子集，同时在有益时保留跨类别共享。更重要的是，它能够为原本因数据稀缺而处于不利地位的类别超额分配专家容量。在参数规模最高达 10.6B 的模型中，我们观察到了跨模态、低资源语言和代码方面的性能提升。在最小和最大的模型规模下，这些收益分别相当于为基线额外分配 18.5% 和 2.7% 的训练词元。总体而言，我们的结果表明，专家偏置可以作为一种轻量级的类别层面专家分配控制手段，在保留标准 MoE 推理方式的同时，为低资源类别腾出容量。
12:00 arXiv cs.LG 73
arXiv:2610.13299v1 公告类型：交叉 摘要：预训练视觉 Transformer 学习涵盖空间 patch 令牌和非空间令牌的结构化图像表示。近期分析表明，非空间寄存器令牌编码了光照、模糊和风格等全局场景属性。然而，基于 patch 的图像解码器会丢弃这些输出，使解码器只能从 patch 中恢复图像外观。我们研究了在完整的空间 patch 表示已经可用的情况下，保留寄存器特征是否能够改善解码。我们使用配备寄存器的冻结编码器和表示自编码器（RAEs）来探讨这一问题。我们的解码器通过联合自注意力同时处理四个寄存器令牌和全部 patch 令牌。我们采用外观探针、成对重建误差分析以及固定解码器下的寄存器替换实验，考察寄存器能够提供哪些全局图像属性，以及这些属性的取值如何影响重建像素。对于生成任务，我们训练了一个多头注意力池化（MHAP）预测器，从采样得到的 patch 中恢复寄存器特征，同时保持预训练扩散模型及其样本不变。在 ImageNet-1K 上，我们的 ViT-B 解码器使用 DINOv2 和 DINOv3 时，平均重建 FID 分别达到 0.472 和 0.442；相较于各自仅使用 patch 的基线，分别降低了 9.5% 和 5.2%。对应的 PSNR 分别为 19.73 和 20.54 dB。在生成任务中，在相同采样 patch 上，我们的 DINOv2 模型取得了 1.641 的平均 FID，比仅使用 patch 的基线低 9.8%。
12:00 arXiv cs.LG 75
arXiv:2610.13123v1 公告类型：交叉收录 摘要：我们仍未能扎实理解深度神经网络（DNNs）为何在预测任务中表现出色。例如，尽管已有许多依赖数据的指标试图预测 DNNs 的模型质量，但对于大型数据集，这些指标的计算成本可能很高，而且当训练数据集未公开时，这些指标可能根本无法计算。一种实用且有效的模型质量预测方法是分析 DNN 权重矩阵，因为先前的研究已表明，训练后权重矩阵中的重尾谱分布能够有力地预测模型质量。然而，此类指标缺乏严格的统计学依据。在本研究中，我们旨在从统计学角度理解这些指标为何表现良好。为此，我们采用概率框架推导 DNN 的边际似然，并仅使用最后一层的权重进行评估。在大规模卷积 DNNs 和 LLMs 上，我们发现该边际似然能够预测模型质量。为理解重尾谱在预测性能中的作用，我们针对服从（重尾的）高温 Marchenko-Pastur（HTMP）分布的谱，推导了对数边际似然的极限。我们证明，这一极限量是尾部厚重程度参数的凸函数，并推导出一个最优尾部厚重程度，其在实证中能够预测大规模 DNNs 的过拟合。
12:00 arXiv cs.LG 76
arXiv:2610.12995v1 公告类型：交叉收录 摘要：监督微调（SFT）仍是大语言模型后训练中广泛采用的方法，因为固定的示范可以直接引入期望的推理策略和行为模式。然而，强制模型模仿外部提供的轨迹，也可能干扰预训练已支持的行为，从而限制模型在训练分布之外的泛化能力。近期的动态 SFT 方法根据预测概率、先验支持程度或分布兼容性等模型侧信号，对词元级监督进行重新加权，以缓解这一问题。但与模型的兼容性并不等同于学习价值：当前模型支持程度较低的词元，既可能是不期望的不匹配，也可能恰恰是示范旨在教授的任务特定决策。我们提出 CIG-SFT，这是一种信息论框架，用于估计每个示范词元所携带的、以任务为条件的信息。在教师强制机制下，我们保持标准解答前缀不变，比较冻结的参考模型在能够和不能访问任务输入两种情况下的词元似然。由此得到的条件信息增益，量化了任务本身在多大程度上降低了对示范决策的不确定性。随后，我们将这一信息转化为当前策略的 KL 正则化投影，并推导出等价的标量加权 SFT 目标，其 logit 梯度与投影目标的梯度完全一致。在数学推理和代码生成基准测试中，CIG-SFT 始终优于标准 SFT 和近期的自适应微调基线，尤其在对具有挑战性的评估分布的泛化方面取得了显著提升，同时既不需要额外训练数据，也不需要在线轨迹采样。
12:00 arXiv cs.LG 75
arXiv:2610.12734v1 公告类型：交叉收录 摘要：双目视觉正越来越多地用于机器人操作，越来越多的研究将其融入视觉-语言-动作（VLA）模型。然而，大规模真实世界双目视觉数据集的匮乏，仍是此类策略规模化发展的根本瓶颈。近期的生成式单目转双目方法主要面向 VR 内容和自动驾驶等场景。此前尚无研究为机器人操作生成逼真的合成双目数据，该领域的双目监督信号主要来自仿真。我们提出 StereoEngine，引入两种互补的方法来合成机器人操作所需的双目数据。第一种方法利用估计深度，将单目（左视角）视频变换为右视角，并使用视频扩散模型修复因遮挡解除而显露的区域，从而无需使用真实双目数据进行训练，即可将单目示范转换为双目视图对。第二种方法先在仿真中渲染双目视图对，再联合生成两个照片级逼真视图，无需任何真实视频作为输入，即可生成左右一致的数据。StereoEngine 在生成双目数据的质量上优于现有基线方法，且将其合成数据用于策略的中期训练或特定任务微调，能够显著提升下游双臂操作性能。项目网站：https://stereoengine.github.io
12:00 arXiv cs.LG 78
arXiv:2610.12727v1 公告类型：交叉发布 摘要：前馈式三维基础模型能够从无位姿图像中重建场景，但全局注意力的二次复杂度开销限制了其向大规模视图集的扩展。我们提出 Zebra3D，这是一种逐层稀疏—线性混合注意力框架，无需从头训练即可提升预训练三维基础模型的效率。在 VGGT、HunyuanWorld-Mirror 和 $\pi^3$ 中，我们观察到一种大体一致的随网络深度变化的模式：早期阶段对线性注意力替换的容忍度相对较高，而敏感的中后期阶段往往呈现出更集中的注意力。Zebra3D 利用这一结构，为容忍度较高的阶段分配以线性注意力为核心的注意力机制，为敏感阶段分配分块稀疏注意力，并使用地标摘要保留未选中的上下文。闭式仿射拟合支持免训练转换，而可选的转换后训练则将任务监督与输出蒸馏、关系特征蒸馏相结合。在全部三种骨干网络上，Zebra3D 均在高注意力稀疏度下实现了出色的重建精度和相机位姿精度，其免训练变体的表现仍接近对应的稠密模型。端到端加速比随输入视图数量增加而提升，在 1,024 个视图时最高达到 $7.1\times$。经过转换后训练，Zebra3D-VGGT 在平均注意力稀疏度为 94\% 时，RealEstate10K AUC@30 达到 80.5\%，与使用相同数据和训练方案微调的稠密 VGGT 相差不超过 1.1 个百分点。
12:00 arXiv cs.LG 84
arXiv:2610.13917v1 公告类型：新投稿 摘要：从头蛋白质设计的一项核心挑战是生成具有所需结构和功能特性的蛋白质。现有设计模型通常要求为每种特性提供专门的输入表示，从而限制了其支持的设计目标。我们开发了 Prompteina，这是首个支持以自然语言指定全新且更广泛设计目标的全原子结构生成模型，类似于文本到图像生成。为训练 Prompteina，我们构建了 Prompteina-Data，这是一个文本与蛋白质结构配对数据集，包含 180 万个结构和超过 5000 万条文本描述，涵盖整体及残基特异性的结构和功能特性。我们通过文本条件预训练，以及将残基与相应文本对齐的微调，对预训练结构生成模型 Proteina-Complexa 进行了适配。Prompteina 在 18 项结构特性中的 15 项上优于基线模型，并且生成的蛋白质更符合其预期功能的描述。在结合蛋白设计中，它在 20 个靶标中的至少 13 个上领先于基线模型，界面置信度较最强基线模型提高了 14\%。引入迭代式计算模拟反馈后，在最具挑战性的靶标上，Prompteina 相较于非迭代生成的性能增益比次优基线模型的相应增益高出 57\%。最后，我们通过实验验证了 Prompteina 针对 GM2A 的设计，此前尚无针对该靶标的从头设计结合蛋白报道。我们鉴定出九种结合蛋白，其中结合能力最强者的表观 $K_{\mathrm{D}}$ 为 107 nM。这些结果表明，自然语言可作为蛋白质结构生成的有效且强大的条件控制接口。
12:00 arXiv cs.LG 75
arXiv:2610.13835v1 公告类型：新提交 摘要：理想的（语言）模型必须持续更新其知识。现有工作主要关注如何在训练后高效地进行这些更新。我们研究了预训练期间时变知识的组织方式如何影响后续更新的效率。按时间顺序排列的知识训练出的模型，专精于最近接触到的知识；我们将其称为专才。相比之下，以随机打乱的顺序在相同知识上训练出的模型，在所涵盖的所有时期均表现良好；我们将其称为通才。令人惊讶的是，专才获取新知识所需的更新步数远少于通才。为解释这一优势，我们从第一性原理出发，推导出一条将更新成本与模型优化动态联系起来的定律，该定律能够准确预测实证结果。在这些发现的指导下，我们设计了一种预训练数据组织策略，在保留稳定的历史知识的同时，实现对当前知识的高效更新。我们还表明，按时间组织知识带来的益处也适用于现实世界中的预训练模型和现有知识更新工具，并可推广至其他知识排序方式。项目页面：https://horizon-lab.org/specialist/
12:00 arXiv cs.LG 71
arXiv:2610.13818v1 公告类型：新提交 摘要：监督学习数据集的表示可支持数据集检索和分布偏移监测等更高层次的机器学习任务。然而，现有方法通常依赖于手工设计的元特征，或专门为表示学习训练的数据集编码器。我们提出 TabMF，这是一个将预训练表格基础模型（TFM）用作监督学习数据集编码器的框架。TabMF 为预测型 TFM 配备了架构感知的数据集级读出机制，并利用合成监督学习数据集的随机视图进行对比式后训练，以端到端方式适配模型。我们基于 TabICLv2 和 TabPFN-2.5 实现 TabMF，并在未见过的真实数据集上，通过六项任务评估所得表示。简单的冻结 TFM 读出机制即可产生具有竞争力的表示，这表明预测式预训练已经形成了丰富的数据集级结构。这两个 TabMF 编码器在所评估的学习型和经典数据集表示方法中取得了最佳综合性能，尤其在数据集检索、紧凑基准构建和分布偏移严重程度评估方面表现突出。
12:00 arXiv cs.LG 73
arXiv:2610.13786v1 公告类型：新稿 摘要：离散图扩散模型（GDMs）在马尔可夫噪声模型下，通过向节点和边独立添加噪声来扰动图结构。在没有节点特征的无条件设定下，仅在单个图上训练的等变去噪器就能够生成新图，而边重叠率和 WL 核相似度等样本级指标并未发现记忆现象的证据。在本研究中，我们挑战了这一观点，并首次证明图扩散模型确实存在记忆现象。通过分析在双块随机块模型（SBMs）上训练的 GDMs 的反向扩散轨迹，我们发现了显著的训练数据偏向：与留出的测试图相比，模型能够近乎完美地恢复被扰动的训练图。我们将其称为条件记忆，因为它仅在反向轨迹以被扰动的训练图为条件时才会显现，而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距，即训练损失下降的同时，留出图上的损失却在上升，而且无法通过早停来缓解。记忆现象的出现始终早于生成图中社区结构的涌现，因此，在此之前的每个检查点生成的图都不具备结构。这种行为在我们测试的所有节点规模下均存在。
12:00 arXiv cs.LG 72
arXiv:2610.13724v1 公告类型：新论文 摘要：反事实推断探究的是，在不同情境下，已观测到的结果可能会有何不同，例如，患者如果接受另一种治疗是否会康复。当决策依赖于未被观测到的备选方案的结果时，就会出现此类问题。回答反事实查询通常需要了解底层因果结构，而这在实践中往往无法获得。因此，一种常见方法是先根据观测数据估计因果图，再进行反事实推断。然而，估计因果图中的误差可能会传递至下游反事实预测。为应对这一挑战，我们提出 Counterfactual Graph Neural Process（CFGNP），这是一种端到端方法，无需预先估计因果图，即可直接根据观测数据回答反事实查询。CFGNP 利用图神经网络（GNN），将跨世界消息传递限制在相互对应的事实变量与反事实变量之间，从而利用双图结构。在合成数据和基于图像的基准测试中，CFGNP 的预测性能均优于现有方法，其中，在 German Loan 基准测试中，它将均方误差（MSE）从 $4.51 \times 10^{-2}$ 降至 $0.19 \times 10^{-2}$。此外，在合成因果图上，仅使用 10 节点图训练的模型，无需重新训练，即可在节点数多达 30 的图上保持出色的预测性能。
12:00 arXiv cs.LG 75
arXiv:2610.13676v1 公告类型：新论文 摘要：时间序列基础模型（TSFMs）越来越多地支持协变量，其中日历信息是实践中最常见的类别协变量，因为每个时间点都有相应的日历信息。然而，这些特征的编码方式大多被视为实现细节，而非研究对象，尽管编码是预训练模型在推理时仍可调整的少数设计选择之一。本研究表明，信息传入模型的方式会显著影响 TSFMs 的预测准确性。因此，我们在来自多个领域的九个数据集上，对四种最先进的 TSFMs 进行零样本滚动评估，系统比较了七种日历编码，包括三种常规的、与目标无关的表示方式（序数编码、独热编码和周期编码）以及四种目标编码。这九个数据集受到周末和节假日等相关社会活动的影响，因此日历信息对预测尤为重要。我们发现，编码选择会影响所有模型的预测准确性；在同一模型内，不同编码在非节假日的 MASE 差异最高可达 9.9%，在节假日则可达 83%。编码的有效性及其被利用的程度在不同模型间存在显著差异。性能提升主要集中在节假日前后，此时日历信息提供了目标变量历史数据中无法获取的信号；同时，某些模型与编码的组合也能改善非节假日的预测。基于 SHAP 的归因分析确定了协变量相对于自回归部分的贡献，并解释了某些模型与编码的组合为何会导致性能下降。我们的研究结果表明，当前针对利用协变量的 TSFMs 的基准测试，可能会因采用固定编码策略而扭曲模型比较结果。
12:00 arXiv cs.LG 74
arXiv:2610.13524v1 公告类型：新论文 摘要：大语言模型（LLMs）预训练过程中损失间歇性出现的“尖峰”，在理论和实证层面仍是一种尚未解明的现象。本文表明，输入服从重尾幂律分布的简单二次模型可以复现这些尖峰。我们提出了一套理论框架和仿真算法，利用此类二次模型对深度神经网络（DNNs）的逐层训练动态进行建模。在一项针对 Adam 超参数配置的案例研究中，该配置将 $\beta_2$ 设为接近 $1$ 的值，已知会在 Transformer 语言模型中引发尖峰；我们的仿真成功地从给定检查点出发，预测出了预示尖峰行为的隆起。此外，我们根据观测指标推导出一种合适的 $\beta_2$ 调度方案，并通过实证验证了其性能改进效果。
12:00 arXiv cs.LG 76
arXiv:2610.13305v1 公告类型：新投稿 摘要：我们提出 MORAD，这是一种面向骨架条件化 RNA 扩散模型的在线强化学习框架，可针对多种目标骨架训练单一共享策略。结构条件化 RNA 逆向设计旨在寻找与目标三维骨架相容的核苷酸序列，但现有强化学习方法要么为每个目标骨架单独优化策略，要么依赖离线偏好优化，因此，对可复用的骨架条件化模型进行在线后训练仍基本未得到探索。MORAD 结合了骨架条件化的分组采样、组相对奖励归一化和前向过程扩散目标。现有强化学习奖励主要关注三级结构质量，而 MORAD 则联合优化六项度量，涵盖三级结构几何、碱基配对、系综行为和序列组成。为在量纲尺度和优化方向存在差异的情况下聚合这些异质目标，MORAD 将各项度量映射为有界的合意度评分，并通过加权几何平均将其组合。与仅针对三级结构的奖励相比，这一多目标方案改善了 11 项具有明确优劣方向的评估指标中的 10 项。应用于预训练的 RIDE 时，MORAD 将 GDT-TS 提高了 16.0%（从 0.3300 提升至 0.3827），将配对 MCC 提高了 19.4%（从 0.6110 提升至 0.7295），同时将归一化系综缺陷降低了 27.5%（从 0.3906 降至 0.2830）。在测试集上，MORAD 在三级结构准确性、二级结构配对和热力学质量方面均优于 RiboDiffusion、gRNAde 和 RDesign，在结构条件化 RNA 逆向设计领域达到了新的最先进水平。
12:00 arXiv cs.LG 79
arXiv:2610.13276v1 公告类型：新论文 摘要：基于集合的语言模型路由旨在控制推理调用次数的同时，提高至少有一个模型正确回答查询这一事件的覆盖率。现有的风险受控路由策略通过校准单个保形阈值，并将其应用于一组嵌套的模型集合，来约束全部失败风险（即所选集合中所有模型均回答失败的概率）。由于每个模型都被单独评分，这些策略忽略了模型失败之间的依赖结构。共享训练数据或架构的模型往往会在相同查询上失败，因此，两个单独表现很强的模型在组合使用时可能存在冗余，而一个较弱但具有互补性的模型却能覆盖其他模型无法正确回答的查询。为考虑这种被现有风险受控策略忽略的依赖关系，我们提出了 CopRoute。它根据每个模型相对于已选模型能够额外正确回答多少查询来对模型排序，针对每个查询决定沿该顺序选择到什么位置，然后选取仍能满足目标风险的最小截断点。我们证明，在设计数据上，CopRoute 的排序对于找到首个正确回答模型所需的平均调用次数，达到了任何高效固定排序算法所能提供的最佳保证；同时，一个独立的校准步骤可为部署时所选模型集合的全部失败风险提供认证。在 RouterBench 和 RouterEval 上，目标风险为 0.05 时，CopRoute 在十个数据集中的九个上实现了最少的经认证调用次数；目标风险为 0.10 时，则在十个数据集中的八个上实现了这一结果。在相同的经认证全部失败风险下，与最先进的风险受控策略相比，其调用次数最多减少 79%，中位数降幅为 24%。
12:00 arXiv cs.LG 71
arXiv:2610.13208v1 公告类型：新论文 摘要：时间序列基础模型对每个输入都使用相同的网络深度，尽管预测窗口在结构和难度上各不相同。我们在两种预训练模型 Chronos-Bolt 和 TimesFM 2.5 中检验能否在推理时移除整个 Transformer 块。我们的旁路机制避开了原始块的计算，并在启用所有块时精确保留稠密模型的行为。掩码仅在校准窗口上选择，并在来自 ETTh1、Traffic、Weather 和 Exchange 的 1,088 个留出窗口上评估。在适度稀疏的情况下，保留 7/11 个候选块的 Chronos-Bolt 和保留 16/20 个块的 TimesFM 在各数据集上的平均相对预测质量变化很小，同时将 A100 上批大小为 1 的推理延迟中位数分别降低了 11.2% 和 13.4%。更激进的 TimesFM 块跳过可进一步加速推理，但会显著损害其在 Traffic 和 Weather 上的表现。在这两种模型中，不同的等预算掩码在不同窗口上各有优势，而事后使用的理想选择器在每个数据集上都显著优于最佳静态掩码。然而，数据集特定掩码的迁移表现并不一致，Chronos 表征也无法支持可靠的未见域路由。这些结果证实了跨架构的结构化冗余以及随输入而异的优化潜力，但尚未形成可部署的动态推理方法。
12:00 arXiv cs.LG 71
arXiv:2610.12848v1 公告类型：新投稿 摘要：在最大熵强化学习和行为约束强化学习（RL）中，最优策略由 Boltzmann 分布给出。从该分布中生成样本可能颇具挑战性，因为它通常复杂且具有多模态特征。尽管通过流匹配训练的流策略为表示此类分布提供了强大的框架，但传统上它们依赖训练数据，而在线 RL 中通常无法获得这些数据。为解决这一局限，我们提出不动点流匹配（FFM），一种用于在 RL 中训练和微调流策略的无数据方法。FFM 利用目标流恒等式，将演员更新表述为不动点迭代，并采用流匹配式回归目标，其中评论家对动作的梯度作为回归目标值。我们证明，最优策略是该迭代的一个不动点。通过广泛的实验，我们表明，FFM 能够在离线到在线的设置下有效微调预训练流策略，并能在在线 RL 中从零开始高效、准确地训练流策略。这些结果确立了不动点流匹配作为一种具有理论依据的方法的地位，使其无需训练数据即可学习表达能力强的基于流的策略。
12:00 arXiv cs.LG 76
arXiv:2610.12728v1 公告类型：新论文 摘要：参数高效微调已有数百种方法，通常以参数数量和基准测试得分进行比较。我们将它们作为映射来比较。预训练检查点是权重空间中的一个基点，而权重空间方法则是从一个小参数空间出发、以该点为起点的光滑映射。这些映射构成一个切片范畴，其中冻结模型是始对象，全量微调是终对象。映射的三个不变量承担了大部分分析工作。其在基点附近的像，通过一阶像、维数、秩的最小割界，以及该点是光滑点还是锥顶，决定表达能力。其纤维与优化器的度量共同决定训练动力学。基变换移动基点，并涵盖分裂初始化、量化、重启与合并。例如，我们证明：零初始化的 LoRA，以及在所述秩与奇偶性条件下采用默认初始设置的 Householder 反射适配，均从锥顶出发；任何精确初始化都无法使 LoRA 达到秩超过自身秩两倍的更新；在精确算术下，严格正交的方法无论合并多少次，都不会改变权重的奇异值；在不使用 epsilon、权重衰减或裁剪且共用同一调度方案的 Adam 下，从标准零初始化出发的 LoRA+，其轨迹与将缩放系数乘以学习率之比的普通 LoRA 完全一致；采用共享超参数的 Adam，在 LoRA 满秩因子的连续对称群中仅保持带符号置换对称性；激活函数决定缩放适配器何时可以折叠进前面的权重。我们依据从公式中提取的七个坐标，对来自 138 篇论文的 382 种方法进行了分类，其中包含 403 个模拟箭头和 485 个障碍。每个编号结果均给出完整证明，对重新推导的他人成果也均注明出处。
12:00 arXiv cs.LG 77
arXiv:2610.12599v1 公告类型：新论文 摘要：稀疏计算可以扩展大语言模型的参数容量，而无需按比例增加实际计算量，但稀疏架构的预训练仍然成本高昂，且需要大量数据。现有的稀疏升级方法主要针对混合专家模型，其中专家同质性、样本效率低下和系统开销可能限制实际可扩展性。静态稀疏记忆具有可预测的访问模式和词元特定的更新机制，有助于应对这些挑战，但将其直接整合到预训练计算中收益不佳。在本研究中，我们提出 STAPLE，这是一种基于 STEM、将静态稀疏记忆整合到预训练模型中的方案。STEM 用按词元索引的嵌入替换 FFN 的升维投影，而 STAPLE 保留这些投影，并将嵌入作为残差路径加入，从而在保留预训练计算的同时，以可扩展的方式学习互补的词元特定信息。在 OLMo-2 1B 上，相比继续进行稠密训练，STAPLE 在 HumanEval、MBPP、GSM8K 和 DROP 上分别提升了 4.27、2.80、2.27 和 1.65 分。平均性能随静态容量的增加而提升，且在更大的 OLMo-2 7B 骨干模型上仍有改善。STAPLE 还优于 STEM 和 Engram 风格模型等静态稀疏基线；在我们面向吞吐量的解码评估中，其平均得分高于 MoE 升级基线，解码速度达到该基线的 2 倍，而 GPU 模型显存占用和实测每词元 GPU 能耗均不到该基线的一半。重要的是，尽管在训练后期引入了数十亿参数，我们采用主机卸载的实现仅需在 GPU 上缓存使用频率最高的约 5% 的嵌入，就能使生成吞吐量与稠密基线的差距保持在 1.5% 以内，训练吞吐量的差距保持在 3% 以内。这些结果表明，静态稀疏记忆可以为扩展预训练模型提供一条样本高效、可扩展且可持续的路径，而无需从头进行稀疏预训练。
12:00 arXiv cs.LG 75
arXiv:2610.12538v1 公告类型：新论文 摘要：现代机器学习模型的训练通常假定训练数据能够代表模型未来将面对的预测任务，但实际数据集往往违背这一假设。我们聚焦于结局依赖的截断，即一条观测是否出现在训练数据中取决于其标签。我们的工作将两个在很大程度上相互独立的研究领域联系起来：截断条件下的高效学习与生存分析。现有的截断生存分析方法并未刻画优化景观，而是依赖期望最大化等迭代过程。我们填补了这一空白，并证明：当基线风险函数已知时，即使存在非凸性，也可以使用一阶优化方法，在截断且右删失的数据上高效学习 Cox 回归。相比之下，当联合学习基线风险函数时，我们构造了可识别且设定正确的模型，其负对数似然包含严格次优局部极小值。在四个生存数据集上的实验表明，考虑截断能够减少朴素 Cox 回归引入的预测偏差，且这一方法可扩展至神经网络。我们还表明，与标准期望最大化方法相比，该方法可实现数个数量级的加速。
12:00 arXiv cs.LG 77
arXiv:2610.12528v1 公告类型：新论文 摘要：连续血糖监测（CGM）基础模型将每天的数据编码为一个向量，其中混合了个体身份、当天发生的情况以及传感器的测量方式，因此测量差异会随表征一同迁移到新队列中。我们探讨预训练能否将损害迁移效果的测量成分置于已知坐标中，从而在部署时通过固定投影将其移除，且无需目标数据。GlucoPRISM 利用响应约定来监督 GlucoFM 骨干网络，这些约定规定了仅日期变化或仅传感器变化时，表征的各个部分应如何变化：64 维的 Trait 分区不应随两者中的任何一个变化，48 维的 State 分区应仅随日期变化，而 16 维的 Sensor 分区应反映设备变化。基于配对的 Dexcom 和 Libre 记录校准的合成传感器视图、不同日期的数据对以及血糖汇总指标目标，在无需临床标签的情况下提供了这种监督。在十二个跨队列迁移方向上，从同一个冻结编码器的表征中移除 Sensor 分区，使平均迁移 AUROC 从 68.75 提高至 73.57，而 GlucoFM 为 69.3。这一提升包含两个部分。在迁移至 CGMacros 时，过滤带来了 11 至 19 个点的提升；CGMacros 是唯一使用两种传感器类型采集数据的目标队列，而且在使用一半参与者的数据重新校准生成器、并在另一半参与者的数据上进行评估时，这一提升依然成立。在其余八个方向上，过滤未产生明显影响，而编码器本身比 GlucoFM 高出 3.5 个点。过滤后仍可通过线性解码识别设备，因此该过滤器移除的是损害迁移效果的设备相关成分，而非所有测量信息。保留的分区在十四个公开任务—队列组合中的十三个上提高了窗口级 AUROC（Holm 校正后 p=0.031），并在一个包含 9,303 名参与者的外部队列中，提高了十五个临床终点中的十四个的相关性。
22:40 arXiv cs.AI 76
将 softmax 注意力线性化为高效的 Transformer 推理提供了一条路径，但保留预训练注意力的行为仍然具有挑战性。我们发现了一个被标准线性化方法忽视的重要近似误差来源：少数异常维度对查询与键的点积贡献不成比例地大，并造成了很大一部分近似误差。受这种异质性的启发，我们提出 Outlier-Aware Attention Linearization（OAL），这是一种用于构建二次注意力近似的维度感知方法。从二阶 Taylor 近似出发，我们引入了一种 Hadamard 积形式，显式呈现查询与键各维度的贡献。该形式放宽了系数全局共享的限制，支持维度特定的线性项和跨维度的二次交互，同时保留可分离计算的性质。为了以更少的参数保留这种灵活性，OAL 将贡献尺度相近的维度分组以共享系数，同时允许对少数异常维度进行区别处理。所得正值二次核以预训练注意力输出为参照进行校准，并且在注意力头维度固定时，可按序列长度的线性时间复杂度计算。在 Qwen2.5-0.5B 上，与 DiJiang 相比，OAL 将冻结注意力的输出相对均方误差降低了约 8.9%。替换中间层注意力模块，并结合 LoRA 联合微调核系数后，与学习得到的全局二次核相比，WikiText-103 上的困惑度进一步从 31.71 降至 27.50，同时在 PIQA、HellaSwag 和 ARC-E 上的准确率也有所提升。这些结果表明，异常值感知的维度分组对于注意力近似和预训练模型转换均具有价值。代码已公开于 https://github.com/wuqianyue09/OAL
23:22 arXiv cs.AI 75
反事实推断探究的是，在不同情境下，已观测到的结果可能会有何不同，例如，如果患者接受了另一种治疗，是否会康复。只要决策依赖于未被观测到的备选方案的结果，就会出现这类问题。回答反事实查询通常需要了解底层因果结构，而这在实践中往往无法获得。因此，一种常见方法是先从观测数据中估计因果图，再进行反事实推断。然而，估计因果图中的误差可能会传播至下游的反事实预测。为应对这一挑战，我们提出了 Counterfactual Graph Neural Process（CFGNP），这是一种端到端方法，无需预先估计因果图，即可直接根据观测数据回答反事实查询。CFGNP 使用图神经网络（GNN），通过将跨世界消息传递限制在相互对应的事实变量与反事实变量之间，来利用双图结构。在合成数据和基于图像的基准测试中，CFGNP 的预测性能均优于现有方法，包括在 German Loan 基准测试中，将均方误差（MSE）从 $4.51 \times 10^{-2}$ 降至 $0.19 \times 10^{-2}$。此外，在合成因果图上，仅使用 10 节点图训练的模型，无需重新训练，即可在最多包含 30 个节点的图上保持较强的预测性能。
23:29 arXiv cs.AI 77
通用机器人策略的规模化受到具身交互数据采集成本高昂的限制。大规模第一人称视角的人类视频提供了一种数据丰富的替代方案，但这些视频缺乏机器人动作标签，而且在现实世界复杂的视觉环境和多样化的操作动态下，现有动作标注方法往往噪声较大。我们提出 LAPT-Scale，这是一种可扩展的潜在动作预训练范式，包含两个组件：LAPT-Scale-LAM 通过解释人类视频中相邻帧之间的视觉变化来学习连续潜在动作，并将其用作源自人类的监督信号；LAPT-Scale-Policy 则通过人类视频潜在动作预训练、目标机器人具身形态对齐以及任务特定的后训练来训练 VLA 策略。与以往采用向量量化的 LAM 不同，LAPT-Scale-LAM 使用连续潜在空间来保留细粒度的运动与交互动态。我们进一步结合感知、语义和光流对齐信号，使视觉变化层面的监督超越单纯的像素重建。LAPT-Scale-LAM 在 2.33 万小时的第一人称视角视频上训练，为策略预训练提供隐式动作监督，带来持续的规模化收益：当经过标注的人类视频从 1000 小时扩展至 5000 小时时，真实机器人任务成功率从 63.3% 提升至 85.0%。所学策略还能泛化到未见过的视觉条件。
00:04 arXiv cs.AI 74
离散图扩散模型（GDMs）在马尔可夫噪声模型下，通过向节点和边独立添加噪声来破坏图结构。在没有节点特征的无条件设置下，仅用一张图训练的等变去噪器能够生成新颖的图，而边重叠度和 WL 核相似度等样本级指标并未发现记忆的证据。在本研究中，我们质疑这一观点，并首次表明图扩散模型确实会出现记忆现象。通过分析在双块随机块模型（SBMs）上训练的 GDMs 的逆向扩散轨迹，我们发现了强烈的训练数据偏向：与留出的测试图相比，模型几乎能够完美恢复被噪声破坏的训练图。我们将其称为条件记忆，因为它只有在逆向轨迹以被噪声破坏的训练图为条件时才会显现，而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距：训练损失持续下降，而留出图上的损失却不断上升，且早停无法缓解这一现象。记忆的出现总是先于生成图中社群结构的形成，因此，在此之前的所有检查点都只能生成没有结构的图。这种行为在我们测试的所有节点规模下都成立。
17:37 arXiv cs.AI 74
从大型教师模型中蒸馏长链推理轨迹，是提升小型语言模型推理能力的一种有效途径。然而，现有方法通常在蒸馏前选定一个固定的训练集，忽略了推理样本的效用会随着学生模型的演化而变化。当只能使用少量教师模型轨迹进行训练时，这种错配的代价尤为高昂。此外，已经掌握的样本几乎无法提供新的监督信号，而远超学生模型能力的样本又可能难以从中学习。因此，训练数据应随着模型能力的演化而调整，但在学生模型初始能力较弱时，很难进行可靠的数据选择。为应对这些挑战，我们的核心思路是先建立基本推理能力，再根据学生模型不断演化的能力边界调整训练数据。我们提出了 BoundaryEvo，一个两阶段的数据—模型协同演化框架。在能力启动阶段，我们直接蒸馏一小组由教师模型生成的长推理轨迹，而不使用单独的模型对其进行评判和筛选，使学生模型在开展能力感知的数据选择之前获得初步推理能力。在能力边界协同演化阶段，我们反复选择当前学生模型尚未掌握、但专家模型能够可靠解决的问题，并随着学生模型的演化更新训练数据。仅使用 1,000 个训练样本，BoundaryEvo 就在 11 个推理基准上持续优于静态和动态数据选择基线，将原始 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上的准确率从 26.8 提升至 46.0。代码和数据将公开发布。
12:00 arXiv cs.LG 80
arXiv:2609.39882v2 公告类型：替换交叉版本 摘要：预训练使大型语言模型（LLM）具备与角色、风格、价值观和目标相关的广泛行为模式。后训练教授条件性执行能力，并使乐于助人的助手成为默认模式，但不会从权重中抹除其他模式；因此，明确的提示词可能诱发某些人格，而这些人格会反复影响模型的判断、语言和行动。在开放权重设置下，运行时控制可以被移除，这促使人们研究人格遗忘：一种在权重层面进行的编辑，使指定人格难以在未见过的上下文中被诱发和执行。我们推出 PersonaUnlearnBench，这是一个特定于模型的配对基准，涵盖来自三个系列的六个 LLM 和五种人格，包含对齐的遗忘集/保留集、留出的指令释义以及四个维度的评估。该基准表明，标准遗忘方法无法在不牺牲有意义的生成能力或通用效用的情况下，可靠地抹除目标人格。因此，我们提出 PaCE：通过比较模型针对同一问题生成的目标响应与理想响应，定位一种内部行为方向；随后训练目标提示词对应的状态，使其远离目标模式，并趋向匹配的理想响应。实验表明，PaCE 能够持续抑制目标人格，同时保持较高的响应质量和有用的替代行为，仅付出中等程度的效用成本。这些结果确立了人格遗忘作为一种独特的行为层面编辑问题，并表明它是实现对潜在 LLM 响应策略进行持久控制的一条实用途径。
12:00 arXiv cs.LG 80
arXiv:2608.25757v5 公告类型：replace-cross 摘要：大规模视觉--语言--动作（VLA）策略推动了通用机器人控制的发展，但大多数策略仍然是从刺激到动作的黑箱：动作是可见的，但其解释性状态却不可见。它们无法原生提供三类解释信号：任务进度、下一个语义转换以及局部指令可靠性。已有研究表明，进度和事件结构有助于长时域控制，不确定性则有助于监测；然而，这些能力通常只是在动作预训练之后才被添加或提取。因此，当前领域缺少一种将解释性状态与控制联合预训练的 VLA 基础模型。受生物传感运动组织方式的启发——在这种组织方式中，对结果敏感、按事件分段且具有概率性的预测共同构成行为——我们提出了 LM-X。LM-X 学习三种通过直接监督获得的在线信号：回报剩余量（RTG）估计可见的进度和状态质量；事件剩余量（ETG）预测到下一个语义事件之前的动作序列；异方差动作流方差则报告局部指令的可靠性。RTG 为 ETG 提供条件，二者共同为动作生成提供条件；不确定性在动作专家内部进行估计，使解释成为控制的一部分，而非事后描述。我们在超过 20,000 小时的异构真实机器人轨迹上对 LM-X 进行预训练，其中包括超过 1,000 小时的失败运行。在 50 个随机困难的 RoboTwin2.0 任务上，LM-X 的成功率达到 74.1\%；在七个真实机器人任务上达到 73.5\%，而 GR00T N1.7 的成功率分别为 55.4\% 和 50.7\%。其信号能够跟踪进度和性能退化，预判事件尺度的运动，检测高误差动作，并提前预警失败。这些结果表明，LM-X 是一种可解释的 VLA 基础模型，能够将透明的预测状态与更强的通用控制能力结合起来。Github: https://github.com/loongOpen/LoongWu-LM-X-VLA
12:00 arXiv cs.LG 80
arXiv:2605.31163v4 公告类型：replace-cross 摘要：我们引入了\emph{设计模型框架}：一种根据关于记忆的显式假设推导高效递归序列映射的方法。设计模型通过精确贝叶斯滤波将证据写入记忆；依赖查询的读出会生成预测分布，其均值即为层输出。在我们的线性高斯实例中，\emph{Bayesian Layer}同时传播均值和协方差：协方差跟踪所存储关联的不确定性，使写入过程朝向不确定的方向，在证据不断积累时逐渐减小增益，并保留具有高置信度的记忆。同一框架统一了若干次二次方递归：在线性注意力、GLA 和 Mamba-2/SSD 中，它们是在潜在输入设计模型下的精确滤波器；而 DeltaNet 及相关的 Delta-rule 模型，则是对 Bayesian Layer 设计模型进行协方差重置后得到的约化形式。恢复协方差传播后，可以得到关于检索动态的闭式预测；我们通过实验证实了这些预测，并在受控碰撞研究、学习式关联回忆和 Zoology MQAR 基准测试中发现，这样做提升了模型在训练范围之外的鲁棒性。在匹配状态预算的条件下，从头开始在 WikiText-103 上训练，可降低关联回忆命中样本的困惑度。将 Bayesian Layers 蒸馏到一个预训练的 340M Gated DeltaNet 中，相较于计算量匹配的对照模型，能够提升 RULER 长上下文检索性能，但会使留出集困惑度增加 2.5--2.7%。
12:00 arXiv cs.LG 74
arXiv:2605.12118v3 公告类型：replace-cross 摘要：随机过程模型的神经似然替代模型（例如 Neural Ratio Estimation）通常通过在模拟数据上进行概率分类来训练，这迫使人们在替代模型质量和训练成本之间进行权衡。对于能够获得精确得分函数 $\nabla_\theta \log p(x \mid \theta)$ 的结构化模型，可以将这一信息用于训练，即在交叉熵损失中加入得分匹配项。然而，两种损失的最优权重无法预先确定，手动选择则需要耗费高昂的调参成本，从而抵消了计算节省。我们提出一种自适应、免调参的算法，根据损失梯度在训练过程中设置得分损失权重，仅为标准分类器训练增加极小的开销。我们在涉及网络动力学和空间过程的案例研究中评估了该方法，结果表明，与生成更多训练数据相比，该方法能够以大幅降低的计算成本提升替代模型质量。值得注意的是，在某些情况下，我们的方法仅使训练时间增加不到 1.1 倍，却实现了相当于将训练数据增加 10 倍的下游推断性能。
12:00 arXiv cs.LG 79
arXiv:2508.12466v3 公告类型：替换交叉版本 摘要：连接预训练视觉模型和语言模型通常需要将图像特征投影到语言模型的输入空间中。Inverse-LLaVA 在解码器注意力中反转了这一映射：将语言状态投影到视觉特征维度，并通过模态特定映射生成查询、键和值的残差更新。融合模块与低秩适配（LoRA）利用 665K 条视觉指令进行联合学习，骨干网络保持冻结，且无需单独的对齐阶段。在九项主要基准评测中，最终的 7B 模型在多项任务上接近两阶段 LLaVA-1.5。在 VQAv2 上，其得分为 78.45%，而官方 LLaVA-LoRA 为 79.13%；在 VizWiz 上则为 50.96%，高于后者的 48.56%；TextVQA 得分较低，为 56.96%，而后者为 58.47%。受控实验考察了融合组件、插入深度、视觉特征和语言模型规模。表示分析表明，文本映射保留了成对相似度排序中的大部分信息，同时改变了其几何分布范围。额外的配对监督提升了名人识别能力，而指令重放修复了由字幕引起的答案格式错误。分析性计算成本表达式和固定工作量配置文件将额外的融合计算与省略的对齐阶段区分开来。这些发现表明，文本到视觉的注意力融合是仅使用指令进行多模态适配的一种实用替代方案。
12:00 arXiv cs.LG 76
arXiv:2609.18587v3 公告类型：替换 摘要：测试时强化学习（TTRL）使模型无需依赖带标签的训练数据即可提升推理能力，但现有方法通常会优化模型中相当大比例的参数。这引出了一个自然问题：当奖励信号和优化空间都受到严格限制时，是否仍能实现有效的测试时适应？我们通过无标签的仅偏置 TTRL 回答了这一问题。该方法使用多数投票伪标签作为奖励，仅优化约 100K 个偏置参数，同时冻结预训练骨干网络。在 MATH-500 上，我们的方法使用 Qwen2.5-7B 达到 76.67% 的准确率，略高于我们对有标签偏置引导方法的复现结果，同时相比全参数 TTRL 优化的参数数量减少了 76,000 倍。同一训练流程还提升了模型在视觉-语言和音频推理任务上的表现，包括 MathVista、AI2D、LogicVista 和 MMAU。我们进一步表明，学习到的引导向量能够迁移到 4,500 个留出的 MATH 问题上，说明这种适应并不局限于测试时优化所使用的问题。最后，我们分析了这种高度受限的适应为何能够奏效，发现多数投票的可靠性会随着 rollout 一致性的提高而提升，而具有更高可访问梯度能量的偏置子空间则表现出更强的下游可训练性。这些结果表明，仅使用完全无标签的奖励来优化一个极小的仅偏置子空间，也能实现显著的测试时适应。
12:00 arXiv cs.LG 82
arXiv:2609.14193v4 公告类型：替换 摘要：On-policy 蒸馏（OPD）正日益应用于前沿基础模型的后训练。该领域以往的工作主要聚焦于算法改进，但 OPD 在多大程度上依赖其训练问题，尤其是这种依赖可以降低到什么程度，仍不明确。在两个具有代表性的单教师 OPD 设置中，我们发现，使用 8 个真实提示词进行训练所取得的性能，与使用 17k 个问题进行训练相当；而在测得的难度和初始蒸馏差距上存在显著差异的数据集，也会产生相近的结果。我们的分析提出了两种互补的解释：重复采样可能使少量提示词也能揭示教师模型的大量监督信号；同时，OPD 能够迁移超越数据集特定知识的、可泛化的推理能力。基于这些观察，我们进一步提出无数据 on-policy 蒸馏（DF-OPD）设置，以研究系统能否自行提供训练问题，从而消除对外部数据的需求。在不使用种子示例的情况下，通过 64 个自行生成的问题，DF-OPD 在两个单教师设置中都取得了与完整数据 OPD 相当的性能。这一发现同样适用于多教师 OPD：在数学、代码和指令遵循任务中，1k 个生成问题取得了与使用约 7k 个真实后训练示例进行训练相当的性能。我们还进一步探索了 OPD 是否能够在没有明确训练问题的情况下运行。实验表明，这仅在有限情况下有效：学生模型会出乎意料地生成并回答自己的问题，从而使这一过程退化为一种隐式的 DF-OPD。总体而言，这些发现促使我们重新审视训练数据在 on-policy 蒸馏中的作用。代码可见于 https://github.com/Ryuki661/DF-OPD
12:00 arXiv cs.LG 72
arXiv:2606.22200v2 发布类型：替换 摘要：我们研究不确定性下基于回归的数据融合问题：有多个带噪声且存在偏差的测量源可供使用，但训练期间缺少真实标签。这一场景常见于传感器网络、仿真集成以及监督成本高昂或难以实现的科学监测系统。我们提出 Neural Conjugate Aggregation Model（NCAM），这是一个将神经网络与共轭高斯推断相结合、用于无监督多源融合的层次贝叶斯框架。NCAM 根据上下文协变量学习各数据源特有的偏差和可靠性，从而针对潜在目标变量得到具有解析可处理性的后验分布，并分解认知不确定性与偶然不确定性。通过传感器锚定和方差正则化，我们解决了结构性不可辨识问题，实现了稳定且可解释的后验聚合。为利用有限样本保证性补充贝叶斯不确定性，我们整合了局部自适应蒙特卡洛保形预测，在可交换性假设下生成具有覆盖率保证的异方差预测区间。在合成数据集和真实世界空气质量数据集上的实验表明，与包括均值聚合、概率 PCA 和 Kalman filtering 在内的无监督基线方法相比，该方法具有更高的预测准确性和校准良好的不确定性。
12:00 arXiv cs.LG 78
arXiv:2606.06892v3 公告类型：替换 摘要：可扩展的数据归因方法通常为单个训练样本分配彼此孤立的效用分数。这一普遍的加性假设无法从根本上捕捉关键的子集动态，包括数据冗余和互补覆盖。在本文中，我们将归因重新定义为子集级反事实效用预测，并提出具备交互感知能力的代理模型 GRASP。基于理论上的平滑性下界，GRASP 通过二次几何惩罚显式建模子集交互。为在不依赖隐藏的预言机调优的情况下实现预训练规模的高效性，我们将低维特征摘要与严格有限的下置信界选择协议相结合。广泛的子集重训练评估表明，GRASP 明显优于现有的可扩展基线方法。在反事实子集保真度方面，它使任务级秩相关性提升至原来的两倍以上，同时将前期工件构建成本降低了近一个数量级。下游诊断进一步表明，该评分机制能够迁移到语言模型数据筛选和跨领域视觉数据选择中，为优化大规模预训练语料库奠定了稳健基础。
12:00 arXiv cs.LG 77
arXiv:2606.01833v2 公告类型：替换 摘要：蛋白质动力学的生成式模拟器能够以分子动力学一小部分的成本生成合理的轨迹，但它们会继承训练分布，并且在长时域外推过程中往往会重复访问已知状态，而不是到达稀有状态。受经典增强采样的启发，我们在预训练模拟器的生成空间中引入一种隐式的、依赖历史的偏差。具体而言，历史感知评分估计器通过距离加权偏差增强冻结的模拟器，引导反向时间采样远离此前生成的结构，并通过环境支持项进行正则化。为在长时域内保持结构有效性，我们采用基于评分的细化步骤，利用冻结的模拟器将漂移后的样本重新投影到数据流形上。实验表明，该方法：（i）在 DynamicPDB-80 上将多样性提升了 $35\%$；（ii）对于 $12$ 个零样本 Fast-Folding 蛋白，仅使用学习到的偏差，就能以高达约 ${\sim}15\times$ 的速度达到无偏模拟器的覆盖范围；将其与细化步骤结合后，达到该覆盖范围的速度最高提升至约 ${\sim}37\times$，同时覆盖的低能量状态数量增加至约 ${\sim}3\times$。代码即将发布。
12:00 arXiv cs.LG 76
arXiv:2605.27079v2 发布类型：替换 摘要：预训练流策略的离策略强化学习仍然面临挑战，因为多步采样过程带来的优化不稳定性使其难以训练。近期，带 Adjoint Matching 的 Q-learning（QAM）将策略改进重新表述为由学习得到的评论家引导的随机最优控制（SOC）问题，从而解决了这一问题。然而，QAM 继承了评论家引导式策略改进的一个根本性脆弱点：微小的评论家误差可能被指数级放大，并经常导致性能崩溃。本文提出 Trust Region Q Adjoint Matching（TRQAM），这是一种稳定的离策略微调算法，通过投影对偶下降自适应地控制微调策略与预训练策略之间的路径空间 KL。具体而言，我们在流策略的采样过程中调整信赖域参数 $\lambda$，并证明 $\lambda$ 会在 SOC 目标中对路径空间 KL 进行精确加权。因此，我们的方法能够在预先设定的 KL 预算内严格控制策略偏离预训练策略的程度，从而实现稳定的离策略强化学习。在 50 个 OGBench 任务上的实验表明，TRQAM 在离线强化学习和离线到在线强化学习中均持续优于以往方法。特别是，TRQAM 在离线强化学习中取得了 68% 的总体成功率，显著高于最强基线的 46%。
12:00 arXiv cs.LG 76
arXiv:2605.17562v2 公告类型：替换 摘要：EEG基础模型（EEG-FMs）主要依据干净、同分布数据上的准确率进行评估；与监督式基线和较弱的冻结表示相比，它们仅展现出有限的性能提升。本研究通过在十个数据集上评估六个EEG-FMs和一个监督式基线，从三个分析层面考察这些结论是否适用于超越干净准确率的情形：（i）鲁棒性：我们施加了测试时扰动，包括加性噪声、随机及基于脑区的通道丢弃，以及特定脑区的噪声注入。分析表明，没有任何单一模型能够在所有失效模式下占据主导地位。噪声鲁棒性最强的模型之一，在通道丢弃下却最为脆弱；而且，当通道被移除而不是进行零填充时，大部分通道丢弃脆弱性会消失。（ii）可解释性：利用EEG-FMs中的归因方法，我们表明，模型总体上会将相关性集中于与任务相匹配的脑区，这与已知的神经生理学规律一致。（iii）表达能力：我们证明，先前归因于低质量预训练表示的仅使用任务头时性能不佳，在很大程度上是由池化策略导致的；当保留其词元级嵌入时，EEG-FMs具备足够的表示能力。此外，通过分块探测和注意力分析，我们表明，后部模块会在微调过程中被重新调整用途，而前部模块已经包含与任务相关的信息。我们的结果表明，对EEG-FMs的结论取决于评估选择；我们建议，未来对EEG-FMs的评估应报告各类扰动下的鲁棒性，生成归因图，并考察多种池化策略。
12:00 arXiv cs.LG 79
arXiv:2605.12174v2 发布类型：替换 摘要：在大规模学习中，针对随机小批次求解最优传输（OT）是精确 OT 的常见替代方案。在流匹配（FM）中，这种替代方案用于获得类似 OT 的耦合，从而使概率路径变直并降低数值积分成本。然而，重复执行小批次 OT 所诱导的总体层面耦合仍未得到充分理解。我们将这一耦合形式化为期望批次 OT 传输计划 $\overline{\pi}_{k}$，其通过对独立的、大小为 $k$ 的小批次上的经验 OT 传输计划取平均得到。随后，我们证明了其在大批次下的一致性，并在与生成建模相关的半离散情形中，推导出传输成本偏差以及 $\overline{\pi}_{k}$ 收敛至 OT 传输计划的速率。对于 FM，这得到了一种总体耦合，其诱导的速度场具有足够的正则性，能够定义从源分布到离散目标分布的唯一流。最后，我们在一个易于处理的双原子模型以及合成数据和图像实验中，量化了 OT 批次大小与数值积分之间的相互作用。
12:00 arXiv cs.LG 74
arXiv:2605.10414v2 公告类型：替换 摘要：旋转位置编码（RoPE）广泛应用于现代大型语言模型。然而，当序列长度超出训练期间见过的范围时，旋转相位可能进入分布外区域，从而导致虚假的远程对齐、注意力分散以及检索性能下降。现有的解决方案只能部分缓解这些问题，因为它们通常需要以牺牲局部位置分辨率为代价来换取长上下文稳定性。我们提出 GAPE（门控自适应位置编码），这是一种可直接替换使用的位置编码增强方法，在保留旋转几何结构的同时，将内容感知偏置直接引入注意力 logits。GAPE 通过一个依赖查询的门控机制压缩无关上下文，并通过一个依赖键的门控机制保留重要的远距离 token，从而将基于距离的抑制与 token 重要性解耦。我们证明，受到较弱保护的远距离上下文会随着查询门控值的变化呈指数衰减，而被选中的键则可通过地标保护继续保持可访问性。我们进一步证明，GAPE 可以在标准缩放点积注意力中实现。在受控检索和语言建模实验中，GAPE 在长上下文场景下表现出更强的鲁棒性，并可外推至训练长度的 8 倍。我们还将 GAPE 改造并应用于一个预训练的 7B 模型，在标准基准测试中保持了原有性能，并在评估的最长上下文长度下取得了更好的表现。这些结果表明，自适应上下文抑制可以作为位置表示的补充，促进长上下文泛化。
12:00 arXiv cs.LG 82
arXiv:2605.08036v2 公告类型：替换 摘要：我们提出了 CUTS-GPR，这是一种用于在高维环境中执行数值精确 GPR 的新方法。CUTS-GPR 的核心组件是一种极其快速的核矩阵-向量乘法，其计算规模随训练数据量 $N$ 近似线性甚至呈线性增长，并且随维度 $D$ 呈低阶多项式增长。这是通过将加性核与不完整网格相结合，并利用由此产生的核矩阵结构实现的。我们通过包含数十亿个数据点和数千个维度的基准测试，验证了矩阵-向量乘法的可扩展性。我们进一步在合成数据集上运行完整的 GPR 计算（包括超参数优化），其中最大规模达到 $N = 4\,494\,001$ 和 $D = 500$，展示了 CUTS-GPR 端到端的可扩展性。作为一项现实且具有挑战性的测试，我们最终将 CUTS-GPR 应用于一组包含十个势能面（PESs）的数据集，其规模为 $N = 447\,265$ 和 $D = 24$。这些计算在数小时内完成，表明 CUTS-GPR 能够实现高维 PESs 的贝叶斯建模——这是计算化学领域长期以来的一项挑战。
12:00 arXiv cs.LG 77
arXiv:2603.13419v3 公告类型：替换 摘要：扩散模型在实践中具有良好的泛化能力。矛盾的是，一个最优的扩散模型会完全记忆训练数据，因此无法实现泛化，这引出了一个问题：实际的扩散模型是如何产生泛化能力的？我们表明，扩散模型会逐步过拟合去噪训练目标，从而在中间噪声水平下造成验证性能与训练性能之间的泛化差距。在一个具有受控去噪误差、完全可解析的二维玩具模型中，我们将这一差距追溯到模型误差与数据分布支撑集密度之间的相互作用。最优去噪流场会高度局部化于各个训练点附近，而模型误差会抑制对训练点的精确回忆，从而产生平滑且具有泛化能力的流场。最后，我们考察了训练期间的过拟合如何沿推理轨迹显现。我们发现，从轨迹中间状态得到的预测，与从加噪训练图像和验证图像得到的预测，处于特征空间中截然不同的区域。随着训练推进和模型规模增大，这些预测对训练数据表现出更强的相对亲和性，尽管它们与验证数据的绝对相似度并未降低。综上，这些发现表明，去噪目标和推理轨迹以不同方式体现了结构化记忆。
12:00 arXiv cs.LG 76
arXiv:2603.01376v2 公告类型：替换 摘要：大型语言模型（LLM）的稀疏加低秩（$\mathbf{S} + \mathbf{LR}$）分解已成为模型压缩领域一个颇具前景的方向，旨在将预训练模型权重分解为稀疏矩阵与低秩矩阵之和（$\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$）。尽管近期取得了进展，现有方法相比稠密模型通常会出现显著的性能下降。在本文中，我们提出了 3BASiL-TM，这是一种高效的单次训练后处理方法，用于对 LLM 进行（$\mathbf{S} + \mathbf{LR}$）分解，旨在弥合这一差距。我们首先提出了一种新颖的三块交替方向乘子法（ADMM），称为 3BASiL，在具备收敛保证的情况下最小化逐层重构误差。随后，我们设计了一个高效的 Transformer 匹配（TM）细化步骤，在 Transformer 层之间联合优化稀疏与低秩组件。该步骤最小化一种新颖的内存高效损失，使输出在 Transformer 层面实现对齐。值得注意的是，TM 过程具有通用性，因为它能够增强任何（$\mathbf{S} + \mathbf{LR}$）分解，包括纯稀疏分解。数值实验表明，在（2:4 Sparse + 64 LR）配置下，与已有方法相比，3BASiL-TM 将相对于稠密 LLaMA-8B 模型的 WikiText2 困惑度差距缩小了 30% 以上。此外，与当前最先进的（$\mathbf{S} + \mathbf{LR}$）方法相比，我们的方法在 A100 GPU 上实现了超过 2.5 倍的压缩运行速度提升。我们的代码可在 https://github.com/mazumder-lab/3BASiL 获取。
12:00 arXiv cs.LG 82
arXiv:2601.21731v3 公告类型：替换 摘要：Prior-Data Fitted Networks（PFNs）通过一次前向传播执行近似贝叶斯推断，基于其构建的表格基础模型（TFMs）如今已得到广泛应用。为了理解网络内部进行的推断，近期针对TFMs的机制研究定位了预测形成的位置，但将这些模型视为表格预测器，而非PFNs。因此，PFNs是否表示其上下文的谱内容——即决定平稳核的量——以及这种内容是否能够被读出为显式核，仍是未知的。我们回答了这两个问题。首先，在七个PFNs中（包括四个预训练TFMs以及一个仅在决策树先验上训练的模型），残差流上的线性探针能够以$R^2 \geq 0.95$恢复上下文的频率。这一结构主要由单个主方向引导。其次，激活修补和子空间修补表明，网络通过一个低维子空间利用这一结构；在该子空间中，少数谱方向对预测的推动作用远大于随机方向。即使对于决策树模型，这一结论仍然成立，因此并不需要谱训练先验。在最多包含499个特征的真实数据集上，在除一对之外的所有数据集对中，TabPFN的192个方向中有64个（无需标签即可选出）承载了上下文因果效应的85%至95%。第三，我们引入Filter Bank Decoder，通过Bochner定理将冻结的PFN表示转换为显式平稳核。无需任何测试时优化，解码得到的核即可支持高斯过程回归，其性能可与深度核学习和随机傅里叶特征相竞争，而成本约低$200\times$。因此，PFN潜表示包含可被因果性利用、并可恢复为可移植核的谱结构。
12:00 arXiv cs.LG 76
arXiv:2511.04000v2 公告类型：替换 摘要：由于具有可解释性，决策树广泛应用于金融和医疗保健等高风险领域。本文提出了一种高效且可扩展的方法，用于生成合成预训练数据，从而实现决策树的元学习。我们的方法以合成方式采样近乎最优的决策树，创建大规模且逼真的数据集。借助 MetaTree Transformer 架构，我们证明了该方法能够达到与使用真实世界数据进行预训练或使用计算成本高昂的最优决策树进行预训练相当的性能。该策略显著降低了计算成本，提高了数据生成的灵活性，并为可扩展、高效地对可解释决策树模型进行元学习铺平了道路。
12:00 arXiv cs.LG 81
arXiv:2508.19458v2 公告类型：替换 摘要：成员推断攻击获取学习算法的输出以及一个目标个体，并试图判断该个体是训练数据中的成员，还是来自同一分布的独立样本。成功的成员推断攻击通常要求攻击者掌握训练数据所采样分布的一些信息，而这些信息通常通过来自该分布的一组独立参考样本来获取。在本文中，我们通过研究样本复杂度——即成功发起攻击所需的最少参考样本数量——探究攻击者进行成员推断所需的信息量。我们在高斯均值估计这一基本场景中研究该问题：学习算法获得来自 $d$ 维高斯分布 $\mathcal{N}(\mu,\Sigma)$ 的 $n$ 个样本，并尝试估计 $\hat\mu$，使其满足误差条件 $\mathbb{E}[\|\hat \mu - \mu\|^2_{\Sigma}]\leq \rho^2 d$。我们的结果表明，在这一场景下进行成员推断时，要实施任何能够与信息完全的攻击者相竞争的攻击，可能需要 $\Omega(n + n^2 \rho^2)$ 个样本。这是首个表明攻击者有时需要比训练算法用于训练模型的样本多得多的结果。这一结果对实践具有重要意义，因为实践中使用的所有攻击都具有受限形式，只使用 $O(n)$ 个样本，无法从 $\omega(n)$ 个样本中获益。因此，当分布信息易于获取时，这些攻击可能低估了成员推断的可行性，而利用更多信息的更优攻击或许是可能的。
12:00 arXiv cs.LG 76
arXiv:2405.15662v2 发布类型：替换 摘要：机器遗忘旨在无需完整重新训练，即可从已训练模型中移除指定训练数据或知识的影响。对于现代图像分类器和大型语言模型（LLMs）而言，这一能力尤为重要，因为重新训练的计算成本可能十分高昂。然而，复杂数据上的机器遗忘仍然十分困难，因为目标信息通常分布在多个语义元素之中。现有方法主要通过移除样本、修改标签或编辑模型参数来减弱遗忘目标的影响。这些方法通常不会明确识别出哪些语义概念将遗忘目标与模型的预测结果或生成响应联系起来。因此，很难确定应修改哪些信息。这种不确定性可能导致目标信息残留，或不必要地影响本应保留的知识。为弥补这一空缺，我们提出了一种概念引导的数据投毒遗忘框架，能够明确识别出对目标类别或知识贡献最大的概念，并利用这些概念指导模型更新。对于图像分类，我们的方法首先通过 Post-hoc Concept Bottleneck Model 识别与类别相关的概念，定位表达这些概念的图像区域，并构造基于替换的投毒样本。对于 LLMs，我们通过多个问题引出目标知识，汇总所得响应中的 Integrated Gradients，以识别持续重要的内容，并对这些内容进行掩码处理，从而构造投毒训练目标。在多个数据集上的实验表明，所提出的框架能够在不同任务中实现有效的机器遗忘，同时在很大程度上保留模型在保留内容上的实用性。
12:00 arXiv cs.LG 75
arXiv:2610.12467v1 公告类型：cross 摘要：文本条件运动生成器能够生成可跟踪的全身运动，但不具备场景依赖的安全概念：同一个动作可能是针对物体，也可能是针对人。现有的安全防护措施要么检查提示词，要么需要带标签的运动数据，要么施加几何约束；因此，它们无法直接考虑场景上下文如何改变运动的含义。我们提出上下文安全过滤（contextual safety filtering，CSF），这是一种无需训练的过滤器，将自然语言安全规则基于生成器生成的安全和不安全参考轨迹加以落实。对于每条激活的规则，安全和不安全参考轨迹定义一个仿射安全值，并由安全参考跟踪 CBF-QP 对其进行约束。在四个采用不同架构的预训练生成器上，CSF 在所有明确指定和由场景触发的不安全案例中均能激活预期规则，并将危险事件率最多降低 90%，同时保留 88%—100% 的无害运动。我们在真实世界的 Unitree G1 上展示了完整系统，该系统成功阻止了各种场景中的不安全运动，包括与人和物体的交互。
12:00 arXiv cs.LG 81
arXiv:2610.12435v1 发布类型：cross 摘要：教会人形机器人用全身遵循指令面临两大障碍。其动作空间庞大且高度耦合：机器人必须在保持平衡的同时协调腿部、手臂和手指的运动，这使得关节级动作难以学习。此外，人形机器人示范数据十分稀缺，因此当前的通用人形机器人策略无法开箱即用地遵循新指令，而是在部署前针对每项任务使用遥操作示范进行微调。人类示范的数量要多得多，但人的动作并不是机器人指令。我们通过改变通用策略的预测目标，消除了这两个障碍。我们提出了 VioLA，一种通用人形机器人策略，它预测身体和手部运动潜变量，而不是关节指令。预训练的身体控制器和手部控制器在机器人上执行这些潜变量。与之对应的运动编码器将人类和机器人的运动映射到相同的潜空间中。因此，人类记录可以在策略的动作空间中获得标注，训练示范池包含 1.406 亿帧，其中 93.2% 来自人类。由此，VioLA 无需针对特定任务进行微调，即可在真实机器人上以零样本方式遵循运动指令，成功率达到 100%；相比之下，GR00T N1.7 和 $\Psi_0$ 的成功率分别为 16.7% 和 0%。在无需针对特定任务进行微调的情况下，它在操作任务上的成功率也达到 88.6%。同样的方法适用于两个 VLA 和一个 world-action 模型骨干网络。仅使用人类示范训练的通用策略即可在真实机器人上以零样本方式完成运动任务。代码和检查点将会发布。
12:00 arXiv cs.LG 82
arXiv:2610.12417v1 公告类型：cross 摘要：多模态大语言模型（MLLMs）在空间、具身、物理和时间推理方面表现不佳。我们假设，这些失败反映出一种共同的视觉状态转移推理能力缺陷，并检验该能力能否作为一种共享训练原语：不同模型可以从不同监督来源中学习这一能力，并将其复用于不同任务，同时采用系统化的训练方案。现有基准分别记录了这些缺陷，但不支持跨场景、动作和推理操作的受控比较。因此，我们提出WOVEN——一个用于视觉状态转移推理的训练数据源和基准。WOVEN按照场景、动作和推理类型组织转移监督，使用由视频预训练生成模型产生的多样且逼真的演化过程数据：涵盖20种场景类型、5种动作类型和8种推理类型，共36,076个样例。我们首先评估了38个前沿MLLMs（例如GPT-5.4和Qwen3-VL-235B-A22B），发现了显著且系统性的能力缺陷：即使是最强的模型，表现也远低于人类；这些失败在不同模型系列中反复出现，并且随着模型规模扩大仍然存在。随后，我们在多个规模上使用WOVEN训练MLLMs，发现它们学会了一种能够广泛迁移的共享能力：仅分别使用约2,000条样本训练的子集，就能使26个外部基准中的22个得到提升，最高提升27.3个百分点；此外，在保持相当准确率的情况下，WOVEN数据可以替代某项任务自身训练数据的30%至50%。进一步的受控比较得出了一套视觉世界建模训练方案，并在预留基准上进行了前瞻性验证：应根据监督所教授的推理操作来选择监督数据，而不是根据其呈现的动作、场景或领域来选择；同时，为增强鲁棒性，应优先选择视觉状态变化更大的数据。我们的工作确立了视觉状态转移推理作为一种可复用的基础能力，用于在MLLMs中开展系统性的视觉世界模型训练。
12:00 arXiv cs.LG 75
arXiv:2610.12345v1 公告类型：交叉收录 摘要：监督微调（SFT）使预训练大语言模型（LLMs）适应下游任务，但预训练对任务所需概念的支持程度可能存在显著差异。高频概念更可能被充分学习，而稀有概念的表征可能仍然薄弱。我们提出了一个名为“先验壁垒”的新概念，用于量化预训练模型相较于目标概念对竞争概念的支持强度。我们观察到，先验壁垒呈长尾分布，使头部概念和尾部概念在 SFT 中处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导了长尾先验壁垒下 SFT 的预测风险界，明确刻画了先验壁垒与累积的 SFT 证据如何共同决定预测性能。针对这种依赖于先验壁垒的需求，我们提出 PASS，一种自适应 SFT 指令选择方法。该方法构建从参考内容中提取的概念，估计每条指令提供的区分性证据，并将选择预算自适应地分配给当前选择尚未充分覆盖的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些概念需要额外监督。实验表明，在四种骨干模型与预算组合设置下，我们的方法均优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。
12:00 arXiv cs.LG 77
arXiv:2610.12207v1 公告类型：交叉发布 摘要：预训练 Transformer 模型正越来越多地用于研究科学与技术进步。针对论文或专利文本调优的编码器，在科学与技术领域的下游分类、回归和相近性任务中，表现优于通用模型。然而，由于这些预训练模型固有的前视偏差和领域偏差，它们在研究科学、技术及其交叉领域的时间依赖特征或历史档案特征方面的适用性受到限制。这些局限源于训练语料在时间分布和文本来源分布上缺乏约束。我们提出 SciTBERT：一个基于 BERT 衍生架构的时间一致性语言模型家族，使用科学论文、专利和高质量教育类网页文本进行训练，训练数据截止日期覆盖 2013 年至 2025 年间的每一年。我们还利用论文和专利引用，以保持时间一致性的方式对这些模型进行后训练，构建了 SciTBERT-CI 模型家族。我们发现，即使训练数据受到语料中较早年份截止日期的限制，这些模型的表现通常仍优于此前的领域专用编码器模型。为进一步探究此类模型在多大程度上能够学习连接科学与技术的表征，我们提出了 PatRepEval 基准，其中包含一组面向科学与技术交叉领域的专利相关文本嵌入任务。模型在涵盖论文和专利的多种分类、回归和检索任务中的表现，凸显了使编码器模型表征与其下游任务的领域分布相匹配的重要性；同时，保持时间一致性的编码器能够达到或超过在无时间约束条件下训练的模型的表现。
12:00 arXiv cs.LG 75
arXiv:2610.11575v1 发布类型：cross 摘要：稀疏混合专家模型能够在保持每个 token 固定计算预算的同时，高效扩展参数容量。然而，传统训练范式会固定选择 top-$k$ 个专家，将连续的路由分布转换为僵硬的阶跃函数。这一约束引入了一个脆弱的边界：高度竞争的专家会因微小的分数波动而被任意划分到完全监督区和零反馈区。为解决这一问题，我们提出 Elastic Expert Routing，从以 $k$ 为中心的局部离散分布中随机采样当前激活的专家预算。在多次训练迭代中，该机制将尖锐的阈值软化为渐进式概率分布。由于采样邻域保持对称，该方法在保留推理预算的同时，使期望计算成本与确定性训练相匹配。在监督微调和从头预训练设置下的大量实验均证明了该方法的有效性。在监督微调中，弹性路由使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均得分分别提升 $+0.84$ 和 $+2.02$ 个百分点。此外，在从头预训练中，与静态 top-$k$ 基线相比，该方法在各项下游任务上的平均得分高出 1.6 个百分点。
12:00 arXiv cs.LG 73
arXiv:2610.11534v1 公告类型：cross 摘要：DNNs 表现出人类所没有的鲁棒性和泛化问题。它们的数据效率也远低于人类学习者，需要大量训练样本才能准确地对新的示例进行分类。归纳偏置可以通过提供内置机制来改善泛化能力，从而减少对数据学习的依赖，有助于解决这些问题。我们将一种受生物学启发的归纳偏置融入新的激活函数 HAND（稳态、加速非线性和除法归一化）中，并在使用图像分类数据训练的 CNNs 上展示了其有效性。使用 HAND 时，ConvNeXt-tiny 只需 25 个训练周期，便可在 ImageNet1k 上达到未修改模型训练 200 个周期后的相同准确率。与归纳偏置的作用一致，随着训练时间的增加和数据增强的加强，性能差距逐渐缩小。当训练数据量减少且类别之间分布不均衡时（Long-tailed ImageNet），准确率提升幅度更大，并且不会随着训练时间增加而减弱。在 common-corruptions 数据上的泛化性能，以及拒绝来自未知类别样本的能力，在使用 HAND 后保持不变或得到提升。实验结果在不同 CNN 架构和训练数据集上均具有普适性。因此，HAND 可以减少所需的训练时间和/或训练数据的规模与多样性，有助于提升样本效率。
12:00 arXiv cs.LG 82
arXiv:2610.11479v1 公告类型：cross 摘要：因果视频扩散模型以自回归方式生成视频，适用于流式、交互式和长视频生成。然而，在标准训练下，与同等规模的双向模型相比，它们通常会产生质量较低的视频。许多现有方法通过从预训练双向教师模型初始化或进行蒸馏来弥合这一差距。相比之下，我们从图像模型初始化出发训练因果模型，整个过程中不使用任何双向视频模型。由于该路径既不需要大型双向教师模型，也不需要复杂的蒸馏流程，因此更加简单且易于扩展。在这一过程中，我们发现，基于真实历史训练的因果模型会严重依赖这些历史信息，以至于在推理时，自身生成历史中的错误会不断向前传播。我们认为，这种依赖有很大一部分是不必要的，因为当前输入本身已经决定了历史信息所能提供的大部分内容。为此，我们提出条件残差预测（Conditional Residual Prediction，CRP），这是一种降低模型对条件依赖的简单方法：模型首先在不使用条件的情况下预测目标，条件信息只能在此预测之上添加残差。将 CRP 应用于历史信息时，该方法促使模型尽可能仅根据当前内容预测每个片段，而只在当前内容无法提供时使用过去的信息。在受控实验中，CRP 几乎弥合了与采用相同设置训练的双向模型之间 6.14 分的差距。在此基础上进行扩展后，我们训练了 Optica，这是一个拥有 2B 参数的因果视频模型，能够以自回归方式生成 5 秒、480p 视频，并且仅使用约 1500 万个训练视频就在 VBench 上达到 82.78 分。
12:00 arXiv cs.LG 75
arXiv:2610.11407v1 公告类型：cross 摘要：合成表格数据生成器通常针对分布保真度进行优化，但仅有统计相似性并不能保证因果效应得到保留。本文研究了如何在完全生成式的表格模型中直接提升因果保真度。我们将因果保真度定义为：对于给定的目标估计量，从真实数据和合成数据中获得的推断分布之间的差异；理论结果表明，高统计保真度通常并不意味着高因果保真度。随后，我们提出一种因果保真度感知的训练框架，在生成目标中加入因果差异惩罚项。该框架通过因果惩罚的 TabDDPM 加以实现，并使用在策略得分函数估计量进行优化。我们进一步建立了因果正则化能够提升期望因果保真度的条件。在多种处理效应模拟实验和两个基准数据集上的实验，评估了我们的方法在保持具有竞争力的统计保真度的同时提升因果保真度的能力。
12:00 arXiv cs.LG 75
arXiv:2610.11317v1 公告类型：cross 摘要：混合专家（MoE）架构已成为扩展大型语言模型的关键技术，近期研究表明，细粒度专家设计具有显著优势。从头开始训练此类模型成本高昂，而利用预训练稠密模型进行稀疏化升级是一种颇具吸引力的替代方案。然而，我们发现了细粒度升级中的一种结构性缺陷：当细粒度专家源自同一个源模型时，朴素路由会发生坍缩，导致下游准确率降至接近随机水平（例如，在 Qwen3-1.7B 上，Drop-Upcycling-fine-grained 在 15 个基准测试中的平均准确率仅为 23.2%，与从头训练的 22.2% 基本相当，而同一方法的粗粒度版本则达到 50.2%）。我们提出 DivMoE，这是首个能够实现具备结构均衡路由的细粒度 MoE 增量升级框架。DivMoE 引入了领域专用的细粒度专家初始化方法：从经过领域自适应持续预训练的稠密模型中构建专家；同时引入多样性约束路由，通过硬性结构约束确保每个 token 激活来自不同领域组的专家。在两个基础模型和 15 个基准测试中，DivMoE 始终优于六种升级基线（在 Qwen3-1.7B 上达到 55.6%，而最强基线为 51.6%），并且在 Stage 2 持续预训练后，在每项基准测试中都严格优于稠密基础模型，从而弥合了困扰以往细粒度升级方法的性能回退差距。在公开推理混合数据上进行监督微调后，我们的 12B 参数 DivMoE 模型以 64.5% 的平均准确率达到了 Moonlight-MoE（16B）的水平，同时比受控的 NVIDIA-Upcycling 基线高出 6.1 个百分点。
12:00 arXiv cs.LG 83
arXiv:2610.11275v1 公告类型：cross 摘要：音素级模型将语音转写或生成为音素序列，音素是能够区分词语的最小声音单位。这些模型能够实现细粒度的发音控制与理解，但对于不符合任何单一训练语言的输入往往表现不佳，例如两种语言交替出现的语音（称为语码转换），或训练数据中未包含的低资源语言。我们发现了其背后的一种系统性失效模式，即音系干扰：模型假设输入仅属于一种语言，并强行施加该语言的音系规则，覆盖与所假设语言相冲突的局部音素级决策。我们通过模型保留某种语言拥有而另一种语言缺少的音素的频率来衡量干扰程度。在语码转换输入上，两个音素识别器（语音到音素模型）和一个以音素为条件的文本到语音模型会丢失其中32%至79%的此类音素，但对于两种语言共有的音素，丢失情况少得多。在未见过的语言上，我们发现音素识别器会施加其判定语音所属的训练语言的音系规则；这种判定越有把握，它丢失未见语言拥有而被判定语言缺少的音素就越多。我们从模型的内部激活中探查其语言估计，并将干扰追溯到一个低维子空间。在单语语音上，将该子空间引导至另一种语言，会使模型丢失原语言独有的音素，并生成目标语言独有的音素。我们提出窗口化语言估计（WLE），这是一种推理时修复方法：用根据每个位置周围的短窗口计算出的语言估计，替换模型在该子空间中的语言估计。在语码转换输入上，WLE能够在全部三个模型中消除34%至69%的干扰；对于识别器而言，它基本不会改变单语语音上的性能。
12:00 arXiv cs.LG 82
arXiv:2610.11132v1 公告类型：cross 摘要：监督式微调（SFT）赋予大型语言模型（LLM）专门能力，但往往会以遗忘其父模型（即微调前的预训练模型）的一般能力为代价。对于同时需要专门能力和一般能力的查询，这种权衡尤其具有限制性。我们提出了 SFT-as-context，这是一种无需训练的方法，其中父模型利用 SFT 模型的回答作为上下文来回答查询。通过上下文学习，父模型可以从 SFT 回答中获得微调能力，同时保留自身的一般能力。在 19 对父模型与 SFT 模型以及 11 个基准测试中，SFT-as-context 在微调能力上始终接近 SFT 模型：在 AIME 2024 和 LiveCodeBench 上的差距仅为 2.2 和 2.1 个百分点，在 NutriBench-English 上的宏观 MAE 差距为 2.0；同时，在一般能力上，其平均表现与父模型的差距不超过 2.2 个百分点。值得注意的是，它能够解决同时需要微调能力和一般能力的查询，即使父模型和 SFT 模型单独使用时都无法成功。该方法还可以扩展到父模型与 SFT 模型配对之外：来自小型开源 SFT 模型的回答能够提升强大的闭源 LLM 的表现，优于单独使用其中任一模型。此外，我们使用贝叶斯框架推导出理论保证，分别界定 SFT-as-context 在微调能力上相对于 SFT 模型、在一般能力上相对于父模型的误差。除此之外，我们可视化了注意力权重，发现父模型会更多地关注有用的 SFT 回答，而较少关注无关回答，这表明选择性注意力有助于父模型通过上下文学习利用 SFT 回答。
12:00 arXiv cs.LG 79
arXiv:2610.11019v1 公告类型：cross 摘要：多模态大语言模型主要从图文配对数据或带注释的视频中学习，而原始网络视频很少被用于进一步训练现有语言模型。我们研究了没有字幕且不使用文本损失的原始视频，能否作为预训练语言模型的中期训练数据。我们将视频帧编码为连续视觉标记，并让语言模型学习预测下一个视觉标记。我们使用来自 YT-Temporal-1B 的原始视频片段对 Qwen3-1.7B 进行中期训练，随后对该模型和未经中期训练的模型采用相同的图像-文本指令微调，使两者仅在中期训练环节存在差异。经过中期训练的模型在四项视频基准测试中的平均得分高出 2.9 分，在十项图像基准测试中的平均得分高出 5.1 分，涵盖感知、文档和图表任务。尽管中期训练不包含文本，文本性能仍得以保持：在 14 项文本基准测试中，平均得分为 48.9，而未经中期训练的模型为 48.0。训练过程分析表明，图像和视频方面的提升在训练进度达到 30% 以内时便已显现，此后趋于平台期，变化幅度小于 0.5 分。预测字幕并未优于预测下一个视觉标记，这表明视频中期训练可以完全保持自监督形式，无需承担自动字幕生成带来的计算开销或标注噪声。
12:00 arXiv cs.LG 81
arXiv:2610.10919v1 公告类型：cross 摘要：尽管数据质量（DQ）研究已有数十年，但数据质量维度（如准确性或完整性）与数据质量工具之间仍存在鸿沟。文献通常以文本形式定义这些维度，而数据质量工具通常实现的是与这些维度不一致的底层检查。ISO/IEC 25024 和 ISO/IEC 5259 试图通过为每个维度定义数据质量指标来弥合这一鸿沟。然而，这些数据质量指标很少被使用，因为标准没有明确如何实现它们。例如，语法准确性指标统计语法准确的值，但没有说明如何判断一个值在语法上是否准确。这只是将问题转移到了另一个层面，并未真正解决问题。因此，目前的数据质量评估无法以这些标准为基础开展。在本文中，我们使 ISO 数据质量指标具备可执行性。我们将两项标准中的所有数据级指标分为三类：（i）无需数据之外的其他输入即可使用的可泛化指标；（ii）其参数可以从干净的参考数据中学习或由专家设定的参数化指标；以及（iii）需要定性判断且无法自动化的不可泛化指标。对于可以自动化的指标，即类别（i）和（ii），我们提出了实施指南，以解决标准中未明确的问题。我们在 dqmeasure 中实现了这些指南。dqmeasure 是一个包含 20 个指标的开源库，可以从参考数据中学习这些参数，而不是依赖人工定义的规则。我们在真实世界数据集和合成数据集上的实验表明，随着注入错误数量的增加，指标得分会单调下降；指标得分会与下游机器学习性能同步下降；并且指标计算能够随行数线性扩展，从而支持基于这些标准的自动化数据质量监控。
12:00 arXiv cs.LG 74
arXiv:2610.10761v1 发布类型：cross 摘要：线性注意力是一种易于处理的模型，可用于理解 Transformer 中支配上下文学习的机制。对于线性回归任务，近期的渐近分析刻画了其学习行为和泛化行为。我们将这一理论扩展到非线性单索引目标 \(y=f(x^\top w)+\varepsilon\)。我们的主要结果确立了非线性—噪声等价性：线性注意力只能提取 \(f\) 的线性 Hermite 分量，而其余非线性结构则作为有效噪声，对泛化误差产生贡献。这一化简使得相应线性理论的结果能够迁移到非线性任务中。我们展示了该结论对有限预训练数据的影响，以及随着任务多样性增加，从任务记忆到任务泛化的转变。这些结果揭示了简化线性注意力模型的局限性，并为研究非线性上下文学习提供了一个易于处理的起点。
12:00 arXiv cs.LG 75
arXiv:2610.10560v1 公告类型：cross 摘要：基于天气和气候数据预训练的AI基础模型正日益针对远超天气预报范畴的地球科学任务进行微调。它们的开发和采用速度已经超过了科学界评估这些模型的能力。这些模型几乎完全依据基准测试技能指标进行评判，这些指标衡量的是预测结果与参考产品的接近程度，却不衡量模型是否表征了支配其所预测系统的物理过程。因此，预测技能和物理可靠性是彼此独立的属性。对于不断变化的气候所带来的非平稳条件，这一区分尤为重要，而这些模型从未针对这类条件进行训练。我们针对地球科学中AI模型的物理评估确定了五项优先事项，涵盖从特定任务的模拟器到基础模型，以及训练数据、微调、行为测试、机制可解释性和输出验证。我们建议未来十年开展三项活动：1）开放可供AI使用的评估数据集；2）建立基于物理的评估共享报告标准；3）设立专门针对这些模型安全性的研究计划。
12:00 arXiv cs.LG 81
arXiv:2610.12401v1 公告类型：new 摘要：公里尺度的区域天气预报对于当地天气预警和对天气敏感的决策至关重要。现有的数据驱动方法通常依赖数值预报提供大尺度指导，或需要额外训练全球预报组件。预训练的全球天气模型能够高效地产生大尺度预报，因此可重复利用这些模型来指导高分辨率区域预报。然而，这种耦合需要在不同网格之间对齐全球和区域表征，并将全球指导信息与局地交互相结合，以推进区域状态的演变。我们提出了 ScaleCast，一种通过全球-区域对齐解决这些挑战的区域预报框架。其中，Global-Regional Conversion 模块将联合的全球和区域表征与区域位置对齐，而 Global-Regional Alignment and Dynamics 模块则将对齐后的指导信息与区域邻域交互相结合。基于0.25度网格的 ERA5 全球分析资料和5.5公里间距的 CERRA 区域再分析资料进行的实验表明，该方法在地面和高空变量上均能改善区域预报；单个训练模型即可支持多个全球预报驱动模型（即 Pangu-Weather、GraphCast 和 HRES），无需针对特定模型重新训练。在3公里间距的 HRRR 数据上进行微调，进一步展示了该框架对不同区域范围和空间分辨率的适应性。风暴案例研究显示，该方法改善了气旋位置和核心气压的估计；与 HadISD 台站观测结果的比较表明，该方法对当地温度和湿度变化的刻画更加一致。
12:00 arXiv cs.LG 78
arXiv:2610.12167v1 公告类型：新 摘要：通用图异常检测（GAD）旨在构建一种基础模型，无需重新训练或微调即可检测任意未见图中的异常。然而，充足的数据对于基础模型训练至关重要，而通用 GAD 仍面临数据短缺问题，因为真实世界的异常图稀缺且收集和标注成本高昂。为弥补这一缺口，我们提出了 AG-FORGE，一种用于自动合成异常图的异常图生成框架，探索由合成数据驱动的通用 GAD 训练的可行性。实证结果表明，合成数据能够达到与真实世界训练相当的性能，但由于现有方法的能力有限，无法进一步突破性能上限。为在训练数据规模扩大时进一步释放模型能力，我们开发了 TS-GGAD，这是一种拓扑—语义协同的通用 GAD，能够捕获互补的拓扑异常证据和语义异常证据，并结合了针对大规模合成训练设计的课程学习策略。在 14 个真实世界数据集上的大量实验表明，使用 AG-FORGE 生成的数据进行训练的 TS-GGAD 显著优于当前最先进的方法。
12:00 arXiv cs.LG 71
arXiv:2610.12016v1 公告类型：新 摘要：用于控制的世界模型必须捕捉环境中哪些方面会响应智能体的动作，以及哪些方面与奖励相关。Dreamer 4 等生成式世界模型由视频标记器和动力学模型组成：视频标记器将每一帧编码为一个潜变量，动力学模型则经过预训练，根据过去的潜变量和动作预测未来的潜变量。然而，标记器采用重建目标进行训练，没有动作或奖励监督，因此其潜变量没有明确的机制来区分可控、不可控、与奖励相关以及与奖励无关的信息。我们提出 \textit{CausalDreamer}，在冻结标记器的同时，将其潜变量重新编码为由两条轴上的四组信息构成的因子化表示：一条轴是可控性，只有其中两个可控组接收动作信息；另一条轴是奖励相关性，通过根据两个与奖励相关的组预测奖励来学习。随后，我们对预训练的动力学模型进行微调，使其预测该因子化表示。我们在 20 个 MMBench2 任务上使用基于模型的预测规划，对 \textit{CausalDreamer} 及其所基于的预训练世界模型进行评估：其中 10 个是训练期间见过的干净任务，另外 10 个是未见任务；未见任务中有 6 个是干净任务的变体，改变了背景、物体或迷宫布局，另有 4 个是全新的环境。我们对回报进行归一化，使采取均匀随机动作的策略得分为 0，专家得分为 1。在干净任务上，\textit{CausalDreamer} 的归一化得分比预训练世界模型高 14%（0.199 对 0.175）；在变体任务上高 25%（0.307 对 0.246）。然而，在新环境中，两个模型的得分均未明显高于随机策略。此外，我们的分析表明，该因子化表示能够将与奖励无关的变化（例如背景变化）与其奖励相关组区分开来。
12:00 arXiv cs.LG 77
arXiv:2610.12005v1 公告类型：新 摘要：哪些形式的测试时计算能够改善强大的预训练表格基础模型（TFMs）的预测？我们从三个轴向对此进行了系统研究：适应、聚合和上下文构建。评估涵盖 TabArena 基准测试中的现代 TFM，并辅以在 OpenML 上的宽表和大规模表格实验。在适应方面，我们提出了 DiagScale，一种对角查询—键相似度更新方法。该方法仅训练模型参数的 0.003%–0.03%，却在三个独立预训练的骨干模型上取得了与全量微调相当的增益。在聚合方面，候选池的构成和选择策略都很重要。TabPFN-3 已经对同一数据的不同预处理变体进行预测并取平均，继续增加此类预测带来的收益会逐渐递减。在包含 96 种配置的更大候选池中，贪心选择相较于默认预测器可将误差降低 2.4%，但均匀平均反而会增加误差。在上下文构建方面，注意力引导的检索改善了 TabPFN-3 在部分大型表格上的预测，并支持使用超出完整上下文记忆容量限制的来源池。我们测试的上下文扩展方法未带来一致的改进。总体而言，我们的结果表明，适应和选择性聚合能够带来稳定的基准级增益。在同一骨干模型上结合适应与聚合还能获得进一步提升，但其所需计算量显著高于默认推理。这些权衡促使人们根据可用的计算预算选择相应策略。代码可在 https://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-models 获取。
12:00 arXiv cs.LG 77
arXiv:2610.11605v1 公告类型：新 摘要：我们推出了 NanoProof，据我们所知，这是 Lean 4 中首个因子化执行引导式定理证明器，其训练数据、提取工具、训练流程和权重均已发布，因此可使用开源资源实现端到端复现。为此，我们构建并发布了一个结构化证明树数据集，以及一个用于在 Lean 4 形式化验证器中进行程序化交互和数据提取的工具。为支持可持续研究，我们专注于计算效率，以促进易于获取的训练与评估。NanoProof 在 MiniF2F-Test 上达到 50.8% 的 pass@16，其性能超过同类中最接近的两个系统 HyperTree Proof Search 和 ABEL，而所需计算量约分别少 90 倍和 7 倍；与 AlphaProof 相比，所需计算量则少了四个数量级以上。虽然存在更强的开放权重定理证明器，但它们都是基于大型预训练语言模型进行微调的，且既不发布训练数据，也不发布训练流程；NanoProof 表明，因子化执行引导式定理证明器这一类别可以利用适度资源从头重建。
12:00 arXiv cs.LG 82
arXiv:2610.11214v1 公告类型：新 摘要：KV-cache 量化和线性注意力是应对 Transformer 存储与计算成本的两种代表性方法。KV-cache 量化将单个 KV 条目压缩为离散编码，但保留所有条目；而线性注意力则以递归方式聚合多个历史 KV 贡献，将其存入固定大小的连续状态中，但可能引入干扰。这一对比引出了一个问题：能否在单一机制中桥接逐 KV 压缩与多 KV 聚合，从而实现高效注意力？我们发现，RAM-Net 通过在离散地址空间上的软分配实现了这一桥梁。这些分配决定了与每个地址关联的连续槽状态的递归更新。在一种受限的 RAM-Net 构造下，我们证明，软地址分配能够将硬量化匹配扩展为可分离的读写重叠，在局部近似全注意力相似度的同时支持递归聚合。这些联系进一步支持通过一种基于软量化中间构造的新路径，实现从 Transformer 到 RAM-Net 的权重迁移。在 9 个参数量介于 0.3B 和 7B 之间的预训练 Transformer 模型上，仅使用每个模型 500M 个 token 的预算，RAM-Net 在 6 项常识与知识任务中，平均恢复了教师模型相对于随机猜测所获得准确率提升的 87.1%。
12:00 arXiv cs.LG 72
arXiv:2610.10989v1 公告类型：new 摘要：研究人员一直在持续探索有效的一步生成模型，而 Drifting Models（Deng et al., 2026）近期展现出了一步生成的巨大潜力。已有研究揭示了 Diffusion & Flow Style Generative Models（DFSGMs）（Ho et al., 2020；Song et al., 2020a；b；Lipman et al., 2022；Liu et al., 2022）与 Drifting Models（Li & Zhu, 2026；Lai et al., 2026；Turan et al., 2026）之间的联系。然而，据我们所知，尽管二者的优化目标公式几乎完全相同，尚无人在 Drifting Model 与广泛使用的蒸馏方法 Distribution Matching Distillation（DMD/DMD2）（Yin et al., 2024b；a）之间建立精确的对应关系。在本文中，我们证明，通过将预训练 DFSGMs 中的速度场/噪声场转换为 Drifting Models 中的吸引力场，并从生成分布中估计排斥力场，训练 Drifting Model 在本质上等价于 Distribution Matching Distillation。基于这一等价概念，我们从 Drifting Model 的视角出发，提出了一种基于 DMD 的改进方法——Multi-Bandwidth Distribution Matching Distillation（MBDMD）。
12:00 arXiv cs.LG 76
arXiv:2610.10975v1 公告类型：new 摘要：Muon 促成了一系列不断壮大的优化器，这些优化器组合了多种矩阵归一化方法，但这类方法仍然彼此割裂，缺乏统一视角。我们引入链式线性最小化预言机（chained linear minimization oracles，chained LMOs），将这些方法视为多个 LMO 的组合。尽管许多链式方法在经验上表现出色，但其中不少超出了标准 LMO 框架的范围，并且可能在光滑凸目标上发散。为解释组合为何仍能带来帮助，我们转向线性联想记忆，并表明在各向异性嵌入下，链式方法能够优于 Muon。在实验方面，我们提出了 TensorChain，这是一种处于该框架内的新型优化器，可将不同层中相互兼容的权重矩阵堆叠起来，并沿各个轴对所得三维张量进行归一化。在 Qwen3 0.6B 和 1.7B 的预训练中，TensorChain 在平均 token 效率方面超过了所有链式基线方法；在验证损失相同的情况下，相比 Muon 平均节省 9.6% 的 token。
12:00 arXiv cs.LG 81
arXiv:2610.10947v1 公告类型：新 摘要：奖励劫持是指模型利用评估信号，却未完成预期任务的行为，这对已部署语言模型系统的可靠性构成威胁。现有数据集采用不同的标签、响应格式和元数据规范，导致检测器结果难以比较。我们提出 RH-Detect，这是一个将来自 11 个公开数据集的、与奖励劫持相关的子集整合到统一模式中的基准，包含 92,761 条记录和六类行为。在 5,021 个开放式评估单元上进行评估，每个单元包含一个任务提示和一段模型自由形式的续写，其中还包括多轮工具使用轨迹。我们在不进行额外训练的情况下，将来自五个模型系列的六个现成语言模型作为奖励劫持检测器进行评估。最佳模型的汇总 AUROC 达到 0.962，准确率超过 93%。然而，对于表现最强的四个模型，在相同决策阈值下，它们在两个多轮工具使用数据集 MALT 和 TRACE 上的准确率比其他来源低 10.7—15.9 个百分点，凸显了部署时监控中的一个关键缺口。我们发现，不同输入格式对不同模型的影响各异。移除思考过程后，Qwen3.5-4B 的 AUROC 从 0.779 提升至 0.849，但 Qwen Flash 的 AUROC 从 0.977 降至 0.950。我们还评估了将该基准作为检测器训练数据集的效果。依次将每个来源留作测试集时，单令牌 SFT 能够提高在六个留出来源中的五个来源上的平均 AUROC。针对这一失败案例进行的后续 GRPO 训练使检测性能略有提升。我们的结果表明，单一的汇总分数可能掩盖不同数据来源、检测器输入和训练过程之间的差异。
12:00 arXiv cs.LG 76
arXiv:2610.10636v1 发布类型：new 摘要：用于重构的矩阵压缩仍然默认采用截断 SVD，以单一低秩结构近似数据。通过加入一个重叠的行稀疏成分来进一步减小残差是常见做法，但解决这一联合问题的方法通常需要迭代求解器，并且需要调节正则化参数。我们提出不相交行稀疏加低秩（D-SLR）分解，这是一种截断 SVD 的闭式即插即用替代方案，能够改进截断 SVD 或与其完全匹配。D-SLR 限制每一行只能被原样存储或由低秩拟合近似，绝不同时采用这两种方式。在平方误差下，这一限制不会带来任何代价：对于每一个非平凡的秩和存储行数（形状），联合最优解都可以通过不相交的方式实现，并且参数更少。当存储行数为零时，D-SLR 退化为截断 SVD，因此在相同成本下其效果不会更差。该算法会评估整个误差—参数权衡曲线，之后根据给定的误差目标或参数数量，或依据某种选择规则来选取解。构建网格并求得解总共只需进行三次 SVD，无需调参或正则化。我们推导出一个不依赖任何假设的事后误差下界，适用于每一种形状，使每个解都能获得一个可计算的证书，用于衡量选择其他秩和存储行数可能带来的潜在收益。在合成数据和真实数据（LLM 嵌入表、网络流量、高光谱图像）上的实验验证了这些收益，并量化了该证书。
12:00 arXiv cs.LG 73
arXiv:2610.10626 发布类型：new 摘要：面向向量值偏微分方程的神经代理模型可以拟合训练数据，但当同一物理状态以旋转后的坐标系表示时，其预测结果会发生变化。我们在不规则布点观测的三维 Navier--Stokes 动力学上研究了这一缺陷。我们提出了 Invariant-Conditioned Isotropic Kernel Neural Operator (IKNO)，这是一种紧凑的图模型，利用不随旋转改变的标量以及随数据一同旋转的向量方向来构建局部交互。因此，旋转位置和速度后，预测的速度变化量也会以完全相同的方式旋转。在模型设计完成后固定的留出测试集上，使用随机旋转样本训练无约束图模型虽能减少其坐标依赖性，但无法将其完全消除。相比之下，IKNO 在数值精度范围内保持一致；其预测精度与通用的具备旋转感知能力的 Tensor Field Network 相当，但参数量仅为后者的 1/5.6，并且优于参数量匹配的图模拟器。这些结果表明，一种紧凑且针对 PDE 专门设计的模型可以在不牺牲预测精度的情况下消除坐标依赖性。
12:00 arXiv cs.LG 82
arXiv:2610.10594v1 发布类型：新 摘要：用于监测已部署语言模型的激活探针是在合成对话上训练的，而探针究竟需要多少合成对话仍是一个开放问题。我们针对三种监测概念——高风险情境、对人有害的回复，以及不遵循用户指令的回复——在十四个留出的评估分布和四种探针模型上，追踪了使用 10 至 590 个合成样本时的学习曲线，同时改变生成器 LLM 和提示词的详细程度。所需样本量取决于监测对象：在 Gemma-3-27B-IT 上，高风险探针和有害性探针使用 80 个样本时就已达到其平台期水平上下几个百分点以内，而指令遵循探针所需样本量是其数倍；在三个更小的探针模型以及真实样本（来自开发集）上，这一排序仍然成立。已有研究建议，应将生成预算用于广度，即更多种类的数据，而非深度，即每种数据生成更多样本。我们将某个概念所需的深度定义为拟合曲线的半增益规模，即达到全部增益一半时所需的样本数量。其方差的 42% 至 45% 由概念和分布解释，而生成器、探针模型和提示词详细程度合计解释不到 10%。决定半增益规模数值的是覆盖范围，而不是每种数据的难度：也就是某个分布为达到饱和所需的同类样本数量。在三个概念下，每个评估分布对应的每种数据，其同类合成样本的半增益规模中位数都为 7 至 11 个。不同之处在于，一种类型的样本能够在多大程度上迁移到同一概念下的其他类型：在高风险概念下几乎可以完全迁移，在有害性概念下较少，而在指令遵循概念下最少；这解释了生成样本和真实样本中概念之间大部分的差距。因此，数据广度对不同概念的作用并不相同：在指令遵循概念下，没有任何一种类型能够覆盖另一种类型，因此必须使用多种类型；而在高风险概念下，一种类型即可覆盖其余类型，多种类型几乎是冗余的。我们公开评估套件、开发集和生成数据集。
12:00 arXiv cs.LG 81
arXiv:2610.10571v1 发布类型：新 摘要：脑电图（EEG）能够以非侵入方式测量持续的神经活动，但由于受试者、设备和电极布局存在异质性，构建通用 EEG 模型仍然具有挑战性。现有 EEG 基础模型主要依赖在观测信号上定义的重建目标，而观测信号同时包含神经成分和非神经成分。我们提出 SPERA（Spherical Prior EEG Representation Architecture），一种采用联合嵌入预测架构（JEPA）在潜在空间中进行预测的 EEG 基础模型。SPERA 引入了 Legendre 多项式空间先验，并将其融入注意力机制，以编码不断变化的头皮电极几何结构。此外，SPERA 还包含两个针对 EEG 进行适配的组件：与周期性全注意力模块交替使用的因式分解时间与空间注意力，以及一种关系谱正则化器，用于将潜在空间中的相似性结构与谱视图对齐。SPERA 在来自 106 个数据集、29,048 名受试者的约 80,000 小时 EEG 数据上进行预训练，在涵盖临床、认知和 BCI 应用的九项下游任务中取得了最高的平均平衡准确率。在进行线性探测时，SPERA 还展现出较高的参数效率，并且在不同记录条件下具有稳健性，表明其有潜力成为适用于多种 EEG 分析的通用骨干模型。
12:00 arXiv cs.LG 77
arXiv:2610.10552v1 公告类型：新 摘要：在统一共享学习率下比较参数高效微调方案是一种常见但存在缺陷的做法：当被比较的方案具有极为不同的可训练参数量时，共享学习率可能同时压低较大方案的均值并增大其方差，从而人为制造出一种对最小方案有利的、看似在多个随机种子下都显著的优势，而这种优势并非真实效果。我们在一个具体场景中记录了这一混淆因素：基于 SVD 的事后 KV-Cache 压缩。在该场景中，已经预训练的模型通过将其键/值权重分解为下投影（“编码器”）和上投影（“解码器”），转换为低秩的、多头潜在注意力风格的缓存；随后进行一次短暂的微调（“修复”），以恢复因截断而损失的准确率。在共享学习率下，冻结解码器、仅修复编码器，看起来明显优于修复解码器或同时修复两个因子；但当为每个方案分别调优学习率后，这一表面优势便消失了，编码器独立修复反而达到了与其他方案相当的效果，同时实际节省了 3 倍的可训练参数和 3 倍的优化器状态内存。我们在一个视觉语言模型（Qwen2.5-VL-3B-Instruct）上，为每种配置使用 3 个随机种子，并通过逐方案学习率调优验证了这种等效性；实验覆盖了该协议支持的唯一压缩率。我们还在包含两个骨干网络的纯文本测试平台上复现了这一结果。因此，编码器独立修复是一种更节省内存的即插即用方案，可在训练时为模型改造低秩 KV-Cache 压缩；而我们记录并纠正的共享学习率陷阱，则提醒人们在比较任何可训练参数量不同的微调方案时都应保持谨慎。
01:16 arXiv cs.AI 77
监督微调（SFT）将预训练大型语言模型（LLM）适配到下游任务，但任务所需的概念可能获得程度大不相同的预训练支持。高频概念更有可能得到充分学习，而稀有概念的表征可能仍然较弱。我们提出一种名为先验壁垒的新概念，用于量化预训练模型对竞争概念相对于目标概念的支持程度。我们观察到，先验壁垒呈现长尾分布，使头部概念和尾部概念在进行 SFT 时处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导出长尾先验壁垒下 SFT 的预测风险界，明确刻画先验壁垒与累积的 SFT 证据如何共同决定预测性能。受这种依赖先验壁垒的需求启发，我们提出 PASS，一种自适应的 SFT 指令选择方法。该方法构建源自参考数据的概念，并估计每条指令所提供的区分性证据，然后将选择预算自适应地分配给在当前选择下覆盖仍然不足的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些地方需要额外监督。实验表明，在四种骨干模型—预算设置下，我们的方法始终优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。
01:58 arXiv cs.AI 82
近期事件凸显了监控 LLM 智能体的挑战，以及模型欺骗人类的危险。我们表明，通过探针进行的白盒欺骗检测可以扩展到前沿监控场景：我们收集了迄今最大的欺骗数据集用于训练探针，并提出了一种新型探针架构，能够聚合多个层和多个词元中的信息。在 SHADE-Arena 中，我们的探针取得了 98.8% 的 AUC，超过了 Opus 5.5 的文本监控基线；随着底层模型规模扩大，探针的有效性也有所提升。为了检验探针的极限，我们在若干仅凭上下文无法判断是否存在欺骗的案例上对其进行测试。对于这些案例，我们称之为内省式欺骗，只有通过谨慎引导或全面了解模型的训练数据，才能确定真实情况。在其中一项评估中，我们表明，探针能够以最高 99.7% 的 AUC，将包含模型真实隐藏目标的对话记录与包含其他目标的对话记录区分开来。我们的探针还能够轻松检测出知名开放权重模型在政治敏感话题上撒谎，以及在受到压力时谎报自身信念的行为。我们发布了名为 FIBS 的训练数据集，以推动有效探针在前沿系统中的部署，并鼓励社区通过补充更多欺骗与破坏行为示例来进一步扩展该数据集。
17:33 arXiv cs.AI 79
近年来，大语言模型（LLM）预训练的进展凸显了高质量训练数据在提升性能方面的作用。基于模型的过滤已被证明能够从 Web 规模语料库中有效筛选高质量子集，尤其适用于高资源语言；然而，低资源语言由于缺乏充足的标注数据而面临挑战。本研究探索将质量过滤扩展到 100 多种语言，提出了一种多语言适配方法，将现有的英语质量分类器转换为多语言版本。我们的方法以多语言文本为输入，以英语分类器应用于机器翻译文本后得到的分数作为标签，在 Transformer 仅编码器模型的嵌入之上训练一个小型多层感知机。我们的 1B、3B 和 8B 规模实验表明，该方法在不损害区域和文化知识基准表现的情况下，能够保持现有基于多语言模型的过滤基线在下游 LLM 基准测试中的性能。为进一步评估跨语言泛化能力，我们比较了高质量合成数据与 Web 样本的分类器分数，以及分类器分数与基于 LLM 的分数之间的相关性。结果表明，即使对于未包含在训练数据中的语言，该分类器也能学习其原始英语版本的评分标准。
17:49 arXiv cs.AI 78
我们介绍了 NanoProof，据我们所知，这是 Lean 4 中首个因子化执行引导定理证明器，其训练数据、提取工具链、训练流程和权重均已发布，因此可以完全使用开源资源实现端到端复现。为此，我们构建并发布了一个结构化证明树数据集，以及一个用于在 Lean 4 形式化验证器中进行程序化交互和数据提取的工具。为支持可持续研究，我们注重计算效率，以促进易于获取的训练与评估。在 MiniF2F-Test 上，NanoProof 的 pass@16 达到 50.8%，超过了同类中最接近的两个系统 HyperTree Proof Search 和 ABEL，而所需计算量约分别少 90 倍和 7 倍；与 AlphaProof 相比，所需计算量则少四个数量级以上。虽然存在更强的开放权重证明器，但它们都是基于大型预训练语言模型进行微调的，既不发布训练数据，也不发布训练流程；NanoProof 表明，因子化执行引导类证明器可以使用适度资源从头重建。
17:59 arXiv cs.AI 75
参数高效微调（PEFT）使大型语言模型（LLMs）能够适应专门任务，但往往会付出预训练过程中获得的通用能力退化的代价。现有方法主要通过数据回放或正则化来缓解这一权衡，依赖额外数据或显式的优化约束。我们转而关注另一个问题：应当在哪里进行适应？我们发现，对不同的 Transformer 层进行微调会带来不同程度的目标任务收益和能力退化，这表明并非所有层都同样适合进行适应。为刻画这种差异，我们使用逐层经验 Fisher 信息来衡量对目标任务的敏感性。然而，计算 Fisher 分数需要反向计算，并且对于大型模型而言成本会越来越高。因此，我们引入输入--输出余弦相似度，作为一种轻量级、仅需前向计算的层敏感性排序代理指标。在不同模型和任务上，输入--输出相似度较低的层始终表现出更高的经验 Fisher 分数。基于这一观察，我们提出 Layer-Selective LoRA（LS-LoRA），仅在输入--输出相似度较低的层中放置可训练的 LoRA 适配器。在数学推理和代码生成任务上的实验表明，与标准的全层 LoRA 相比，LS-LoRA 在保留更多常识推理能力的同时，能够提升目标任务的平均性能，说明谨慎选择适应位置可以成为平衡目标任务适应与通用能力保留的一种简单而有效的方法。
12:00 arXiv cs.LG 88
arXiv:2609.30173v2 公告类型：replace-cross 摘要：我们提出了 GridSFM，这是一种将跨电网拓扑的预训练基础模型与物理信息驱动的微调相结合的框架，用于大规模求解交流最优潮流（AC-OPF）。这是一个包含 1500 万参数、受物理启发的图神经网络，在涵盖 500 至 4,000 个母线的 54 种拓扑上进行预训练。对于一个包含 10,000 个母线、且运行条件未出现在训练集中的算例，我们的模型以零样本方式生成的发电成本误差达到 2.45%，并且随着系统规模增大没有性能下降。在此基础上，我们将预训练骨干网络与一种基于潮流牛顿法的物理信息驱动微调设计相结合。仅使用 100 个已求解实例，GridSFM 就能适应规模达 10,000 个母线的未见过电网。我们表明，与使用更多数据训练的单拓扑专用神经网络模型相比，GridSFM 在作为热启动点部署时，无论成本还是求解器迭代次数都表现更优。在设计这一基础模型时，我们克服了 AC-OPF 可行集可能不连通这一事实。这一问题阻碍了任何连续神经网络对解映射进行逼近。为此，我们将问题提升到更高维空间，并通过带对数惩罚的松弛变量放宽其约束。我们证明了所得弹性可行集是可缩的；当惩罚系数高于一个明确的阈值时，AC-OPF 的极小解仍然是弹性问题的极小解；此外，将近似解投影回 AC-OPF 可行集的过程也是适定的。我们发布了全部模型、数据和代码，使社区能够基于一个共享的 AC-OPF 起点开展后续研究。
12:00 arXiv cs.LG 77
arXiv:2609.13205v2 公告类型：replace-cross 摘要：稀疏长上下文推理要求在预填充和解码阶段都能高效检索词元。现有方法通常在这两个阶段采用不同的检索策略，导致同一种检索表示无法在整个推理过程中复用。我们提出了 Self-Indexing Attention，这是一种基于共享变换域符号—幅值表示的免训练框架。键的符号位提供了可复用的词元级索引，可用于分组预填充选择和解码检索；同时，该表示仍兼容外部 KV 缓存压缩，无需单独的索引器元数据。这种 1 比特索引可通过现代加速器广泛支持的按位运算实现高效检索。在 5% 的注意力密度下，Self-Indexing Attention 在 LongBench 和 RULER 上的表现仍接近稠密注意力，并在预填充和解码阶段分别实现了最高 6.1 倍和 10.3 倍的注意力算子加速。结合 TurboQuant 和 DeepSeekV4-Flash 的实验进一步验证了其与低比特 KV 缓存压缩及预训练稀疏注意力索引器的兼容性。
12:00 arXiv cs.LG 80
arXiv:2608.13545v2 公告类型：替换-交叉 摘要：现代语言模型基于异构的网络规模文本语料库进行训练。因此，研究知识与技能的习得过程十分困难，因为模型此前接触过相关内容的情况难以刻画。为应对这一挑战，我们推出了 LittleCurriculum，这是一个经过整理、包含 88B 个词元的预训练语料库，针对美国小学教材定制，并明确排除了五年级以上所教授的概念、事实和词汇。在 LittleCurriculum 上从头训练一个拥有 5B 参数的 LLM，得到 LittleLearner：该模型具备足以进行开放式评估的语言能力，同时其知识和能力边界清晰，并可依据易于解释的课程指南加以界定。我们发布 LittleCurriculum 和 LittleLearner，将其作为一个受发展阶段限制的沙盒，用于研究模型如何在明确规定的训练范围内获取、表征和使用数据。我们通过一组初步实验展示了该沙盒在通过训练后学习和上下文学习注入新知识方面的实用性。这些方法能够让 LittleLearner 更好地利用已有知识，但不会提升其范围之外的能力。我们的研究结果凸显了这一受控环境对未来研究的价值。
12:00 arXiv cs.LG 77
arXiv:2608.02365v2 发布类型：replace-cross 摘要：World Action Models（WAMs）建立在预训练视频模型之上，其表征扎根于物理动力学，为动作预测提供了天然基础。尽管具备这一自然基础，许多 WAMs 仍依赖深层、参数量庞大的动作预测模块，这些模块会带来较高的推理延迟，并可能对有限的机器人示范数据过拟合，从而限制其在现实世界中的适用性。本文倡导一种以世界模型为中心的原则：将容量和计算集中于视频世界模型，同时利用轻量级动作专家将主干网络的表征转换为可执行的机器人动作。我们通过三个关键设计实现这一原则：采用带有 Lite KV-Fusion 的 Dock of Transformers（DoT），使浅层轻量级动作专家能够访问所有视频层的表征；仅使用世界模型对动作专家进行条件化；以及采用 retracted 1D-RoPE，实现视频键与动作查询之间的位置对齐。我们使用 Faster-WAM 验证了这一原则。Faster-WAM 是一种以世界模型为中心的 WAM，仅配备单层动作专家。尽管限制了动作特定计算，Faster-WAM 在 LIBERO 和 RoboTwin~2.0 上仍实现了具有竞争力的控制性能，且无需额外的具身预训练。与 Fast-WAM 和 $\pi_{0.5}$ 相比，其推理速度分别提升约 $3.7\times$ 和 $1.3\times$。与其以世界模型为中心的设计一致，Faster-WAM 在分布偏移下展现出更强的泛化能力：同一个在 LIBERO 上训练的策略在 LIBERO-Plus 上取得了 $78.3\%$ 的成功率，分别比 Fast-WAM 和 LingBot-VA 高出 26.8 和 8.8 个百分点。最后，真实机器人实验表明，Faster-WAM 的成功率与 Fast-WAM 相当，同时推理延迟显著降低，任务完成时间也更短。
12:00 arXiv cs.LG 80
arXiv:2607.07993v2 公告类型：replace-cross 摘要：由于高质量标注数据的稀缺，识别 LLM 生成输出中的忠实性幻觉仍然具有挑战性。近期研究依赖先进 LLM 合成训练数据，包括推理过程、标签和幻觉性陈述。然而，这些方法将生成器视为静态组件，限制了检测器的迭代改进。为解决这一局限，我们提出 Hallucination Self-Play（HSP），一种使检测器能够借助演化生成器实现自举的新型框架。HSP 包含两个由同一基础模型初始化的角色：评估模型输出忠实性的检测器，以及生成越来越难以被检测出的幻觉响应的生成器。具体而言，我们首先在人工标注数据上对检测器进行微调，然后将其作为奖励模型，通过基于 AI 反馈的强化学习（RLAIF）训练生成器。随后，演化后的生成器合成幻觉数据，并通过基于规则的强化学习进一步优化检测器。在三个模型系列上的 RAGTruth 和 LLM-AggreFact 实验表明，无需外部监督，所提出的框架能够逐步提升小型 LLM，使其达到甚至超过先进 LLM 的性能。我们的代码已发布于 https://github.com/maybenotime/Hallucination_Self-Play。
12:00 arXiv cs.LG 78
arXiv:2606.07399v3 公告类型：replace-cross 摘要：生成模型越来越多地被用于支持复杂系统中的决策，其中干预可能是联合且高维的，结果也可能是高维的。然而，在这些决策场景中使用生成器面临三个问题。首先，生成器通常基于含噪日志进行训练，而其中的干预数据有限。其次，生成器学习在不同环境之间可能存在噪声。第三，生成器并未针对其所支持的决策进行优化。我们提出了通过重定向反事实生成进行策略学习的方法，该方法分三步训练用于支持决策的生成器。我们（1）学习一个针对高维干预和结果的双重稳健、不变的反事实生成器；（2）基于其展开结果进行策略学习；（3）将生成器重新定向到所学习策略的干预，并重新学习策略，从而使生成器在决策发生的区域内保持准确。从理论上看，我们的生成器具有带双重稳健乘积余项的超额反事实风险，而重定向则从遗憾中消除了日志策略与学习策略之间的最坏情况密度比。我们在合成数据、SARS-CoV-2 感染细胞的 Cell Painting 图像以及物理视频模拟上展示了该方法的有效性。
12:00 arXiv cs.LG 82
arXiv:2606.06539v2 公告类型：replace-cross 摘要：Forward-Forward（FF）学习 [Hinton, 2022] 以严格的层局部 goodness 更新取代反向传播。近期的 FF-CNN 工作已缩小了其与 BP 在 32x32 基准上的差距，这引出了一个问题：层局部训练是否正在成为现实规模下可行的替代方案。为严谨地探究这一点，我们开发了 DTG-FF——动态温度 goodness、解耦归一化和多层融合——作为一种评估工具。在本文投稿时，该方法在九个真实数据基准上达到了 FF 系列的最佳水平（CIFAR-10 上达到 91.8%，并在 ImageNet-100 224x224 上建立了 FF 基线），我们利用它来审查层局部训练究竟能够扩展到何种程度。（1）真实数据上的扩展。在采用完全相同的训练配置和骨干网络时，架构匹配的 BP-DeepSup 基线在 CIFAR-10/CIFAR-100 上分别以 2.40/5.93 个百分点超过 DTG-FF，且随着类别数增加，差距进一步扩大。在 224x224 分辨率下，该工具在 ImageNet-100 上仅达到 49.4%，而即使是采用自监督 BP 训练的 ResNet-50 配合线性评估，也能达到 75.6% [Tian et al., 2020]——这揭示了一个在 32x32 设置下无法观察到的真实数据性能上限。（2）合成数据与真实数据中的 K 冲突。在合成 teacher-student 任务中，随着类别数 K 增加，DTG-FF 相对于 BP 的优势不断扩大；然而在真实图像上，FF 与 BP 之间的差距符号发生反转，并且随着 K 增加而扩大。在同一数据集内对 CIFAR-100 的粗粒度标签与细粒度标签进行探测，可以将标签层级与图像分布区分开来：合成数据中的 K 扫描将输出维度与细粒度判别难度混为一谈，从而高估了 FF 的迁移能力。（3）系统审计。FF 可以在不存储跨越整个网络深度的激活值的情况下实现，但在普通的 8 GB 硬件上，标准 BP+梯度累积可达到 4.18 GB / 157 imgs/s，而 DTG-FF 为 7.90 GB / 138 imgs/s。因此，在这一规模下，在公平基线条件下，并不支持以节省内存作为采用 FF 的理由。
12:00 arXiv cs.LG 72
arXiv:2603.21911v3 公告类型：替换并交叉收录 摘要：合成光谱图像生成对于遥感仿真和任务设计至关重要，但基于物理的辐射传输模型（RTMs）的计算成本仍然很高。现有基于学习的仿真器降低了这一成本，但大多是确定性的参数到光谱回归器，空间建模能力有限，提供的不确定性信息也不足。我们将光谱图像仿真表述为一个以参数为条件的潜变量问题，并提出一个基于变分自编码器（VAE）的框架，融合了非线性光谱图像表征、快速推理和逐像素不确定性估计。该框架通过 VAE 预训练和潜在空间映射两个步骤，分别在光谱层面和空间—光谱层面实现。我们在 PROSAIL 模拟的高光谱植被数据立方体（211 个波段）和真实 Sentinel-3 OLCI 多光谱海洋水色影像（21 个波段）上对其进行评估，并与经典回归仿真器和深度 CNN 基线模型进行比较。结果表明，没有哪一种架构在所有情况下都是最优的：像素到像素模型在受控高光谱模拟中表现最佳，而全卷积 VAE 在含有缺失或受污染像素的带噪声真实观测数据上更具鲁棒性。基于 VAE 的仿真器在大规模生成中也实现了高吞吐量。在 Sentinel-3 数据上，空间—光谱 VAE 提供的预测区间比逐像素神经网络仿真器和经典仿真器更贴近经验误差，但绝对校准仍不充分。一项基于查找表的反演实验进一步表明，仅有重建保真度并不能确保叶面积指数和叶绿素反演的可靠性。因此，应在具有代表性的遥感最终应用场景中评估仿真器，而不能仅依据重建指标。
12:00 arXiv cs.LG 76
arXiv:2610.04299v2 公告类型：替换 摘要：自我进化的推理模型从自身生成的问题中学习，但反复进行自我训练可能导致性能崩溃。本文探究了性能为何会在连续多轮训练中恶化，以及如何维持自我进化。我们的分析发现，自生成问题中反复出现两类质量问题：无效问题，以及同一数学问题的重复变体。首先，无效问题在各轮训练中的比例不断增加，而答案一致性筛选会进一步提高其在训练数据中的占比。其次，现有基于词法相似度的问题多样性控制方法，可能无法识别以不同方式表达但在数学上等价的问题，从而导致后续训练轮次中的问题多样性崩溃。基于这些发现，我们提出 R-Quest，利用问题有效性和新颖性反馈来引导自我进化。我们首先训练求解器识别并拒绝无效问题，然后利用其判断来指导提问器的奖励，并筛选求解器训练数据。为避免问题重复，我们使用冻结的基础模型比较采样的问题对，并提供新颖性反馈。在实证评估中，我们的方法在两个模型系列的数学推理、通用领域推理和代码生成任务的 12 个基准测试上，始终取得最高的平均性能。此外，R-Quest 在十轮自我进化过程中持续保持稳定的性能增益，在最后一轮达到峰值，并以 17.32 分的优势超过 R-Zero。
12:00 arXiv cs.LG 84
arXiv:2610.04204v2 公告类型：替换 摘要：训练大型语言模型（LLM）涉及一个根本性权衡：Adam 等内存高效的优化器会丢弃参数间的曲率信息，而 SOAP 等完整曲率方法虽然能够加速收敛，却需要高得令人难以承受的内存成本。我们提出了 Clean，这是一种内存高效且利用完整曲率的优化器，旨在解决这一瓶颈。Clean 利用随机化 Nystr\"om 方法，准确近似 SOAP 中的左右预条件器，并将优化器的内存复杂度从关于模型维度的二次复杂度降至线性复杂度。随后，我们重新整合子空间外分量，以捕获低秩近似之外的曲率信息，在极低内存成本下保留丰富的曲率信息。我们进一步提出了 Q-Clean，这是一种积极压缩优化器状态的低精度变体。在预训练 LLaMA-1.3B 架构时，与 Muon 相比，Q-Clean 将优化器内存消耗降低了 \textbf{50\% 以上}，同时保持了强劲且具有竞争力的预测性能。值得注意的是，与标准 AdamW 相比，Clean 所需的优化器状态存储空间更小，同时仅用 \textbf{快 26\%} 的实际运行时间即可达到 AdamW 的最终性能。此外，我们的方法还独特地支持在单张 80GB GPU 上预训练一个 13B 参数模型，为大规模模型优化提供了一种可扩展、高效且易于使用的方案。
12:00 arXiv cs.LG 75
arXiv:2607.03998v5 公告类型：替换 摘要：局部锐度由 Hessian 矩阵的最大特征值 $\lambda_1$ 定义，决定了稳定梯度更新的最大步长，但计算它通常需要运行 Lanczos 算法或计算 Hessian 向量积。然而，我们注意到，即使仅进行一次 Armijo 回溯线搜索，也只需几次前向传播就能获得这一信息，因为所接受的步长 $\alpha$ 能够在回溯因子所确定的乘性区间内，确定沿搜索方向的方向曲率。在 CIFAR-10、Fashion-MNIST 和 Imagenette 上，$\log\alpha$ 与 $\log\lambda_1$ 的 Pearson 相关系数达到 $-0.91$ 至 $-0.95$，即使去除每次运行中的趋势，相关系数仍保持在 $-0.60$ 至 $-0.70$。这使得我们能够以较低成本，对缓慢变化的锐度分量进行在线稳定性边缘估计。所采用的探测机制沿 Adam 的首步更新方向进行搜索，在初始化时执行一次，并在前 50 个优化器步骤期间再执行九次。学习率上限设为观测到的最小步长的两倍；在所研究的学习率范围（$10^{-3}$ 至 $3.0$）以及 GPT-2 预训练实验中，所有施加上限的运行均避免了发散；在通用架构分析中，有一种 MLP 架构仍对初始批次顺序敏感。该探测方案带来的开销约为百分之一，而当所设上限未实际触发约束时，优化器状态和首次更新均保持逐比特一致。该方案的所有参数均未针对任何特定架构进行微调；这正是其被称为免校准保护机制的含义。它旨在避免发散，而非提升准确率。在 GPT-2 规模下，多次测量还说明了为何仅在初始化时设定上限并不充分：方向曲率在前五个优化器步骤中显著上升，因此有必要设置一个短暂的试运行窗口。
12:00 arXiv cs.LG 82
arXiv:2606.22976v2 公告类型：替换 摘要：本文使用图上的随机游走，作为一个可验证的沙盒，研究掩码扩散模型（MDM）中的并行采样策略。我们在来自固定图的随机游走样本上训练一个 MDM。模型从未接触过该图及其转移核，它们作为潜在结构，既可控又能够实现评估。该框架为生成的游走提供有效性检查，并通过估计转移核衡量分布保真度。利用简单图结构，我们从理论上证明，通过广泛使用的评分（如最低熵）进行并行解掩码，并不总是优于随机并行采样；即使拥有精确的条件概率，性能也严重依赖于由图诱导的条件依赖结构，而这一现象很难在 Sudoku 等基准测试中单独分析。我们还为 MDM 开发了无需训练的二分采样器，其采样步数关于序列长度呈对数增长；当学习到的边际分布准确时，对于随机游走，该采样器能够得到理论上精确的结果。在图游走任务上的实验表明，不同的并行采样器在不同图结构上表现更佳。在预训练 MDM 上的实验显示，二分式采样器在 OpenWebText 生成以及包括 GSM8K、MBPP 和 HumanEval 在内的推理基准测试中，实现了出色的速度与质量权衡。总之，这些结果利用图游走揭示了条件依赖是 MDM 并行采样的关键原则，并将这一洞见转化为高效采样器，使其能够迁移到语言生成与推理任务中。
12:00 arXiv cs.LG 80
arXiv:2605.26526v2 公告类型：替换 摘要：近期用于保护开放权重大型语言模型（LLM）的防御措施旨在防止对其进行对抗性使用。这些防御措施的基础假设是：新的有害行为是通过微调学习得到的，而不是通过越狱诱导模型产生的。然而，预训练 LLM 已经在众多领域编码了大量有害知识，这引出了一个重要问题：攻击者能否在完全不进行微调的情况下，通过越狱保护模型来实现有害用途？本文表明，开放权重防护措施容易受到更简单策略的攻击。尽管这些策略广为人知，但此前尚未针对这类防护措施进行系统评估。具体而言，我们评估了两种低成本攻击——abliteration 和 prefilling——它们不依赖基于梯度的优化。在三个有害性评测基准（BeaverTails、HarmBench 和 AdvBench）上，这些攻击将受保护开放权重模型的攻击成功率从低于 10\% 提高到 16\%-96\% 的范围。为缓解这一漏洞，我们提出了抗 abliteration 调优（ART），将基于 abliteration 的目标函数纳入训练过程。ART 可叠加到现有防御措施之上，并将 abliteration、prefilling 及其组合攻击的成功率降低 10\%-20\%。这些发现表明，开放权重模型的攻击面比此前所描述的更广泛，对防护措施的评估应纳入更多样化的攻击策略，而不能局限于对抗性微调。
12:00 arXiv cs.LG 72
arXiv:2610.10393v1 公告类型：交叉 摘要：随着新数据的到来，模型可以重新训练，但部署每个新版本都有可能用更差的策略替换原本良好的策略。我们研究如何在未来候选策略训练完成之前规划策略更新（即元策略），在改进带来的收益与性能退化的风险之间进行权衡。我们的离线元策略在预期更新次数预算的约束下，最大化预期累积价值，其中预算针对的是表现不如其所替代策略的更新次数。我们利用历史学习轨迹估计可能切换的价值与风险，将更新计划表示为有向无环图中的路径，并通过动态规划选择更新计划。最高阶分析表明，策略改进的信噪比是决定更新频率、等待时间和风险分配的关键因素：更明确的改进支持更早且更频繁的更新，而噪声更大的改进则需要更长的等待时间或投入更多风险预算。其渐近速率还揭示了随着时间推移，实现更高安全性的边际成本会逐渐降低。在合成数据和临床试验数据上的实验展示了性能与风险之间的权衡，并将我们的方法与其他替代基线进行了比较。
12:00 arXiv cs.LG 79
arXiv:2610.10190v1 公告类型：交叉收录 摘要：我们在 2-Wasserstein 距离下分析 Karras 等人（2022）提出的一阶确定性扩散采样器 EDM，将误差分为两个来源：局部离散化误差及其经后续学习到的步骤产生的放大。我们证明，局部误差具有普适界：对于任何具有有限二阶矩的数据分布，单步离散化误差均与步长的平方成正比，其显式常数不依赖于数据分布。相比之下，误差传播取决于学习到的网络。在高噪声水平下，我们利用 EDM 的网络参数化推导出显式的收缩判据。在低噪声水平下，我们通过采样器所输运的分布上实际产生的放大来度量误差传播；这种实际放大可以比最坏情况下的 Lipschitz 常数小任意多。该分析给出 $K$ 个采样步骤下的全局离散化误差为 $O(e^{\Lambda_K}/K)$，其中 $\Lambda_K$ 为低噪声下的对数放大量。一维高斯混合分布上的实验表明，测得的放大量能够解释有限采样网格上较慢的误差衰减。对预训练 CIFAR-10 模型的诊断展示了相关的稳定性机制，但并未验证全局假设。
12:00 arXiv cs.LG 77
arXiv:2610.09863v1 公告类型：交叉收录 摘要：标准信息检索指标（如平均精确率均值（mAP））逐个查询评估性能，依据是查询与其正样本的相似度相对于其与负样本的相似度的高低。常见的表征学习损失（如 InfoNCE 和逐查询 AP 替代损失）也是如此。它们都不考虑不同查询之间的相似度是否具有可比性，而任何采用单一决策阈值的系统都依赖这一点。全局平均精确率（gAP）则考虑了这一点：它将所有查询-候选样本对放入同一个列表中排序，并计算单一的 AP。我们提出了 gSAP，一种 gAP 的可微替代损失。它只需要一个相似度矩阵和一个标记正样本对的二值矩阵，与现有损失的输入相同，因此可以直接替换这些损失，且不依赖于编码器、模态或监督来源。由于它联合考虑批次内所有可能的两两比较，因此在低温度下仍然可以训练，而逐查询替代损失在这一条件下会出现梯度消失。将其替换到成熟的训练方案中，可以改进有监督度量学习、跨模态对齐和自监督预训练；据我们所知，在后两项任务中，它是首个替代社区标准 InfoNCE 的排序损失。它产生的相似度在不同查询之间更为一致，从而提升了统一阈值下的性能。在相同精确率下，gSAP 检索出的正样本对数量最高可达最强 AP 替代损失的四倍；当加入在数据库中没有正样本的查询时，其性能下降幅度也最小。除了阈值判定方面的优势外，使用 gSAP 训练的模型还能学到更好的表征，在迁移、$k$NN 和零样本分类上取得更高的准确率。
12:00 arXiv cs.LG 77
arXiv:2610.09837v1 公告类型：交叉收录 摘要：对于通过成分设计生成的多组分环境，通用机器学习力场的泛化能力仍缺乏充分评估。我们受高熵设计、元素替代和阴离子混合的启发，构建了包含7,599个多组分构型的基准数据集。以密度泛函理论为参照，评估了11个预训练模型在能量、力和应力预测方面的表现，并将评估扩展至弹性、振动及吸附相关性质。我们从训练参考环境覆盖度、局部几何异质性、距离方向性和元素响应等方面分析了力误差。与训练参考环境之间的距离表明，覆盖度差异与误差增大存在定性关联，但在相近距离下，误差仍有显著差异。误差较高的组表现出更强的局部几何异质性，尽管OMat24对这些环境提供了广泛覆盖。相对于训练参考数据中的原子对距离中位数，误差在中位数附近保持较低水平，在压缩侧急剧上升，而在拉伸侧的增长较为缓慢。在匹配元素对和距离绝对偏差后，压缩侧的力误差为拉伸侧的1.81–1.95倍。模型预测的成对相互作用曲线在压缩条件下表现出更大的曲率。独立单元素体系中的拟合难度与电子能带能量对原子位移及费米能级偏移的响应相关，多组分体系中也观察到了类似规律。在参数量匹配的比较中，最高阶数为2和4的球谐表示分别降低了43种元素中38种和40种元素的测试力误差，但不同元素之间的拟合难度差异依然存在。这些发现为实验成分设计中的力场选择提供了依据，并明确了训练数据采样和模型表示的改进方向。
12:00 arXiv cs.LG 77
arXiv:2610.09819v1 公告类型：交叉发布 摘要：声学基础模型（AFMs）推动了声学应用的普及，使人们能够以极少的资源构建用于语音识别、说话人验证等任务的强大模型。然而，基于 AFMs 的应用的安全性仍缺乏充分研究。为填补这一空白，我们提出了 Foundation Acoustic model Backdoor（FAB）攻击，表明最先进的 AFMs 在实际条件下也容易被植入后门。尽管对攻击者能力的假设极为有限（例如，无法访问预训练数据），我们仍证明，FAB 能在保持正常性能的同时植入后门；这些后门在微调后依然存在，并在被激活时导致多种下游任务的性能显著下降。值得注意的是，FAB 使用的触发器与任务无关、可由物理方式实现、不易察觉且无需同步（例如，背景中的警笛声）。我们使用两个领先的 AFMs、九项下游任务和四种不同的触发器对 FAB 进行了评估。我们进一步证明了它在面对已有防御措施时，以及在数字和物理环境中的有效性。虽然大规模端到端微调可以缓解 FAB 攻击，但这种防御方式资源消耗大，且针对特定任务。我们的工作揭示了 AFMs 面临的重大风险，并呼吁开发更先进的防御措施。
12:00 arXiv cs.LG 72
arXiv:2610.09637v1 公告类型：交叉收录 摘要：我们如何核实谁的音乐对 AI 生成的输出作出了贡献？本文展示了基于输入的归因如何提供可核验的证据，以确定一次生成使用了哪些音频来源，以及这些来源是否影响了输出。为此，我们仅以音频作为生成条件，不提供任何文本输入，然后追踪每个输出背后的输入，并确定其对音乐的影响。在提示遵循测试和受控输入替换实验中，我们的生成器 MixAudio 生成的分轨在音色上遵循提示音频，在和声上遵循上下文音频。然而，这些输出仍可能复现未作为输入提供的训练数据。因此，我们使用自行开发的音乐版本识别模型 musicDNA 审查记忆复现情况，发现复现输入记录之外内容的情况很少。在被标记的样本池中经人工评判的案例上，该模型的精确率和召回率均高于其他受测的记忆复现检测器。这两项评估表明，输入记录和输出分析可为归因提供互补证据；随着 AI 音乐经济逐步成形，面向权利人的报告和报酬分配可据此开展。音频示例见 https://neutune.github.io/attr2027demo/
12:00 arXiv cs.LG 73
arXiv:2610.09552v1 公告类型：交叉发布 摘要：水印使语言模型提供商能够识别其模型生成的文本。然而，水印的理想属性之间可能存在冲突（即更强的水印信号可能降低文本质量），而能够抵抗编辑的设计也可能助长伪造。提供商通过选择平衡相互竞争的目标或优先满足特定属性的配置，来应对这些权衡。这两种方法都会对需求不同的请求采用统一的运行配置，可能在措辞保留至关重要的场景中牺牲质量，或在可靠归因不可或缺的场景中牺牲鲁棒性。为实现灵活且可适应的设计，我们提出了准则引导的水印嵌入框架，它根据以自然语言原则列出的提供商要求，为请求选择恰当的权衡方案。在离线阶段，预训练的推理智能体结合水印实现审查准则规则，并利用实证反馈迭代优化针对各条规则的配置。在部署阶段，独立的监控器识别适用规则并检索相应策略（包括水印豁免策略），而无需修改提供服务的模型。此外，该框架支持根据不断变化的提供商要求，对各条规则对应的配置进行离线并行优化和细化，且不影响部署；同时将每个已部署配置与其评估证据绑定，使部署决策可供审计。在使用 KGW 和一套包含五条规则的准则进行的概念验证评估中，该框架能够根据提供商的优先事项选择配置；相较于固定配置，在优先考虑鲁棒性的请求上，改写后的检测率最高提升了 $14$ 个百分点，同时在标称误报率为 $0.1\%$ 时，整体质量和未经修改文本的检测表现均达到或超过所有基线。
12:00 arXiv cs.LG 74
arXiv:2610.09496v1 公告类型：交叉发布 摘要：视觉-语言-动作（VLA）模型利用预训练视觉-语言模型的丰富表征，在机器人操作任务中展现出强大的泛化能力。然而，反复出现的不可靠行为仍限制着它们在真实环境中的部署。本研究探讨了状态幻觉，这是一种反复出现的失败模式：VLA 持续采取行动，仿佛某个尚未实现的机器人-物体状态已经达成。我们的分析发现，状态幻觉伴随着对任务相关视觉区域的注意力减弱，而借助稀疏自编码器进行的机制解释揭示，当这些失败发生时，与幻觉相关的稀疏特征会被激活。基于这一分析，我们提出了 SOUL（Sparse feature pOlicy UnLearning），选择性地遗忘与状态幻觉行为相关的策略知识，其中，从幻觉失败和成功行为中识别出的稀疏特征分别作为明确的遗忘目标和保留目标。在仿真和真实环境中针对多种 VLA 架构开展的实验表明，我们的方法能够显著减少幻觉导致的失败并提高任务成功率，同时不会明显损害现有的操作能力。这些结果表明，可解释的特征分析为选择性地修改机器人策略中的不良知识提供了切实可行的基础。
12:00 arXiv cs.LG 79
arXiv:2610.09363v1 公告类型：交叉收录 摘要：凝结尾迹是飞机飞过后留下的薄冰云。它们造成了航空活动引起的很大一部分增温，而调整少数会产生凝结尾迹的航班路线，就可能避免其中的大部分增温。然而，只有卫星能够确认凝结尾迹确实未形成，规避才算有效，而这项核查并不容易：凝结尾迹仅有一到两个像素宽，只占全部像素的 0.18%，且外观与自然卷云非常相似。我们构建了一个用于检测凝结尾迹的小型扩散模型（840 万参数，在单块 GPU 上训练），并开展对照研究，以确定哪些组成部分真正重要。该模型的 PR-AUC 达到 0.476，而 DeepLabV3+ 基线模型为 0.414，经过适配的 MedSegDiff 为 0.119。将 CNN 的输入分辨率提高一倍后，其性能便与我们的模型相当（0.499，p=0.07）。三点经验也适用于凝结尾迹之外的任务。第一，在设计新架构之前，先检查输入分辨率。第二，简单的翻转和旋转就能使准确率提高至两倍以上，其重要性超过了我们评估的任何架构选择。第三，基于凝结尾迹形状对模型进行预训练反而有害：模型学会了认为细线条无处不在，并将其绘制到空白场景中。精确率骤降至 1%，但基于召回率的指标仍将退化后的模型评为优秀，而且无论调整阈值还是采用引导启发式方法，都无法修复这一失效问题。
12:00 arXiv cs.LG 71
arXiv:2610.09127v1 公告类型：交叉发布 摘要：从三维形状重建可编辑的 CAD 模型仍是一项具有挑战性的工程任务。现有方法能够提出 CAD 操作，但没有任何单一提案来源能够在不同零件几何形状和重建阶段中都表现出色。我们提出 CADFather，这是一个自主智能体系统，通过协调互补工具，从三维网格中恢复参数化 CAD 程序。视觉语言助手检查目标及中间重建结果的渲染图，然后决定扩展哪些候选 CAD 程序、调用哪些工具、生成多少个提案，以及何时结束。基于学习的方法和算法工具负责提出 CAD 操作，而数值优化则用于细化现有程序的参数。所提出或细化的程序会被执行和评估，为后续决策提供反馈。该智能体为每个目标零件维护多个备选程序，并在整个重建过程中保留最佳有效结果。CADFather 使用预训练的生成模型和助手模型，无需额外训练。我们在完整的 DeepCAD、Fusion360 和 MCB 测试集，以及 CADENA-Bench、CADBench 和 BenchCAD 上评估了重建质量和执行有效性。此外，我们还分析了计算成本，以及成本与重建质量之间的权衡。
12:00 arXiv cs.LG 76
arXiv:2610.09117v1 公告类型：交叉收录 摘要：人形机器人仍难以根据第一人称视角 RGB 图像和本体感知信息规划涉及密集接触的全身操作。Workhorse 从无需机器人参与的人类演示中学习此类操作。视觉规划器预测五个连杆的目标位姿：躯干、双腕和双脚的位姿。基于强化学习的全身跟踪器在机器人上跟踪这些目标。两种策略使用同一组记录的人体位姿分别训练，无需重定向。我们对每种策略的训练数据进行增强，以模拟另一种策略在部署时产生的误差。在真实的 Unitree G1 上，Workhorse 能用双手并配合踢击分拣箱子、接住抛来的箱子，以及推倒并爬上行李箱。在箱子分拣过程中，我们展示了机器人被人推搡或箱子被拿走后的恢复能力。在演示房间的仿真副本中，该系统在 77% 的回合中完成箱子分拣；受到 40 牛顿·秒的推力冲量干扰时，完成率为 64%。使用同一组演示重新训练两种策略后，另一款仿真人形机器人在无推搡干扰的情况下，在 83% 的回合中完成箱子分拣。
12:00 arXiv cs.LG 78
arXiv:2610.09045v1 公告类型：cross 摘要：我们研究了使用条件扩散模型学习时间齐次跳扩散过程转移核的问题，目标是从由 N 条独立轨迹组成的训练数据中生成新的样本路径，这些轨迹是在高频离散时间网格上观测得到的。在理论方面，我们为条件得分估计误差以及真实离散观测路径与生成离散观测路径的分布之间的 KL 散度建立了非渐近界。在数值方面，我们首先在合成数据上评估所提出的方法，以检验理论结果，并将其性能与 Gao et al. (2025) 的方法进行基准比较。随后，我们将该方法应用于真实世界数据，并在概率预测任务中考察其性能。
12:00 arXiv cs.LG 74
arXiv:2610.08858v1 公告类型：cross 摘要：低秩压缩通过用低秩分解替代线性变换，降低预训练语言模型的成本。然而，传统方法在推理过程中采用固定的秩分配，无论输入词元为何都分配相同的计算量。我们提出低秩条件计算（Low-Rank Conditional Computation，LRCC），通过为每个 Transformer 模块训练一个轻量级路由器，从一组规模较小的嵌套低秩路径中进行选择，为预训练模型引入依赖词元的计算。在训练过程中，低秩因子保持冻结，仅优化路由器。我们在 Llama 和 Qwen 模型上针对语言建模和零样本下游任务评估了 LRCC。在平均激活参数预算相同的情况下，LRCC 的预测性能优于静态低秩压缩；在 Llama-2-7B 上，其下游任务平均准确率较静态方法提升了 7.6 个百分点。在 batch-size-1 解码延迟相当的情况下，LRCC 在 Llama-3.2-1B 上同时提升了困惑度和下游任务准确率，并且在 Llama-2-7B 上仍具有竞争力，同时无需专用内核。最后，我们通过分析路由器对路径的选择，评估了为每个词元分配路径的实用价值。
12:00 arXiv cs.LG 73
arXiv:2610.08814v1 公告类型：cross 摘要：当语言模型必须以陌生方式组合熟悉的推理操作时，组合泛化仍然具有挑战性。基于场景的常识推理评测（Scenario-Based Commonsense Reasoning Evaluation，SCoRE）2026 在三个训练数据中未出现的混合领域上测试这一能力，并要求模型为每道题识别出完整的正确选项集合。我们提出 Route-Verify-Vote（RVV），这是一个程序条件化自一致性框架，无需更新参数即可使用语言模型。Route 利用给定的领域标签选择一种推理程序，引导模型表示并应用相关约束。Verify 提示模型根据这些约束评估每个选项。Vote 汇总完整的答案集合，并将额外样本分配给两种最高频答案集合的票数差距较小的题目。每道题的样本均遵循相同的领域特定程序。在官方测试集上，对每道题采样的 16 个答案集合进行投票，可达到 74.6% 的精确集合准确率。自适应 RVV 达到 77.3%，在选定的领域路由上结合多个模型后，准确率提升至 79.4%。最终系统在参评系统中排名第二。这些结果表明，领域特定的推理程序和答案集合之间的分歧，是在混合领域推理中分配推理时计算资源的有用工具。
12:00 arXiv cs.LG 77
arXiv:2610.08255v1 公告类型：cross 摘要：许多组织通过在私有数据上进行微调，将大型预训练模型适配到自身任务。多个此类参与方通常持有同一任务的数据，并希望共同微调模型，而不汇总这些数据。联邦学习（FL）支持联合微调，但对共享中间值（模型或其梯度）的重构攻击仍构成隐私风险。只交换一次加密贡献的一轮协议不会暴露任何中间值。然而，这种协议仍会将训练后的模型提供给每个参与方；当模型属于受监管资产或专有资产时，这是不被允许的。我们提出 HE-OFT，这是首个密码学安全的单轮联邦微调协议，在该协议中任何参与方都无法获得训练后的模型。每个客户端在冻结的公共骨干网络上微调一个低秩适配器和一个分类头，并保留该适配器。客户端上传一次加密的分类头位移，服务器使用多方 CKKS 对其进行组合，且从不解密。客户端法定人数仅向查询方返回预测标签。在四项文本分类任务和一项视觉任务上，HE-OFT 达到 61% 至 79% 的准确率，而客户端单独训练时为 20% 至 48%。HE-OFT 保留了公开模型 85% 至 96% 的准确率。单核上，一次测试时查询耗时 443.1 至 1713.1 秒；在 GPU 上进行层级恢复时，耗时为 56.1 至 255.1 秒。在服务器端恢复层级，可将每次查询的流量从最高 1.6 GiB 降至 13.5 MiB。
12:00 arXiv cs.LG 73
arXiv:2610.10536v1 公告类型：新摘要：现代语言模型在已训练检查点的基础上，进一步通过可验证奖励强化学习（RLVR）进行训练。RLVR 的一个关键承诺是发现新的推理策略。原则上，模型可以采样出其先前训练数据中不存在的新颖想法。然而在实践中，为 RLVR 增加强有力的新颖性激励收效有限，并且可能导致模型质量下降。由于可验证奖励只监督模型知识和行为中狭窄的一部分，这类退化很难恢复。为此，我们在一个称为 Exploration-Distillation（ExpDis）的框架中，将探索与优化解耦。我们在奖励中加入新颖性奖励，训练一个或多个探索策略；然后根据正确性和质量筛选其轨迹，并将筛选后的轨迹蒸馏到一个独立的学生策略中。随后，在不使用新颖性奖励的情况下训练学生策略。我们重复上述过程数轮，在探索与优化之间交替进行。这种解耦使我们能够大幅扩展探索规模，同时不会降低学生策略的性能。在七个数学推理基准和两个模型系列上，在相同的实际运行时间预算下，ExpDis 的表现优于 DAPO。此外，我们观察到 pass@$k$ 的扩展性有所提升，这表明 ExpDis 生成的模型能够产生更多样化的正确解法。
12:00 arXiv cs.LG 79
arXiv:2610.10519v1 公告类型：新 摘要：机器遗忘旨在设计一种删除算法，使其输出结果接近于在不包含指定遗忘样本的情况下从头重新训练所得的模型。在本文中，我们研究仅遗忘式机器遗忘，即删除算法只能接收训练好的模型和需要遗忘的样本，无法获得保留数据或其他训练信息。我们探讨仅遗忘式机器遗忘是否总是可行。首先，我们证明这取决于所采用的学习方法：不同的数据集可能产生相同的训练模型，但在删除相同样本后却需要得到截然不同的输出。基于这一观察，我们推导出机器遗忘结果与重新训练结果之间可达到的匹配精度下界，并将其应用于若干种标准学习算法。随后，我们进一步探讨仅遗忘式机器遗忘成功时必须满足的条件。为此，我们推导出算法为处理任意删除请求而必须记忆的训练数据量下界。对于简单的阈值学习器，所需信息量可能达到整个数据集的规模，尽管普通训练只需保留一个边界点。总体而言，我们的结果表明，普通学习过程中丢弃的信息日后可能是执行删除所必需的，因此，为仅遗忘式机器遗忘而设计的模型可能需要保留比标准训练更多的信息。
12:00 arXiv cs.LG 71
arXiv:2610.10437v1 公告类型：新摘要：流策略能够捕获丰富且多样的动作分布，利用离策略强化学习对其进行微调，以取得超越示范数据的表现，正受到越来越多的关注。然而，针对学习得到的价值函数对流策略进行微调并非易事，因为该策略需要经过多个流步骤才能生成动作。伴随匹配提供了一种有原则的方法：将价值信息从最终动作反向传播至每个流步骤，从而直接更新流模型本身；但它要求在每个步骤中计算策略的向量-雅可比积，其成本会随着流步骤数和策略规模的增加而增长。我们观察到，预训练流策略的批次平均速度雅可比矩阵，其数值主要集中在对角线上。受此启发，我们推导出一种闭式标量伴随：将最终动作处的价值梯度按流时间进行缩放，从而消除逐步计算向量-雅可比积的需求。我们进一步发现，在标量伴随下，控制策略生成动作处的 critic 价值尤为重要。基于这些发现，我们提出了 Q-learning with Scalar Adjoint Matching (SQAM)，将标量伴随与针对这些动作的价值惩罚相结合。SQAM 的优势主要集中在 OGBench 中最困难的四个领域，在每个领域中，其成功率均比该领域最强基线高出 18 至 35 个百分点。为检验 SQAM 能否扩展到大型预训练策略，我们还在一台真实的双臂机器人上对一个视觉-语言-动作策略进行了微调。在全部三个任务上，SQAM 的表现均优于监督微调。
12:00 arXiv cs.LG 77
arXiv:2610.10422v1 公告类型：新 摘要：当强化学习教会语言模型一种新行为时，我们能否找到教会它该行为的训练 Rollout？而当某种归因方法声称自己能够做到这一点时，我们又如何知道答案确实可靠？我们在使用 GRPO 进行在线 RL 微调的场景中研究了这两个问题，并采用了一种成因已知的预置行为。我们发布了 BehaviorTrace，这是一个开放的评测工具框架，结合了全梯度 sketching、预置行为设置，以及针对梯度大小、流畅度、提升空间和不同随机种子与生成采样之间变化的控制。在 Qwen2.5-1.5B 的三个随机种子实验中，表面上的归因信号很大一部分来自混杂因素。一个仅按梯度大小对训练步骤排序、完全不使用行为目标的对照方法，达到了随机水平的 4.2 至 4.5 倍，并且在三个随机种子中的两个上达到或超过了最佳目标导向估计器的表现。在已饱和的检查点上，模型流畅度对行为标签的预测能力至少与我们比较的所有梯度方法一样强。在控制流畅度之后，逐 Rollout 的结果会随随机种子以及每次生成采样而变化，因此单次运行无法定论。有一个信号在三个随机种子上都成立：触发词元的梯度会与根据行为实际发生之处构建的目标相一致。基于这些发现，我们提出了一份用于评估 RL 中归因方法的检查清单。我们测试了现有估计器，包括 GAS（重新归一化的 TracInCP）和 TRAK 风格的估计器，但没有提出新的估计器。
12:00 arXiv cs.LG 74
arXiv:2610.10398v1 公告类型：新 摘要：用于计算流体力学（CFD）的神经代理模型有望通过加速仿真极大推动工程创新。然而，神经代理模型的主要局限在于难以泛化到训练集之外的几何形状和应用场景；鉴于工程场景的多样性，这一问题尤为重要。目前，解决这一问题的方法是针对特定应用生成新数据集，但这需要运行成本高昂的数值求解器。在本研究中，我们通过研究在不同几何形状、边界条件和保真度的数据上训练的神经代理模型，向解决这一问题迈出了一步。我们发现，与从头训练以及从特定领域专家模型迁移相比，跨域预训练能够提升模型在留出数据集上的零样本和少样本性能。具体而言，在相同样本量下，对经过预训练的跨域模型进行微调，其误差可降低至从头训练的 1/2 到 1/3；而要达到相同误差，所需样本量仅为从头训练的 1/8。这一优势与架构无关，并且会随着模型规模和预训练数据集多样性的增加而提升。此外，我们还研究了跨域预训练在 CFD 代理模型中发挥作用的方式和原因，发现仅仅汇总稳态数据集就足以产生有效效果。鉴于生成 CFD 数据的成本高昂，随着未来的代理模型不断拓展以应对新的问题和应用场景，通过跨域预训练利用现有数据集很可能会成为一种有价值的策略。
12:00 arXiv cs.LG 72
arXiv:2610.10317v1 发布类型：new 摘要：表格基础模型（TFMs）在多种表格任务上进行预训练，并在推理时利用新表格中的已标注示例作为上下文，对其进行预测。近期大多数 TFM 通过堆叠的 Transformer 层执行此类上下文内预测，不断转换示例的表示方式并重新比较示例。通过追踪多个强大 TFM 中的单个查询，我们发现，预测细化在不同深度上的分布极不均衡，且通常集中在较后的层中。这种不均衡促使我们重新思考如何在整个网络中构建和复用中间表示。我们提出 Retro，一种基于回顾式推理的表格基础模型，使后续阶段能够显式回顾并重新组合网络早期产生的中间信息。Retro 围绕两个互补操作组织这一过程：回顾哪些中间信息，以及如何针对每个查询塑造由此产生的上下文更新。Attention Residuals 通过自适应地重新加权不同深度的贡献来处理前者，而 query-conditioned Gated Attention 则通过在表示维度上逐元素调节注意力输出来处理后者。我们的分析表明，Retro 将预测细化更早地引入网络，并使其更广泛地分布于不同深度；不同阶段会修正不同的查询子集，这种模式显示出多视角细化的特征。在 TabArena、TALENT 和 RelArena 上，Retro 均位列前三，并处于 Pareto 前沿。这些结果表明，直接复用中间表示为更充分地利用 TFM 的深度提供了一种实用方法。
12:00 arXiv cs.LG 73
arXiv:2610.10245v1 公告类型：新 摘要：尽管可穿戴设备和移动设备中的传感器无处不在，并且它们能够生成大量的人体运动数据，但如何将无标签记录转化为基础运动模型仍然是一个尚未解决的挑战。自监督学习（SSL）缓解了对高成本标注的需求，但现有方法在很大程度上未能利用大规模运动数据的全局结构，而是依赖随机采样的批次和局部比较；对于现实环境中的惯性数据而言，这一问题尤为突出，因为此类数据主要由静止、低方差行为构成。为此，我们提出形态对比学习（MorphCL），一种自监督预训练框架，通过结构感知分组，将对全局结构的显式建模融入基于惯性的 SSL 方法。MorphCL 建立在运动分析的两个成熟支柱之上：运动基元（即运动模式）的发现，以及领域特定的特征描述符。我们表明，MorphCL 能够显著提升所学习编码器在线性探测和微调任务中的表现，使 F1-score 最高提升 15 个百分点。在与现有基础模型的比较中，我们证明，在仅使用少于其 $4600\times$ 的数据进行训练的情况下，经过 MorphCL 预训练的编码器在线性探测性能上可以达到或超过这些模型。对所得嵌入空间的定性分析进一步揭示了具有形态学意义的聚类结构，并改善了运动学相似活动类别之间的区分度。
12:00 arXiv cs.LG 80
arXiv:2610.10213v1 公告类型：新增 摘要：对于标注数据稀缺的逆问题，一种自然策略是将从大量正向模拟数据中学习到的关系结构进行迁移。我们表明，即使该策略满足结构应当有所帮助的标准理论依据，它仍会系统性地失效。我们证明，只要边误差满足 $\Delta < n^2 - kn$，近似结构就能带来估计误差方面的收益，将样本复杂度从 $O(n^2)$ 降低至 $O(kn+\Delta)$。通过 Neural Relational Inference (NRI) 从动力学预测中学习到的结构满足这一条件；然而，在涵盖180个基于CFD模拟的氢气泄漏场景和180个声学场景的源定位任务中，相较于灵活且针对任务优化的注意力基线，其性能分别下降了116%和201%；相比之下，基于物理的先验（格林函数）仅下降了69%–72%。四条相互独立的证据表明，这并非调参失败：在获得多18倍训练数据时，NRI的提升仅为0.5%（而针对任务优化的基线提升了16.6%，$p<0.001$）；在很宽的范围内，性能对NRI边阈值均不敏感；从动力学中学习到的图与任务最优图仅有6%的边重合；此外，另外两种从动力学中导出的结构估计器（基于相关性和基于互信息）相较于无结构基线均未显示出可测量的收益，其中基于相关性的估计器表现明显更差。我们将这一差距形式化为关于近似误差的论断，而边准确率条件无法控制这种误差；同时，我们提出了一种轻量级可迁移性测试，即计算其与部分观测到的目标任务图之间的Jaccard相似度。在我们评估的全部四种领域/结构组合中，该测试都能区分成功迁移与迁移失败，所需计算时间不到一小时，仅使用目标领域15%–20%的数据；我们将其定位为一种基于少量案例校准的启发式方法，而非经过验证的通用阈值。
12:00 arXiv cs.LG 82
arXiv:2610.10199v1 公告类型：新 摘要：新兴立法要求对大型语言模型（LLM）进行审计，以确保其符合监管标准，尤其是公平性标准。此类黑盒审计通常假设存在一名能够访问大量且具有代表性的查询集的审计员。在实践中，审计员可能难以获得这样的查询集，但多名审计员可以通过使用各自的查询集协作审计 LLM，共同覆盖相关的群体特征。然而，依赖多名审计员会引发一个根本性的信任问题：他们可能代表 LLM 提供方行事，营造出具有误导性的公平表象，即“公平洗白”。我们提出了 Auditopus，一种用于稳健去中心化公平性审计的新方法。在 Auditopus 中，审计过程以轮次进行，且不设中央服务器。在每一轮中，每名审计员向 LLM 发出固定数量的查询，并仅向其他审计员发送其查询结果的累积统计向量，而不是明文发送敏感查询。随后，通过聚合所有向量来估计受审计 LLM 的公平性。我们从理论和实证两方面表明，即使网络中只有一名恶意审计员，也能通过伪造其发送的向量操纵该估计值，使不公平的 LLM 看起来公平。为应对这一威胁，Auditopus 要求每名诚实审计员在本地降低那些累积统计向量与先前向量在统计上不一致的审计员的权重。我们实现了 Auditopus，并在两个数据集和两个预训练 LLM 上将其与稳健聚合基线方法进行了比较。面对通过优化所发送的向量来使 LLM 看起来公平的攻击者，相比不采取防御措施，Auditopus 将审计误差平均最多降低了 78%；相比稳健聚合基线方法，至少降低了 62%。即使 49% 的审计员具有对抗性，Auditopus 也从未让非常不公平或中度不公平的 LLM 被判定为公平。
12:00 arXiv cs.LG 77
arXiv:2610.10068v1 公告类型：new 摘要：表格数据是医学、金融、政府和科学领域预测与决策的基础，但通常包含个人层面的敏感信息，因此既需要准确预测，又要保护隐私。传统隐私学习能够提供形式化的隐私保证，但需要缓慢的、针对特定数据集的优化，在强隐私要求下效用损失显著，而且通常难以正确应用。表格基础模型能够快速适应新数据集，但现有模型缺乏形式化的隐私保证，并且极易受到成员推断攻击的影响，限制了其在敏感数据上的应用。在此，我们提出 PrivTab，这是一种易于使用的、用于差分隐私分类的表格基础模型，将隐私机制嵌入其架构之中。PrivTab 在模拟数据集上进行预训练，并利用上下文学习将敏感数据行转换为紧凑且具有可证明隐私保证的摘要——实际上学会了如何在隐私约束下进行学习。在中等至强隐私要求下，PrivTab 的表现优于私有线性模型和神经网络基线模型，成员信息泄露几乎可以忽略；在强隐私要求下，它仍能保持良好校准的预测，并将数据集拟合时间缩短 10,000 倍，只需一次前向传播。PrivTab 将形式化隐私、高速性和易用性相结合，使 AI 的最新进展能够应用于此前因个人层面敏感数据而难以采用的场景。
12:00 arXiv cs.LG 74
arXiv:2610.10000v1 发布类型：new 摘要：Bandit 上的对抗性攻击旨在误导学习器选择目标臂，同时将攻击成本控制在较低水平。现有攻击通常通过抑制非目标臂来实现这一目的。然而在实践中，虚假评论等操纵手段往往会直接推广目标项。我们通过研究具有有界奖励的热启动 Bandit 上的离线攻击来探讨这一差异：攻击者只能在部署前向热启动历史中注入有效的动作—奖励对。我们证明，目标推广并非仅仅是一种启发式方法：当目标臂的奖励接近下界时，任何针对 UCB、具有阶数量级最优成本且能使目标臂在几乎所有在线轮次中被选中的攻击，都必须将其成本中不趋于零的一部分分配给目标臂。随后，我们设计了一种能够实现最优次线性成本的攻击，并刻画其在目标推广与非目标抑制之间的分配。我们进一步将该攻击扩展到 Thompson Sampling、$\epsilon$-greedy 以及更广泛的 Bandit 算法类别。在真实世界数据和合成数据上的实验验证了我们攻击方法的有效性。
12:00 arXiv cs.LG 80
arXiv:2610.09709v1 公告类型：新 摘要：在任何目标数据可用之前，我们能否确定一个基础模型是否会在分布外（OOD）泛化？现有诊断方法需要源数据或目标数据，因此在目标域尚不存在时便无法使用。那些仅使用权重的方法则对所有架构采用同一种统计量，也无法区分鲁棒模型与脆弱模型。我们表明，答案编码在预训练权重的谱结构中。有两种力量塑造这种结构。架构决定信息如何存储在权重矩阵中；预训练策略决定模型受到何种奖励。二者共同设定了一种支配 OOD 鲁棒性的谱几何。我们证明，OOD 准确率差距受源表示集中程度的紧密性所约束。仅根据预训练权重计算的一个统计量，可以作为这种集中程度的代理指标。该代理指标的方向在不同架构族之间会发生反转。我们将其付诸实践：在我们测试的最细粒度分组——一个（架构 × 策略）组合——内部，该方向是稳定的，我们将其称为一个单元（cell）。在涵盖 7 种模态的 116 个模型上进行汇总后，单一统计量对 OOD 鲁棒性的排序能力较弱，因为方向相反的单元相互抵消。在一个单元内部，为该单元选定的统计量能够在样本内按照 OOD 鲁棒性对 92% 的模型对进行排序。该选择不会泄露目标信息：对于矩阵之外的每个模型族，我们都在运行其 OOD 评估之前记录了单元、指标及符号，而且预测方向在每种情况下都成立：EEG、基因组和蛋白质。针对谱集中程度进行调整后，在保持 87.5% ID 性能的情况下，OOD 差距缩小了 24%。该诊断仅对已发布的权重进行操作，因此无需向目标域投入数据或计算资源，就能在模型选择阶段检查 OOD 鲁棒性。
12:00 arXiv cs.LG 77
arXiv:2610.09651v1 发布类型：新 摘要：DP-SGD 通过向裁剪后的梯度添加高斯噪声来保护训练数据。噪声量通常通过在搜索过程中运行数值隐私核算器来确定。我们研究采用随机分配的 DP-SGD，其中每个训练轮次都会使用每条记录一次，并将其分配到随机选择的步骤中。针对这一设置，我们给出一个单行公式，用于界定针对训练模型的任何成员推断攻击（MIA）的准确率。设每个训练轮次包含 $M$ 个步骤，共训练 $E$ 个轮次，噪声乘数为 $\sigma$，并且先验上成员与非成员的可能性相等，则攻击准确率至多为 $\frac12+\frac14\sqrt{(1+(e^{1/\sigma^2}-1)/M)^E-1}$。该公式源于高斯分布与一个支配随机分配过程的高斯混合分布之间的卡方散度。该公式具有可解释性，并且大约只需一微秒即可求得 $\sigma$。在适用情况下，与当前最先进的闭式界相比，我们的公式所需噪声最多可减少约一半。为了衡量该界的紧确程度，我们还推导了这两个分布的攻击准确率的精确表达式，并对其进行数值评估。在我们的主要实验中，根据这一精确表达式进行校准所需的噪声比使用该公式少 $13.0\%$ 至 $20.2\%$；由于该表达式是精确的，因此任何只了解 $M$、$E$ 和 $\sigma$ 的核算器都无法证明更小的 $\sigma$ 是足够的。在训练中，由此得到的 $\sigma$ 优于该公式，并且在测试准确率方面与一份已发表的核算器相当。它可在几秒内求得，并在几分钟内完成认证；相比之下，我们使用该核算器进行的每次搜索要么耗时更长，要么返回的噪声至少多出 $0.62\%$。我们表明，针对训练模型的 MIA 始终低于该界。
12:00 arXiv cs.LG 76
arXiv:2610.09647v1 公告类型：新 摘要：后训练使语言模型能够适应非平稳环境。实践者使用 RankMe 及相关谱统计量监测表征健康状况，通常假设表征退化时秩会下降。我们表明，这一假设对于 LLM 后训练并不可靠。在一项针对 Qwen3-0.6B 的受控研究中，我们设置了四种退化模式和三个随机种子。与健康状态相比，数据重复使留出损失恶化了 75%，同时却提高了原始 RankMe 和中心化 RankMe；后者变化了 13.5 个合并标准差。协方差有效秩上升到接近健康状态的两倍。这种失效源于谱离散而非谱坍缩，因此单侧监测器会将最差的检查点评为最健康。相比之下，学习率配置错误会降低中心化 RankMe 和 k95，而非中心化 RankMe 在不同随机种子之间表现不一致。因此，变化方向是“退化机制—统计量”组合的属性，不能仅靠重新校准来解决。我们还区分了两个经常混淆的统计量：RankMe 对奇异值进行归一化，而协方差有效秩对特征值进行归一化。在预训练模型的原始中间层状态上，大幅激活值会将后者限制在接近维度 d 中的 1，而 RankMe 仍保有可用的变化范围。随后，我们测试了一个采用独立校准数据和测试数据的双侧多通道序贯监测器。在预注册的共享前缀、留一随机种子评估中，该监测器在每个折中都能检测到全部三种损害机制，时间为分叉点之后 10 到 60 步，并通过触发方向区分谱离散与秩下降型损害。然而，它从未早于留出探针损失发出预警；使用两个随机种子进行校准还会在留出的健康随机种子上产生误报。谱监测可以诊断失效机制，但无法比留出损失更早发出预警；有关有效性的论断则需要留出的健康数据。
12:00 arXiv cs.LG 76
arXiv:2610.09519v1 发布类型：新 摘要：生产机器学习模型是有时间边界的训练快照所派生出的产物：部署后的模型是训练截面上的物化视图，并且从构建完成的瞬间起就开始老化。常见的应对方式是用自适应触发器替代固定的重新训练周期——当累积的源风险超过阈值时，根据加权陈旧度分数触发重新训练。我们证明，这并不是正确的着力点，并找到了真正应该优化的方向。首先是一个等价极限：任何基于单一共享全局训练数据年龄、且为静态严格单调函数的刷新触发器，在运行层面都等价于经过校准的统一年龄计时器。因此，无论全局陈旧度预算对分段、数据源和敏感度的加权多么复杂，都不会提供时钟本身不具备的调度信息。该极限也揭示了如何突破这一限制：对各个分段进行差异化刷新，为每个分段设定独立的年龄和刷新间隔；当刷新成本可在分段之间分离时（例如增量训练或分段模型），这种方式便具有实际意义。我们求解了由此产生的预算分配问题。在高频刷新情形下，每个分段的最优刷新速率与其风险 $w_j \lambda_j$ 的平方根成正比（即权重乘以变化速率）；在相同刷新预算下，最优策略的成本从不高于统一计时器，并且通过闭式的 Cauchy-Schwarz“统一化代价”优于后者：对于同质工作负载，该代价为零；随着异质性增加，代价也会增大。在采用真实 Poisson 变化事件的离散事件仿真中，在刷新预算相同的情况下，最优策略相较统一计时器将实际加权陈旧暴露降低了 8–29%，并在 86–100% 的随机种子上胜出；朴素的暴露阈值策略则无法做到这一点，表明真正起作用的是分配方式；即使速率估计存在 50% 的噪声，这一优势仍然存在。模型刷新中的杠杆不在于更好的分数，而在于更好的行动。
12:00 arXiv cs.LG 82
arXiv:2610.09415v1 公告类型：新 摘要：生成模型越来越多地在自我消耗式迭代循环中进行训练：用户从模型生成的候选样本中筛选出偏好的样本，并使用这些筛选后的样本训练模型的后续版本。以往的研究大多假设用户偏好是固定的，但在实践中，接触模型输出会逐渐重塑用户对何为理想的认知，从而形成模型分布与用户偏好共同演化的反馈循环。我们首次尝试理解这类耦合动态的长期行为。我们表明，当训练完全依赖用户筛选的合成数据时，迭代筛选会放大初始偏差，并推动系统走向多个单例均衡之一：最初占据优势的实例最终会取得支配地位。相比之下，以足够高的比例将参考数据注入训练会从根本上改变动态，并产生唯一的全局吸引均衡。在此基础上，我们研究如何利用参考数据注入控制长期结果，并提出一种高效算法，联合选择参考分布及其混合权重，使耦合系统朝向能够保留所需属性、同时最大限度降低数据收集成本的均衡状态。
12:00 arXiv cs.LG 73
arXiv:2610.09407v1 公告类型：新 摘要：预训练扩散模型是逆问题的强大先验，但在非线性、不可微的前向模型下进行后验采样仍然困难。我们提出 diffusion waltz，一种利用 SDEdit 风格的加噪—去噪过程作为提议，并通过 Metropolis-Hastings 进行校正的 MCMC 方法，从而无需评估先验即可实现精确的后验采样。我们进一步提出在保持精确性的同时，将观测结果注入提议中，采用无梯度的集合卡尔曼更新。在不可微的 Navier-Stokes 初始条件恢复任务中，diffusion waltz 在不同噪声和非线性条件下均优于现有基线方法。
12:00 arXiv cs.LG 71
arXiv:2610.09355v1 公告类型：新 摘要：学习能够跨越认知任务、受试者和记录条件进行泛化的 EEG 表征，仍然是脑电图（EEG）解码面临的关键挑战。近年来，基础模型取得的进展提升了 EEG 解码性能，但一个根本性的开放问题仍然存在：如何有效地将神经信号接入这些模型，从而实现跨数据集的多任务学习。为研究这一问题，我们提出了 BraVista，这是一种视觉-语言框架，可将多通道 EEG 信号编码为结构化图像，并通过由指令调控的视觉-语言模型（VLMs）实现多任务学习。我们的方法依赖于对通用领域 VLM 进行持续后训练，利用其视觉和语言先验，使其适应神经信号，而无需单独进行大规模 EEG 专项预训练。我们在涵盖睡眠分期、情绪识别、认知负荷分类和异常 EEG 检测的四个数据集上评估了 BraVista，结果表明其在这些任务上均取得了强劲表现。进一步分析表明，EEG 到图像的表示方式对性能至关重要。此外，通过对 EEG 信号施加受控扰动，我们观察到随着噪声增加，模型性能逐渐下降，这表明模型依赖的是与 EEG 相关的信息，而非表面的视觉模式。总体而言，这些发现表明，结构化视觉表示可以作为神经信号与通用领域基础模型之间一种有效且可扩展的接口，用于统一多任务 EEG 解码。
12:00 arXiv cs.LG 75
arXiv:2610.09305v1 公告类型：新论文 摘要：用于衡量动作条件世界模型质量的基准仍在不断演进，并逐渐从基于视觉相似性的指标转向基于动作语义和物理基础的指标。然而，对于与领域和任务无关的动作条件世界模型训练，现有基准所提供的信号仍然有限。通过在 CounterStrike 游戏数据上训练和评估扩散世界模型，我们确认，定性上的可玩性与 FVD、LPIPS 和 JEDi 等指标并不对应。我们将这一现象称为 Virtual2Real 差距。我们认为，在缺乏可靠基准的情况下，对原始游戏数据进行策展并测量多种诊断属性，可以提供更稳健的信号，从而在训练开始之前弥合这一差距。我们介绍了多种策展策略，以及一个用于物理 AI 数据策展的通用工具包 Kuration SDK；该工具包将随本文开源。在一个具体案例中，Kuration SDK 对发现 Virtual2Real 差距的根本原因发挥了关键作用：为什么两个在相同游戏地图、动作和状态分布上训练的世界模型，尽管 LPIPS 和 FVD 得分非常相近，但在实际操控时却表现出截然不同的行为。因此，Kuration SDK 有望揭示特定数据集产生 Virtual2Real 差距的根本原因，并加速高样本效率训练数据集的开发。
12:00 arXiv cs.LG 76
arXiv:2610.09255v1 公告类型：新 摘要：神经偏微分方程替代模型的训练数据来自数值求解器的输出，其中同时包含物理演化和求解器特有的离散化误差。由于替代模型的评估同样基于来自同一求解器的留出轨迹，标准基准无法区分其对精确演化的保真度与对数值格式的模仿。我们提出一种经验傅里叶符号诊断方法：使用单独的傅里叶模态探测训练好的替代模型的线性化单步算子，并将其与精确演化参考和训练格式参考进行比较。为应对架构的频谱偏置，我们在具有正交耗散特征和色散特征的格式上训练结构相同的网络，并比较它们所学习的算子。在线性平流问题中，所学习的替代模型重现了训练格式的幅度误差和相位误差，双格式之间的差异达到了分析预测的完全模仿上限的 99.8\% 以上。对于非局部 Fourier neural operator，以及在非线性 Burgers 动力学的算子层面上，也观察到了相同的行为。这些结果表明，与求解器生成的测试数据一致，并不能单独证明模型对精确演化具有保真度。傅里叶符号测量为数值溯源提供了直接诊断手段。
12:00 arXiv cs.LG 82
arXiv:2610.09122v1 发布类型：新 摘要：参数高效微调（PEFT）提供了多种参数化方式，但它们在方法和功能上的差异仍不明确。我们在语言模型和扩散模型中比较了六种方法，以考察其参数化方式与任务性能、遗忘程度以及预训练权重几何结构变化之间的关系。受正交微调（OFT）保持谱结构设计的启发，我们首先探究谱保持本身对于适应和保留能力是否重要。我们发现，所选的 LoRA 系列方法也大致保持了预训练几何结构；恢复其发生轻微漂移的奇异值谱，基本能够保持任务性能，这对显式保持几何结构的必要性提出了质疑。除此之外，我们观察到，一些方法表现出不同的适应—保留权衡，且这种权衡会随设置而变化：LoRA 最稳定地在保持有竞争力性能的同时限制遗忘；在大多数比较中，DoRA 的平均任务得分高于 LoRA；而 PiSSA 往往会带来更高的保留成本。进一步的干预实验表明，尽管不同 PEFT 方法带来的性能提升可以归因于对不同谱成分组的修改，但我们始终发现，相较于恢复中间或尾部成分，恢复主导成分能够使通用文本 NLL 或基础图像漂移的平均值降幅最大。总体而言，这些结果促使我们通过几何约束的功能后果，而非仅仅通过其保持效果，来评估几何约束。代码可在 https://github.com/Kuaaannn/PEFT_methods 获取。
12:00 arXiv cs.LG 82
arXiv:2610.09004v1 公告类型：新 摘要：去除有害信息是否能使开放权重模型抵御微调攻击？我们表明，仅凭发布时的互信息无法普遍证明模型能够缓慢恢复。保持函数不变的重新参数化不会改变信息量，却会改变梯度下降的几何结构，因此，不变性证明的上限取决于可达到的最快参数化。我们将这一原则应用于训练数据过滤下的权重--数据互信息，以及能力移除下的标签--表征互信息。在权重--数据互信息保持不变时，训练顺序可以改变恢复时间；而表征层面的精确独立性则可能保留完整的参数雅可比矩阵。一个明确的构造同时使这两个信息量均为零，并能在一次梯度更新中恢复。受控实验展示了恢复过程对训练顺序的依赖，以及攻击速度对参数化方式的依赖。这些结果指出了认证所缺失的要求：除了发布时的互信息之外，还必须对攻击动态施加约束。
12:00 arXiv cs.LG 74
arXiv:2610.09003v1 公告类型：新 摘要：自回归大型语言模型（LLM）经常难以处理多位数乘法和长除法等确定性的多步算法任务。本文研究了在合成数据上训练的紧凑型“Tiny”Transformer（约 10.6M 个非嵌入参数，总计 49.3M 个参数）执行多步算术的机制，涵盖四种基本运算（+、-、*、/），并将其展开为逐步草稿。首先，我们确立了必要的训练基础：（1）数据加载器中的序列填充会产生 83% 的梯度缺失现象，使准确率从 40% 暴跌至 1%，而连续序列打包可以修复这一问题；（2）语言预训练是必要前提（未进行语言预训练时准确率不超过 2.0%）；（3）现代架构组件（RoPE、RMSNorm、SwiGLU）和稀疏专家混合模型（MoE）相较于基线 GPT-2 能显著提升加法推理能力。其次，我们证明，算法式草稿的设计直接决定了任务能否成功。在四阶段层级发展式课程训练中引入确定性的逐位长除法草稿后，在包含 4,000 道题目的留出基准测试上，单数字除法的准确率从 4.0% 大幅提升至 86.7%。相比之下，多位数乘法仍然颇具挑战：详细的错误分析表明，尽管模型能够正确计算单位数子乘积以及位值对应的零，但我们的 FOIL 草稿要求在单个步骤中同时求和最多九个多位数项，且没有进行成对的中间累加，因此未能奏效。最后，我们确定了两个关键边界：在未见过的四位数操作数上，性能会崩溃至 0.00%；而未采用缓冲的训练会导致灾难性遗忘，使除法准确率从 86.7% 降至 0.00%。
12:00 arXiv cs.LG 77
arXiv:2610.08991v1 公告类型：新 摘要：我们提出了 REFIT，这是一种输入校准方法，用于处理部署时惯性传感器佩戴方式不同于训练时的冻结活动识别模型。当用户将手表换到另一只手腕，或将带式传感器翻转后重新佩戴时，模型会在变化后的坐标轴上看到相同的动作。REFIT 无需标签或重新训练即可消除这类偏移。它利用轴变换族（例如反射和旋转）描述这些偏移，并根据用户数据拟合每个变换族，使简单统计量与训练数据的统计量相匹配。消除失配最多的变换族即可确定偏移类型。REFIT 在冻结模型之前应用该变换族中表现最佳的成员来修正偏移，并重新估计模型的归一化统计量。随后，它利用无标签准确率估计来测试修正后的模型；当准确率较低时，便要求用户重新佩戴传感器。在真实的左右手传感器配对数据，以及真实和模拟的重新佩戴数据上的实验表明，REFIT 在每个数据集上都优于无标签测试时自适应方法，并恢复了重新佩戴导致的大部分准确率损失。与基于置信度的选择器相比，它能够更可靠地识别注入的偏移。在对轴的所有带符号置换进行校正后，该估计能够区分成功校正和失败校正。
12:00 arXiv cs.LG 72
arXiv:2610.08975v1 公告类型：new 摘要：大量新的自适应优化器旨在高效估计和利用小批次梯度统计信息，以调整参数更新，但它们通常只在单一批次大小下进行基准测试。超参数缩放规则承诺在批次大小和梯度噪声发生变化时保持性能，这意味着在某一批次大小下表现最佳的优化器在另一批次大小下也应保持最佳。我们通过以下发现对这种优化器开发与评估方法提出质疑：(1) 没有任何有原则的缩放规则能够让 Muon 在不同训练设置下始终保持有效；(2) 即使经过广泛的超参数调优，语言模型预训练的最佳优化器仍会随批次大小而变化。
12:00 arXiv cs.LG 79
arXiv:2610.08810v1 公告类型：new 摘要：研究表明，在大型卫星档案上预训练并经过微调的地理空间基础模型（GeoFMs）能够提高作物分类精度和地理迁移能力。然而，这些模型超出训练分布后的运行表现仍缺乏充分刻画。我们评估了广泛采用的GeoFM [Prithvi-EO-2.0]在三个大洲、12个国家的37个事件中的分布外表现，并使用区域参考产品进行了验证。结果显示，平均总体精度（OA）从美国的0.65降至欧洲的0.40。除精度指标外，我们还评估了模型性能的五个关键方面：模型置信度是否能够指示信号失效、对观测时间窗口的敏感性、类别体系粗化的影响，以及对波段缺失和云及阴影污染的鲁棒性。当观测时间窗口与当地作物物候期不匹配时，精度会崩溃，而确定性置信度仍然很高。在八组配对事件中的七组中，预期校准误差有所增加；在每个受影响场景中，有12%至51%的区域被模型以高置信度错误标注，而此时精确率接近于零。蒙特卡洛dropout熵在全部八组事件中都检测到了这种偏移，表明表面上的跨大陆性能下降，很大程度上反映的是物候错配，而非空间迁移。无需重新训练即可通过两项调整恢复精度。根据模型的主要混淆情况，将13个类别合并为10个类别，使平均OA提高了8.4个百分点。将时间窗口压缩至接近实时应用，在45至90天的平台期内仍能保持精度，并在约75天时达到峰值；不过，短于30天的窗口比该平台期低约0.11。因此，经过微调的作物GeoFMs只有在观测时间窗口与当地生长季相匹配时，才能实现有效迁移。我们将这些发现转化为已发布模型可靠部署的运行指南。
00:12 arXiv cs.AI 75
用于细胞与细胞核实例分割的预训练模型在架构、预训练数据与目标、参数量、推理策略、适配要求、后处理流程以及计算需求方面存在显著差异。大型预训练模型和基础模型因其强大的零样本能力而得到日益广泛的应用，但其使用也带来了更高的能耗、内存需求、计算需求、适配成本以及运行碳排放。这些额外需求能否换来有意义的分割性能提升，目前仍不明确。为探究这一问题，我们提出了兼顾可持续性的性能指数（SAPI），这是一种融合分割性能、能耗和模型规模的可配置指标。我们在六个 CellBinDB 数据集上，对 19 个预训练模型和基础模型进行了零样本推理基准测试，并采用冻结编码器和全模型微调两种少样本适配策略，对 16 个可微调模型进行了评估。我们使用基于软件的监测工具估算 GPU、CPU 和 RAM 的能耗。结果表明，规模更大、计算需求更高的模型并不总能实现成比例的分割质量提升。尽管少样本适配能使多个模型受益，但其性能增益和资源成本因架构、数据集及适配策略而存在较大差异，导致基于 SAPI 的排名与仅基于性能的排名不同。本研究提供了一个更全面地比较分割模型的实用框架，有助于在生物医学图像分析中选择计算门槛更低、对环境更负责任的模型。
01:13 arXiv cs.AI 76
流策略能够捕捉丰富多样的动作分布，利用离策略强化学习对其进行微调，以实现超越示范的性能，正受到越来越多的关注。然而，依据学习得到的价值函数微调流策略并非易事，因为策略需要经过多个流步骤才能生成动作。伴随匹配通过将价值信息从最终动作反向传播至各个流步骤，为更新流模型本身提供了一种有理论依据的方法，但它要求在每一步中通过策略计算一次向量与雅可比矩阵的乘积，其计算成本随流步骤数量和策略规模的增加而增长。我们观察到，预训练流策略在批次上取平均后的速度雅可比矩阵，其数值主要集中在对角线上。受此发现启发，我们推导出一种闭式标量伴随量，利用流时间缩放最终动作处的价值梯度，从而免去逐步计算向量与雅可比矩阵乘积的需求。我们进一步发现，在采用标量伴随量时，控制评论家网络在策略生成动作处的价值估计尤为重要。基于这些发现，我们提出 Q-learning with Scalar Adjoint Matching（SQAM），将标量伴随量与针对这些动作的价值惩罚相结合。SQAM 的性能提升主要集中在 OGBench 中难度最高的四个领域，在每个领域中的成功率均比最强基线高出 18 至 35 个百分点。为检验 SQAM 是否适用于大型预训练策略，我们还在真实双臂机器人上微调了一个视觉-语言-动作策略。SQAM 在全部三项任务中的表现均优于监督微调。
01:30 arXiv cs.AI 74
研究智能体的部署正朝着数千个智能体共享同一计算资源池的群体规模发展，而当前大多数系统一次只组织一个项目，或让整个群体处于无组织状态。我们认为，无论设计者是否提供组织架构，这样的群体都会形成某种组织，因此设计者应当明确提供组织架构，而多智能体系统研究界已经具备实现这一目标的工具。我们提出一种智能体社会，即在明确制度下运行、持续存在的智能体群体，并将其面向科学研究发展为一个基于六项原则构建的研究者社会。首席研究员通过项目征集、独立评审和资助机制竞争计算资源；一位被称为“市长”的人类管理者负责分配资源，但不指派任务。在一个由一万名研究者组成、正在运行的社会中，研究者仅被要求改进语言模型的预训练，其中一个实验室报告了一种可在减少约 30% 计算量的情况下达到同等质量的方法，但对其进行测试的各实验室尚未就这一结果达成一致。最后，我们为智能体研究界提出了六个尚待解决的问题。
01:58 arXiv cs.AI 80
实时机器人控制需要足够的视觉历史来推断运动和任务进展，但处理这些历史信息可能会延迟动作执行。我们提出 Long-WAM，这是一种模型-系统框架，用于在实时控制约束下扩展因果世界-动作模型的上下文。我们的核心发现是，能够访问历史信息并不等于能够利用它：当视频基础模型采用自回归（AR）预训练时，更长的历史信息带来的收益要大得多。我们首先从不带动作标签的机器人视频和第一人称视角视频中学习因果预测，然后在世界-动作适配过程中保留这种从历史到未来的结构。在 RoboCasa GR-1 上，将上下文从 0.0 秒增加到 19.2 秒，成功率从 63.3% 提升至 78.7%，而采用双向预训练初始化时则没有净收益；机器人领域的 AR 预训练进一步提高了 GR-1 和 LIBERO-Long 上的最高成功率。Long-WAM 在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上也取得了对比方法中的最佳结果。流式观测编码、异步执行和针对特定硬件的加速，使其能够在不舍弃未来预测的情况下部署于 RTX 5090、DGX Spark 和 Jetson AGX Thor；在 RTX 5090 上，每个动作块的处理耗时为 107.4 毫秒，其中包括未来视频潜在表示的预测。在 Unitree G1 和 YAM 上的实时部署支持动态及长时程操作，其中动态叠杯任务的成功率达到 95%，而 Pi0.5 和 Fast-WAM 在各自的 20 次试验中均未成功。作为利用记忆信息的执行器，Long-WAM 还可在复合任务中与更高层级的规划形成互补。
01:59 arXiv cs.AI 77
现代语言模型在已训练的检查点基础上进行可验证奖励强化学习（RLVR）。RLVR 的一个核心潜力在于发现新的推理策略。原则上，模型可以采样出先前训练数据中不存在的新思路。然而，在实践中，为 RLVR 引入强烈的新颖性激励成效有限，还可能导致模型质量下降。由于可验证奖励仅对模型知识和行为中很小的一部分提供监督，这种质量退化难以恢复。为此，我们提出名为 Exploration-Distillation（ExpDis）的框架，将探索与优化解耦。我们在奖励中加入新颖性奖励，训练一个或多个探索策略，根据正确性和质量筛选其生成的轨迹，并将这些轨迹蒸馏到独立的学生策略中。随后，在不使用新颖性奖励的情况下训练学生策略。我们将上述过程重复多轮，交替进行探索与优化。这种解耦使我们能够大幅扩大探索规模，而不降低学生策略的质量。在七个数学推理基准和两个模型系列上，ExpDis 在相同的实际耗时预算下均优于 DAPO。此外，我们观察到 pass@$k$ 随 $k$ 增大而提升的表现有所改善，这表明 ExpDis 训练出的模型能够生成更多样化的正确解答。
19:01 arXiv cs.AI 83
大语言模型（LLMs）的持续预训练和微调不可避免地会引发灾难性遗忘，通常通过回放原始数据来缓解，但这些数据往往无法获取。在这种无法访问原始数据的情境下，我们分析了遗忘发生的位置及其原因。在五种参数规模最高达 1.4B 的设置中进行的系统性参数冻结实验表明，遗忘选择性地集中在新语料中罕见词元的输出嵌入中，而模型主体中处于相同 sqrt(v-hat) 区间的参数则基本不起作用，新的学习发生在其他位置。这种局部化现象由语料的词汇缺失程度决定，而非训练模式决定，因此，对于固定的基础模型，仅凭词元计数即可在再次训练前对遗忘风险进行排序。从机制上看，缺失词元会持续接收单向的 softmax 梯度，而 Adam 的二阶矩（sqrt(v-hat)）归一化会将这些梯度放大为完整幅度的更新。因此，我们提出一种干预方法：在训练期间，仅提高输出投影所用的 Adam epsilon。在涵盖四个模型家族、参数规模从 160M 到 12B 的八种设置中，该方法在全部七种稳定配置下消除了 39.4% 至 67.9% 的遗忘，且不会损害目标任务学习，也无需针对各模型单独调参。该防御方法与回放结合时，可产生叠加甚至更好的效果（在 Qwen/韩语设置下达到 79.8%），并能避免解冻输出头的 LoRA 出现遗忘激增至 23 倍的情况。由于事后编辑发生漂移的行只能挽回不到 5% 的遗忘，这种干预必须在训练期间实施。我们的研究结果表明，当语料无法充分覆盖词汇表时，只需一行代码的优化器调整就可能成为抵御灾难性遗忘的主要手段。
19:51 arXiv cs.AI 73
逆优化通过估计目标函数的权重，将观测到的决策解释为最优解，已应用于多个领域。对于混合整数线性规划（MILPs），现有方法旨在将观测结果复现为最优解，因此，当观测结果并非最优时，学到的权重往往是折中的。我们提出超越式逆优化，转而寻求这样的权重：在每个状态下，其所诱导的最优解在每个分量上都优于观测到的行动。我们给出了一种仅借助正向问题求解预言机即可计算的损失函数，因此适用于 MILPs，并提供了用于最小化该损失函数的基于梯度的算法和 DC 优化算法。对于能在所有观测处诱导出唯一且优于观测行动的最优解的权重，我们证明，在新状态下未能诱导出此类解的概率（即泛化误差），其上界与观测数量成反比；且就观测数量而言，除对数因子外，该界是紧的。在合成数据和真实数据上的实验表明，与现有方法相比，所提出的方法能够更好地预测优于观测行动的解。
20:23 arXiv cs.AI 75
人工智能以多种形式支持建筑运行，但每种形式都有其自身的障碍。专家规则必须针对每个系统进行调整，监督学习模型需要建筑中很少记录的标注数据，而语言模型输出的是自由文本，由于其自报的置信度不可靠，需要人工参与核查。一类较新的预训练模型，在本文中称为决策模型，会为每个允许的答案返回一个概率，因此单个模型无需训练即可用于多种决策。本研究回答了供暖、通风与空调系统故障诊断中的三个开放问题：此类模型能够做出哪些决策、需要什么输入，以及当条件变化时，其概率是否仍然可靠。研究采用四个真实设备公开数据集中的 128 个故障日，按照诊断所需的推理程度对故障分级，并分别以原始数据、物理特征或附带 Brick 拓扑的形式提供数据。决策模型 Jev、开放语言模型和一个监督学习模型接受了九项测试，测试涉及季节、控制配置或建筑的变化。在提供物理特征时，Jev 和较大的开放模型能够诊断由单个特征承载证据的故障，但无法诊断需要运行情境信息的故障。在分布偏移下，它们保持了准确性和校准表现，而监督学习模型的宏平均 F1 下降了 0.33，但在同一建筑内仍领先或并列领先。它们的概率仍需校正，且故障检测能力较弱。本研究明确了决策模型能够诊断哪些故障，以及需要何种输入，并支持这样一种分工：由代码完成物理计算，由模型对候选故障排序，供操作人员参考。
12:00 arXiv cs.LG 80
arXiv:2605.06183v2 公告类型：替换并交叉列出 摘要：低秩适配（LoRA）是一种广泛使用的参数高效微调方法，通过在冻结的预训练模型中插入可训练的低秩适配器来实现适配。近期研究表明，使用更少的 LoRA 适配器仍可能保持甚至提升性能，但现有方法仍将适配器广泛分布于模型中，因而\emph{应将有限数量的适配器放置在何处以最大化性能}这一问题仍在很大程度上悬而未决。为研究这一问题，我们引入了 \textbf{PAGE}（投影适配器梯度能量），这是一种基于梯度的敏感性探测方法，用于估计每个候选 LoRA 适配器可获得的初始可训练梯度能量。出乎意料的是，我们发现在两个模型家族和四项下游任务中，PAGE 都高度集中于单个浅层 FFN 下投影模块。我们将该模块称为\textbf{主导适配模块}，并表明其层索引取决于架构，但在不同任务间保持稳定。受这一发现启发，我们提出了 \textbf{DomLoRA}，一种仅在主导适配模块处放置单个适配器的放置方法。DomLoRA 仅使用标准 LoRA 可训练参数量的 \textbf{0.7\%}，便在指令遵循、数学推理、编程和多轮对话等下游任务中的平均表现上超越了标准 LoRA。该方法的表现也达到或超过了其他 LoRA 变体，并且与广泛放置适配器相比，可实现最高 \textbf{2.74}$\times$ 的训练加速，支持将主导适配模块视角用作实用的放置指导原则。
12:00 arXiv cs.LG 75
arXiv:2604.19753v3 公告类型：替换并交叉列出 摘要：我们提出了 ZeroFolio，一种无需特征工程的算法选择方法，使用预训练文本嵌入来替代手工设计的实例特征。该方法将原始实例文件作为纯文本读取，使用预训练嵌入模型生成嵌入表示，并通过加权 k 近邻选择算法。我们的方法基于以下观察：预训练嵌入无需任何领域知识或针对特定任务的训练，即可区分问题实例。ZeroFolio 适用于任何采用文本实例格式的问题领域。我们在 ASlib 的 11 个场景中评估了该方法，涵盖 7 个领域（SAT、MaxSAT、QBF、ASP、CSP、MIP 和图问题）。在 11 个场景中的 9 个场景中，ZeroFolio 优于使用手工设计特征训练的随机森林，且优势往往相当显著；其中 8 个场景在所有序列化随机种子下均取得了这一结果。与针对各场景单独调优的随机森林相比，它在 11 个场景中的 8 个场景中胜出。在 2015 年 ICON Challenge 中已公布 AutoFolio 结果的三个场景上，ZeroFolio 无需针对各场景调优，便能达到与 AutoFolio 相差很小的性能。我们在 SAT12-ALL 上的消融研究表明，反距离加权和行顺序随机打乱能够提升性能。我们进一步分析了该方法对序列化随机种子的敏感性。在随机森林表现更强的 SAT12-ALL 场景中，可通过软投票结合这两种方法，以进一步提升性能。
12:00 arXiv cs.LG 74
arXiv:2604.00055v2 公告类型：replace-cross 摘要：现有机器人基础策略主要通过大规模模仿学习进行训练。尽管这些模型展现出强大的能力，但由于分布偏移和误差累积，它们往往难以应对长时程任务。虽然强化学习（RL）可以对这些模型进行微调，但若不进行人工奖励设计，就难以在多样化任务中取得良好效果。我们提出了 VLLR，这是一种密集奖励框架，结合了（1）来自大语言模型（LLMs）和视觉语言模型（VLMs）、用于识别任务进度的外在奖励，以及（2）基于策略自身确定性的内在奖励。VLLR 使用 LLMs 将任务分解为可验证的子任务，随后使用 VLMs 估计进度，在短暂的预热阶段初始化价值函数，从而避免在整个训练过程中产生高昂的推理成本；同时，自身确定性在整个 PPO 微调过程中提供逐步的内在引导。消融研究揭示了二者的互补优势：基于 VLM 的价值初始化主要提高任务完成效率，而自身确定性主要提升成功率，尤其是在分布外任务上。在涵盖移动操作与导航的 CHORES 基准上，VLLR 相比预训练策略的成功率绝对提升最高达 56 个百分点；相比最先进的 RL 微调方法，在分布内任务上的提升最高达 5 个百分点，在分布外任务上的提升最高达 $10\%$，且均无需人工奖励设计。更多可视化结果见 https://silongyong.github.io/vllr_project_page/
12:00 arXiv cs.LG 73
arXiv:2610.06694v2 公告类型：替换 摘要：图基础模型旨在实现跨图、跨特征空间、跨关系模式和跨预测任务的迁移，但现有方法通常只能在特定图模态或任务内泛化。我们提出 Wander，这是一种图基础模型，旨在仅凭单个预训练检查点即可适用于上述各类场景。遵循先验预测视角，我们将图学习表述为对部分观测图的补全。我们通过基于随机游走的统一接口实现这一任务通用视角，使同一模型能够处理具有不同特征、标签和关系模式的同质图与多关系图。Wander 能够在推理时扩展其结构上下文，而无需改变已学习的参数；在适当假设下，它还能够在有界连通图上通用逼近相应的贝叶斯最优预测器。实验表明，单个预训练检查点在节点分类、同质图链接预测和知识图谱链接预测任务中均取得了最先进或极具竞争力的结果。此外，跨图模态和跨任务的联合预训练既能保持模型在专门场景中的性能，又能实现正迁移，并在推理时组合分别学得的能力。
12:00 arXiv cs.LG 72
arXiv:2610.06505v2 公告类型：替换 摘要：主动式 AI 助手持续观察用户活动，并决定是提供新的指导还是保持沉默。它们应针对任务提供适当的指导，根据任务进度确定何时提供下一条指导，并根据用户的专业水平和需求调整指导层级。支持这些能力需要能够反映流程结构、并体现指导应如何随任务进度和用户需求而调整的训练与评估数据。然而，现有数据集要么侧重于基于检测的主动式理解，要么仅提供固定粒度的流程指导。固定粒度指导所提供的细粒度进度和更宏观流程上下文信息有限，因此难以判断任务是否完成，也难以调整指导粒度。为解决这些局限，我们提出 ProactiveCoach 套件，包括用于训练的 ProactiveCoach-Instruct、用于评估的 ProactiveCoachBench，以及配备自适应指导系统的微调视觉语言模型（VLM）。ProactiveCoach-Instruct 提供阶段、步骤和动作三个层级的层次化指导，用于学习任务进度和流程上下文。ProactiveCoachBench 评估模型能否在不同指导层级下于恰当时机提供适当指导，以及能否在所请求的层级发生变化时进行适应。我们在 ProactiveCoach-Instruct 上对预训练 VLM 进行微调，并验证了其在不同骨干模型上的有效性。与固定粒度监督相比，层次化监督在不同骨干模型上带来的整体性能提升最高达 9.6 个百分点。我们进一步将微调后的模型与轻量级指导路由器相结合，构建了自适应指导系统。无需额外微调，我们的系统在四种指导层级转换中的表现比上下文内适应基线高出 57.1 个百分点。项目页面：https://jinsuby.github.io/ProactiveCoach/。
12:00 arXiv cs.LG 74
arXiv:2610.05108v2 公告类型：替换 摘要：扩散模型具有强大的生成性能，但往往难以使生成样本符合奖励模型所衡量的人类偏好。一种简单而有效的测试时对齐算法是 Best-of-$N$（BoN）采样，它从预训练的扩散模型中抽取 $N$ 个独立同分布的样本，并输出其中唯一一个奖励最高的样本。尽管 BoN 在实证中取得了成功，但它对奖励信息的利用有限，因为奖励信息仅在最终选择阶段被引入，并不影响采样过程中的反向扩散轨迹。因此，BoN 采样无法提高生成样本的平均对齐水平，主要适用于单输出场景。我们提出 Best-of-$N$ Guidance（BoNG），这是一种将 BoN 采样原理直接融入反向扩散过程的新方法。BoNG 对去噪粒子进行在线 BoN 选择，并调整反向扩散过程，在生成过程中引导粒子群向奖励更高的区域移动。具体而言，BoNG 通过在去噪粒子之间引入非对称引导交互，将当前的 BoN 粒子用作其余粒子的引导信号。这种粒子级交互重塑了采样过程，使其朝向奖励更高的区域，从而使 BoNG 不仅能获得优于 Vanilla BoN 采样的最终最佳样本，还能提高生成样本的平均质量。在 36 项实证比较中，BoNG 在 29 项中取得最佳性能，在与 SMC 和 Vanilla BoN 采样的比较中，以 80.56% 的比例位居第一。BoNG 还支持多输出，其 ImageReward 得分达到最新的基于样本的引导方法的 1.3$\times$，同时实现了 1.6$\times$ 的加速。我们在 https://github.com/aailab-kaist/BoNG 发布代码。
12:00 arXiv cs.LG 78
arXiv:2610.04946v2 公告类型：替换 摘要：由于不同机构和国家在临床编码、患者群体及医疗工作流程方面存在显著差异，纵向电子健康记录（EHR）表征的跨系统迁移面临挑战。我们提出非对称监督对比学习（Asymmetric SupCon），这是一种针对特定任务的预训练目标，其设计动机源于阴性临床结局的异质性。该目标将具有相同目标阳性结局的患者聚集在一起，而不显式地使阴性轨迹相互靠近。我们使用台湾全民健康保险研究数据库（NHIRD）中 398 万名患者的纵向记录对时序 Transformer 编码器进行预训练，并将其迁移至两个美国 EHR 数据集 MIMIC-IV 和 EHRSHOT。通过结合直接映射与基于嵌入的检索，混合语义映射流程实现了异构临床词汇体系之间的迁移。在 MIMIC-IV 上，NHIRD 预训练始终优于随机初始化，同时大幅缩小了与针对特定任务的域内预训练之间的性能差距。在 EHRSHOT 上，迁移后的模型在新发疾病预测方面表现出尤为出色的少样本性能。在预训练规模匹配的受控目标函数消融实验中，Asymmetric SupCon 在全部四项评估任务上的平均 AUPRC 均高于直接监督式 BCE 迁移，在其中三项任务上高于 Standard SupCon，但在再入院任务上的 AUPRC 低了 0.003。这些结果表明，非对称对比预训练是实现针对特定任务的跨国 EHR 表征迁移的有效方法。代码已公开于 https://github.com/qingYzhang/Asymmetric_SupCon。
12:00 arXiv cs.LG 78
arXiv:2609.35297v3 公告类型：替换 摘要：预训练语言模型需要大量计算资源，而合适的优化器可以节省其中相当一部分。Muon 的谱更新步能提供比符号更新步更强的方向，但代价高昂。每一步都要对完整矩阵执行 Newton-Schulz 迭代，在分布式训练中还需要额外执行一次全归约。Lion 和 Signum 所采用的符号更新步成本低，且始终在各设备本地执行。我们提出 LionMuon，每隔 $P$ 次迭代执行一次 Muon 更新步，其间执行 Lion 更新步，两者共享一个双指数移动平均（EMA）动量缓冲区。Muon 的计算和通信开销每 $P$ 步才产生一次，且优化器状态大小仅为 AdamW 的一半。采用单 EMA 的变体 SignMuon 就已优于 Muon。我们证明了重尾噪声下的复杂度界，其中周期决定了 Muon 与 Lion 的平滑性常数和噪声常数之间的插值，并揭示了 LionMuon 何时比两者都更快。在 FineWeb 上训练的 124M 和 355M 模型中，当处理的词元数量相同时，$P=2$ 和 $P=5$ 的 LionMuon 均取得了比 Muon、AdamW、Lion 和 Signum 更低的损失。在采用 PCIe 互连的 4-GPU 数据并行训练中，它达到 Muon 最终损失所需的实际运行时间减少了三分之一；同时，在不增加未被计算掩盖的通信开销且保留精确梯度的情况下，其损失表现优于通信高效的 Muon 变体 Dion 和 MuonBP。代码：https://github.com/brain-lab-research/lion-muon
12:00 arXiv cs.LG 75
arXiv:2609.20129v2 公告类型：替换 摘要：大型语言模型（LLM）在部署阶段采用的安全方法主要是监督式方法，并假设能够获取不安全的训练数据。然而，新的攻击和危害类别不断出现，而以这种监督方式训练的模型无法涵盖它们。另一种思路是从异常检测的视角看待这一问题，即仅依靠对安全数据建模来标记分布外输入。然而，LLM 的激活处于高维空间中，这引发了对异常检测在统计上是否可行的担忧。我们表明，在线性表示假设（LRH）下，这一方法确实可能有希望实现。在通常通过稀疏自编码器（SAE）恢复的 LRH 概念空间中，相邻点共享一个较小的活跃支撑集。基于这一局部稀疏性洞见，我们提出了一个基于 SAE 的局部掩码异常检测框架，并提供了理论依据。我们在多种架构和数据集上验证了该框架，包括能力测试数据集和安全专项数据集。最后，当允许算法使用 1% 的分布外数据进行校准时，局部稀疏方法取得了接近最优的性能，表明其仅使用 1–2% 的 SAE 神经元进行计算，就能捕捉有意义的安全信息。
12:00 arXiv cs.LG 72
arXiv:2608.20024v2 公告类型：替换 摘要：区域供热能源枢纽需要可靠的热负荷预测，以实现高效的运行调度。随着网络演变，基于历史数据训练的预测模型可能需要重新训练。因此，零样本时间序列基础模型和上下文预测提供了一种有前景的替代方案：它们可以在推理时根据近期观测进行适应，而不必反复重新训练。本研究系统性评估了 TabPFN-TS 和 Chronos-2 在德国两个区域供热网络中的概率热负荷预测表现，并将其与经过训练的基线模型进行比较。我们评估了 TabPFN-TS 能否捕捉复杂的区域供热动态，其底层模型完全基于合成表格数据而非时间序列数据进行预训练。我们在选定的运行周内分析了协变量选择、上下文长度、时间分辨率和预测时域的影响，在全年范围内评估了选定配置，并评估了跨网络迁移能力。主要基准测试假设天气预报完全准确；另行开展的敏感性分析则使用历史天气预报。采用 12 周滚动上下文和环境温度、以小时为分辨率预测未来 24 小时，可形成一种精简配置；更长的上下文窗口并不能提高准确性。在全年基准测试中，两种时间序列基础模型（TSFM）的确定性预测准确性均优于所有经过训练的基线模型。Chronos-2 取得了最佳确定性预测评分，TabPFN-TS 与其表现接近：二者在主数据集上的均方根误差变异系数（CVRMSE）分别为 12.48% 和 13.07%。Chronos-2 在两个网络中也取得了更低的连续排序概率评分，TabPFN-TS 的表现仍与其接近。基于 TSFM 的 Multi-Resolution Residual-Correction Forecaster 将小时级基础预测与短期高分辨率修正相结合。相较于直接进行高分辨率预测，该方法通常能够降低 12 小时时段内总热需求的预测误差，并缩短所记录的预测耗时。
12:00 arXiv cs.LG 74
arXiv:2608.16419v3 公告类型：替换 摘要：大型语言模型能够描述生物学机制，但可扩展的后训练仍依赖成本高昂、经人工整理的生物学推理轨迹。本文表明，细胞扰动图谱可以转化为强化学习环境，其中实测基因响应能够为生物学推理提供可计算的奖励。我们提出 PertMind，将基于可信轨迹的监督初始化与基因、通路和格式层面的强化信号相结合。尽管仅在正向扰动响应预测任务上进行训练，PertMind 仍能改善未见过的细胞背景下的响应推断，同时保留通用语言能力。它还能够在不进行任务特定后训练的情况下，迁移到逆向扰动识别、双重扰动推理、表型筛选优先级排序和生物学过程解释等任务。PertMind 进一步生成生物学特征谱，为跨多尺度下游任务中具有竞争力的基因、细胞和供体表征提供支持。这些结果支持以下假设：基于实验终点的强化学习能够凝练预训练模型已具备的、可复用的生物学策略。更广泛地说，源自扰动数据的强化学习提供了一条可扩展路径，可将不断扩充的实验图谱转化为面向通用生物学推理的训练环境。
12:00 arXiv cs.LG 72
arXiv:2608.16287v3 公告类型：替换 摘要：联合嵌入预测世界模型通过潜在空间中的预测支持规划，但不受约束的联合训练可能会将不同的观测坍缩为相同的嵌入。避免坍缩的两种主要策略是沿用预训练特征，如 DINO-WM，或通过抗坍缩正则化端到端地学习表征，如 LeWorldModel（LeWM）。然而，避免坍缩并不能确保潜在空间中的距离能够以对任务有意义的方式区分不同结果。例如，在物体操控中，成功与否取决于物体相对于目标的位置和朝向。这类与任务相关的状态信息可能仍可被准确解码，却几乎不影响潜在空间中的距离。因此，由此得到的规划代价可能无法反映预测结果与任务目标的接近程度。本文提出 SCALE（State-CAlibrated Latent Embeddings），一种使采样得到的成对潜在距离与任务相关状态空间中的距离建立相关性的方法。将 SCALE 加入 LeWM 现有的目标函数后，其架构保持不变，仅在训练期间需要特权状态信息，且不会增加规划时的计算量。我们表明，在操控和导航任务中，使用多种求解器时，SCALE 均能提高相较于 LeWM 的规划成功率，并全面分析了 SCALE 如何重塑表征几何以支持规划。
12:00 arXiv cs.LG 75
arXiv:2607.09042v2 公告类型：替换 摘要：强化学习正越来越多地用于微调视觉-语言-动作（VLA）模型，但机器人交互成本高昂，而且当成功的轨迹稀少时，学习的样本效率会变得极低。当只有完成指令指定的任务才能获得奖励时，失败的轨迹就会被视为毫无价值，即使它成功执行了与该任务相关的行为。未能将正确物体放入碗中的机器人，仍可能将该物体移向碗，或将另一个物体放入碗中，展示出可复用于解决目标任务的物体和动作。这些行为定义了策略已经能够完成的辅助任务，即便策略尚不能完成更困难的目标任务，它们也能提供有用的学习信号。我们提出 $\textit{Learning from Hindsight (LfH)}$，将此类失败转化为额外的学习信号。LfH 利用预训练的视觉-语言模型，根据失败轨迹实际完成的行为对其重新标注，并在指令指定的任务和这些辅助任务上联合训练策略。在分布外的 LIBERO-PRO 操作任务上，LfH 仅用约为 GRPO 五分之一的轨迹就能达到相同的最终性能，并在多种 VLA 骨干模型上提高样本效率。在实体 Franka 机器人上，LfH 在 160 条训练轨迹内将成功率从 $0\%$ 提高到 $56\%$，而 GRPO 达到的成功率为 $22\%$。
12:00 arXiv cs.LG 73
arXiv:2606.19317v3 公告类型：替换 摘要：可解释深度学习研究的一个长期目标，是用人类可理解的符号化描述取代不透明的神经计算。本文提出一种用可执行程序近似深度网络组件行为的方法。我们聚焦于 transformer 语言模型中的注意力头。对于给定的注意力头，我们首先在一组随机选取的训练样本上计算其对应的注意力矩阵。接着，我们将这些矩阵的摘要作为提示输入预训练语言模型，并指示它生成一组 Python 程序，使其仅根据输入句子的文本就能复现相应的注意力模式。最后，我们根据程序对留出输入上行为的预测效果，对程序重新排序。我们证明，一组不到 1,000 个此类生成程序就能复现 GPT-2、TinyLlama-1.1B 和 Llama-3B 中注意力头的注意力模式，在 TinyStories 上达到超过 75% 的平均交并比相似度。此外，拟合效果最佳的程序能够替代神经注意力头，而不会显著影响模型行为：在这三个模型中，用程序化替代方案替换 25% 的注意力头，仅导致困惑度平均增加 16%，同时保持了在多种下游问答基准上的性能。这项工作提供了一套可扩展的流程，利用人类可读的可执行代码对 transformer 模型中的注意力头进行逆向工程，推动神经模型朝着符号层面的透明性迈进。
12:00 arXiv cs.LG 76
arXiv:2512.01917v2 公告类型：替换 摘要：涡度协方差（EC）通量塔提供 $CO_2$ 通量的原位测量值，并为基于卫星产品构建的预测性“尺度上推”模型提供地面真值数据。然而，如今许多卫星能够分辨的空间尺度小于 EC 通量塔的通量足迹范围。我们从理论上证明，在异质性景观中，使用高分辨率数据训练的尺度上推模型必须考虑 EC 通量塔的通量足迹，才能避免像元级预测出现偏差。为解决这一问题，我们提出 Footprint-Aware Regression（FAR），这是一个同时预测空间通量足迹和像元级 $CO_2$ 通量估计值的深度学习框架，并证明在训练数据充足的情况下，该框架能够产生无偏的像元级预测。我们在 AMERI-FAR25 数据集上展示了 FAR 的应用，该数据集将 205 个站点年的通量塔数据与对应的 Landsat 影像相结合；结果表明，FAR 优于未考虑通量足迹的模型。在由留出站点构成的数据集上，相较于表现最佳的固定通量足迹基线模型，FAR 将半小时尺度的 $R^2$ 从约 0.575 提高至 0.634，并将 RMSE 降低了约 7%。与分辨率较粗的 990 米基线模型相比，FAR 在月平均和年平均尺度上的提升更大。站点级分析表明，这些提升覆盖了多种生态系统类型。无论通量足迹是通过联合学习得到，还是使用成熟的通量足迹模型独立估计，均可观察到这些性能提升，尽管不同方法得到的通量足迹大小存在显著差异。在 Western Cascades 的区域对比中，FAR 生成的通量估计值分布与现有高分辨率过程模型的结果相当。
12:00 arXiv cs.LG 73
arXiv:2510.01264v2 公告类型：替换 摘要：机器人领域的对抗多智能体强化学习（MARL）进展受到制约，原因是缺乏能够在高保真物理仿真中支持异构智能体形态的共享、可扩展基础设施。现有框架要么专注于协作任务，要么依赖简化的物理引擎，要么提供难以扩展的孤立实现。我们提出 HARL-A，这是一个基于 IsaacLab 构建、持续维护的开源框架，支持针对形态多样的机器人团队进行可扩展的对抗策略训练与基准测试，允许任意数量的团队以及每个团队内任意组合的机器人形态。HARL-A 为 HARL 算法库和 IsaacLab 扩展了对抗多智能体支持，并提供了三个组成部分：（1）模块化软件架构，降低了定义新异构对抗环境的工程开销；（2）包含 Sumo、Soccer 和 3D Galaga 三个基准测试环境的套件，涵盖密集接触推挤、球技竞赛以及追逐与躲避；（3）十余个覆盖同构和异构团队配置的预训练策略，已在 Hugging Face 上公开发布，使用户无需从头重新训练即可立即探索对抗学习的动态过程。我们在多个竞争场景中演示了该框架，表明它能够可靠地生成学习得到的对抗策略，并涌现出角色专门化现象。所有代码、环境、训练好的策略和文档均已公开，地址为 https://github.com/DIRECTLab/IsaacLab-HARL。
12:00 arXiv cs.LG 76
arXiv:2610.08789v1 公告类型：交叉发布 摘要：流策略已成为从示范中学习机器人行为的标准策略类别，但强化学习对于改进预训练流策略，或通过交互从零开始学习流策略，仍然至关重要。我们提出 QF3（采用过滤后 Q 梯度的快速流强化学习），这是一种在线离策略强化学习算法，将流匹配与评价器的动作梯度相结合来训练流策略，并通过对流输出的单步预测反向传播该梯度。为将更新限制在评价器和该预测可靠的范围内，QF3 仅对保持在经验回放动作附近的动作维度应用评价器梯度。据我们所知，QF3 是首个能够从零开始训练人形机器人运动策略，并将其零样本迁移至实体硬件的离策略流强化学习方法。结合高吞吐量的离策略训练方案，QF3 在训练人形机器人运动和动作跟踪策略时，相比近期提出的同策略流强化学习方法 FPO++，实现了 10 倍的实际运行时间加速。我们进一步将 QF3 应用于 ABC-Sim 和 Robomimic 任务，微调预训练的基于流的操作策略。这些结果表明，QF3 既能从零开始学习机器人策略，也能改进从示范中习得的策略。网站：https://qf3-rl.github.io/
12:00 arXiv cs.LG 71
arXiv:2610.08738v1 公告类型：交叉发布 摘要：扩散语言模型（DLMs）有望实现与顺序无关的并行文本生成。近年来，得益于精心设计的词元表示和扩散/流空间，连续扩散模型与流匹配模型取得了显著进展。在本研究中，我们提出 Hierarchical Continuous Diffusion Language Models（H-CDLMs），这是一个简单的框架，仅需极少的额外计算和参数开销，即可进一步提升连续 DLMs 的性能。借鉴离散 DLM 和连续图像扩散领域关于联合扩散的研究，我们对多种模态并行进行扩散。这些模态以不同的语义粒度表示词元：在我们的具体实现中，它们分别是词元本身，以及通过对预训练词元嵌入进行聚类得到的更粗粒度的簇。我们提出了一种通用设置，允许为各模态分别配置采样器和调度方案，以增强模态间的相互作用。将该设置应用于 CoBit 后得到的 H-CoBit，在各项基准测试中均取得了显著的实证性能提升。在达到数据集熵的条件下，H-CoBit 提高了 MAUVE，并在 LM1B 和 OWT 上分别达到 49.4 和 50.4 的生成困惑度（GenPPL），较基线分别降低 24.2 和 20.7 点，甚至超越了规模相当的离散 DLMs。在 GSM8K 上，其准确率达到 27.4%，优于此前的连续扩散模型和基于流的模型。我们还将 H-CDLM 应用于流匹配模型 FLM，所得的 H-FLM 同样取得了稳定的性能提升，证明该框架能够泛化至不同的连续生成范式。我们的代码将在 https://github.com/matol-16/HCDLM.git 公开。
12:00 arXiv cs.LG 79
arXiv:2610.08718v1 公告类型：交叉收录 摘要：语言模型在微调过程中看似遗忘的知识往往仍存储在模型中，并且可以恢复，这种现象被称为虚假遗忘。对新事实进行微调甚至可能产生自行逆转的遗忘：旧事实的回忆能力先骤降，随后在仅针对新事实继续训练的过程中恢复，最后才发生不可逆的衰退。我们旨在理解这种遗忘在何种情况下并非灾难性的。一个极简的联想记忆模型通过三个要素复现了这些动态：具有共享结构的键、集中分布的新值，以及网络中的归一化。微调使所有旧表征沿一个共同方向移动，在保留其相对几何结构的同时隐藏了旧事实；一旦新事实被学会，归一化便会消除这一偏移，而针对各个事实的特定变化则不断累积，导致记忆衰退。此外，在一个使用合成数据训练的 Transformer 中，减去这一共同偏移即可消除回忆能力的骤降；而在一个预训练语言模型中，从每次权重更新中移除单一方向的分量即可恢复旧事实。因此，遗忘同时包含一种共享的、可逆的访问能力丧失，以及各个事实的缓慢衰退，只有后者才是灾难性的。哪一种占主导，取决于新数据是使旧记忆共同移动，还是使其彼此分离。
12:00 arXiv cs.LG 78
arXiv:2610.08540v1 公告类型：交叉发布 摘要：随着模型规模增大，对齐究竟变得更容易还是更困难，人们往往依据孤立的发现展开争论，仿佛对齐是一种单一属性。我们将其视为一组可测量的缩放关系：对于每个风险类别 r，将维持固定安全目标所需的对齐负担建模为 B_r(N)=a_rN^alpha_r，其中 N 是能力的代理指标；相对于与 N 成正比的预算，若 alpha_r<1，规模扩展有助于对齐；若 alpha_r~1，对齐与规模扩展保持同步；若 alpha_r>1，则会积累对齐债务。我们给出负担的三种操作化定义，并区分观测对齐、审计对齐和真实对齐。一个纠正措施会消耗能力余量的简化模型明确展示了这些关系的后果。我们证明：决定长期状态的是已纠正风险中的最大指数，而非平均值；当该指数大于 1 时，任何将能力余量维持在某一下限之上的策略都必须实现超指数增长；对于由幂律的正系数组合构成的负担，在小模型上进行的拟合会低估大规模下的指数；而能够发现隐藏失效且不产生假阳性的审计，绝不会低估真实对齐。我们提出了一套可预注册的方案，并两次应用了其简化版本。对 Pythia 分类器公开对抗训练数据进行的预注册重新分析发现，将攻击成功率降至 10% 以下所需的计算量按 N^0.60 增长。针对 Qwen2.5 0.5B-72B 的预注册试点研究发现，真实性的指数为 -0.05，所表述行为倾向的指数为 0.48（按照其简化判定规则，规模扩展对两者均有帮助，尽管在最大规模附近局部斜率接近 1；这些结果在 Qwen3 0.6B-14B 上得到复现），而谄媚行为（指数为 0.89，在 72B 规模增加两个随机种子后为 0.83）和一个人为植入的后门尚无定论：已知触发器时，后门会被迅速移除，但在五种规模中的四种上，它在不知晓触发器的安全训练后仍然存在。我们发布了四款可供玩家体验这些定律的浏览器游戏（www.aisafety.fun）。对于当前前沿模型处于哪种状态，我们不作任何断言。
12:00 arXiv cs.LG 71
arXiv:2610.08314v1 公告类型：交叉收录 摘要：线性回归和核平滑为上下文学习提供了易于分析的解释：在这两种方法中，特征决定了分配给每个上下文标签的权重。然而，这种固定权重解释是否适用于预训练的表格基础模型（TFM），仍不明确。使用导数检验这一解释会遇到标准化陷阱：公开的 TFM 软件包会在标签输入模型之前对其进行标准化，但普通导数也会反映标准化标签集合之外的行为，导致模型看起来是非线性的，即使其每次预测都与某个固定权重映射一致。我们提出了两种判定准则，它们仅依赖于标准化标签处的预测，并可分别否定两种不同的解释：固定权重预测，以及独立非线性标签变换之和。在我们评估的五个公开 TFM 中，这些判定准则表明，改变一个上下文标签会改变其他标签对预测的影响方式，我们将这种行为称为联合处理。我们进一步发现，联合处理会随着训练而出现，且测得的交互作用大部分由注意力分数承载。总体而言，这些发现表明，对 TFM 的解释应考虑上下文标签如何改变单个样本的影响力。
12:00 arXiv cs.LG 77
arXiv:2610.08227v1 公告类型：交叉发布 摘要：用于遥感影像的机器学习分类器在评估时，通常将每个像素视为独立样本。空间自相关违背了这一假设，因为相邻像素携带冗余信息，导致样本量被高估。一幅卫星图像究竟包含多少个独立样本？对于一幅空间相关性持续范围为 $r$ 个像素的 $n \times n$ 图像，其有效样本量为 $\Theta(n^2/r^2)$，而非 $n^2$。我们针对空间相关数据上的分类器证明了相应的有限样本上界，并通过与之匹配的下界表明，该速率是紧的，任何算法都无法取得更优的速率。我们将这些结果推广到具有方向性相关和空间变化相关结构的图像。我们的结果为空间交叉验证提供了理论依据：采用与相关范围成比例的间隔进行分块留出，能够获得最优的泛化保证，而随机留出则可能使置信区间宽度被低估，低估倍数与 $r$ 成正比。我们在合成数据以及来自三种传感器（Landsat 8、Sentinel-2 和 Sentinel-1）的卫星图像切片上验证了该理论。
12:00 arXiv cs.LG 79
arXiv:2610.08183v1 公告类型：交叉收录 摘要：多任务操作策略在架构、规模和预训练先验上同时存在差异，因此已发表的比较无法将性能归因于任何单一组件。我们认为，性能主要来自视觉表征，而参数规模和生成式先验在很大程度上只是次要因素。为验证这一点，我们构建了 CoRP（Compressed Representation Policy），这是一种刻意设计得紧凑的策略（4890 万参数，不使用视觉语言模型，也不使用视频生成先验），由表征提取器和基于流匹配的动作生成器组成。它在 LIBERO 上达到 97.0% 的成功率，在 RoboTwin 2.0 Clean/Randomized 上分别达到 75.78%/73.36%，与规模为其 40.9–163.6 倍的系统相当。随后，我们固定动作生成器，每次仅改变提取器的一项属性。预训练初始化具有决定性作用：使用随机初始化的 ViT-S/14 时，LIBERO 上的成功率降至 78.1%；使用经 ImageNet 预训练的 ResNet-34 时，则降至 74.5%。仅有预训练还不够，因为冻结编码器会导致成功率下降 19.8 个百分点。压缩同样重要：将每个视角重采样为 48 个词元，效果优于传入全部图像块词元（97.0% 对比 83.2%）；而对这些词元施加变分信息瓶颈，效果不如硬性限制词元数量，因为它抑制了策略所依赖的、随指令而变化的词元选择，使 LIBERO-Goal 上的成功率从 95.8% 降至 33.0%。语言条件仅在观测无法明确目标时才有贡献（LIBERO-Goal：从 9.2% 提升至 95.8%）；而在观测不存在歧义的 RoboTwin 2.0 上，移除语言条件反而略微提高了成功率。因此，我们认为，紧凑型策略能够奏效的关键在于其表征经过预训练、针对任务适配并得到压缩。项目页面：https://corp-policy.github.io/
12:00 arXiv cs.LG 75
arXiv:2610.07730v1 公告类型：交叉收录 摘要：类型化决策模型无需生成文本即可回答预先声明的问题：决策头通过一次前向传播，为每个预先声明的选项返回一个概率。单次前向传播是一种快速、直觉式的系统 1 思维。我们研究介于单次前向传播与生成式推理之间的方式：循环，即在进行一次类型化读出之前，递归地多次应用相同的层。每次循环都让模型在确定答案前修正其隐藏状态，而无需生成任何词元；我们将其称为系统 1.5 思维。我们提出 SanSi，将预训练的循环式语言模型转化为类型化决策模型。每次循环结束后都会读出选项概率，并使用适当评分规则训练每次循环，使同一个模型在单次运行中即可满足从一次到八次循环的各种计算预算。在来自 59 个来源的 10,027 个测试决策上，SanSi 的准确率达到 72.0%：比采用相同训练方案、具有相同架构的非循环模型高出 13.5 个百分点，比同等规模的更新非循环模型高出 5.3 个百分点，比参数量为其三倍的模型低 1.8 个百分点。在两项深度可控的任务中，循环将可求解深度扩展到训练中所见深度之外，而更大的单次前向传播模型在这些深度上未能成功。在没有标准答案的情况下，将 SanSi 用作强化学习策略优化的评判模型，可使生成器的 F1 提高 7.7 个百分点。
12:00 arXiv cs.LG 71
arXiv:2610.07585v1 公告类型：交叉收录 摘要：我们提出了一种可扩展的旋转反射群等变视觉 Transformer，其基于窗口化群卷积自注意力和分层特征架构。我们证明，该方法可以扩展至具有数百万参数的群等变视觉 Transformer（ViTs），并应用于包含实际应用尺寸图像的大规模数据集，即 ImageNet。所提出的分层窗口化旋转反射等变 ViTs（REViT-v2）的代码和预训练权重可在 https://github.com/kc-ml2/revit 获取。
12:00 arXiv cs.LG 73
arXiv:2610.07511v1 公告类型：cross 摘要：移动操作机器人（如人形机器人）正越来越多地被部署于动态、非结构化环境中，以执行灵巧操作任务。然而，用从单一机器人位姿采集的示范数据进行模仿训练得到的端到端操作策略十分脆弱：部署时即使机器人位姿出现厘米级偏差，也可能使以自我为中心的观测和末端执行器轨迹偏离训练数据分布，导致性能大幅下降。我们提出 MobileVISTA，这是一种数据生成框架，通过联合执行以下两项操作，将在规范位姿下采集的示范转换为多样化的、经过位姿扰动的训练数据：（1）增强第一视角视觉观测；（2）重新映射动作，以补偿基座位姿变化。不同于以往方法假设相机刚性安装在驱动链之外，或假设复杂的关节式机器人几何结构大部分位于画面之外，MobileVISTA旨在适配第一视角平台（如人形机器人）：在这类平台中，相机会受到机器人运动学链运动的影响，同时也必须观测该运动学链。我们在涵盖人形机器人和双臂机器人形态的仿真任务中，以及真实的 Galaxea R1 Pro 上研究了 MobileVISTA。我们发现，使用 MobileVISTA 增强数据训练的策略对测试时遇到的、此前不属于训练分布的位姿表现出更强的鲁棒性，且无需额外采集示范数据或训练生成模型。此外，我们发现 MobileVISTA 在所测试的人形机器人上的收益最大，这是因为相机安装在驱动链上，且机器人占据了画面的大部分区域。更多视频和附录请见我们的网站：https://mobilevista.github.io
12:00 arXiv cs.LG 74
arXiv:2610.07426v1 公告类型：cross 摘要：口音分类器通常在固定的标签集合上进行训练，无法随着新数据的获取而纳入新的口音类别。此外，由于不同语料库之间的录音条件存在差异，带口音的语音语料库往往表现出明显的类别不平衡和/或域偏移。我们提出了 AccentCL，这是一种用于英语口音分类的类增量学习框架，能够应对类别不平衡和跨语料库域偏移问题。AccentCL 从冻结的 Whisper-Large-v3 编码器中提取多层表示，并采用具有不平衡感知能力的交叉熵损失来减小对多数口音类别的偏置，同时使用域均值对齐损失，最小化不同训练语料库之间的分布均值偏移。随后，模型通过基于回放的持续学习扩展标签空间：利用冻结的基础模型保留知识，并采用旧类到新类的间隔损失，减少对新增类别的过度预测。在一个五类别口音分类任务中，AccentCL 达到了 77.1% 的平衡准确率和 76.9% 的宏平均 F1 分数。我们进一步评估了该模型增量纳入两种新口音类别的能力：西班牙口音英语和中文口音英语。在预训练模型中加入西班牙口音英语后，AccentCL 在新类别上的 F1 达到 83.3%，同时在基础类别上保持 77.3% 的平衡准确率。随后加入中文口音英语时，模型在新类别上取得 61.8% 的 F1，同时在此前学习的类别上保持 77.6% 的平衡准确率。这些结果表明，AccentCL 能够实现鲁棒的地域口音分类，并且无需完整重新训练即可添加新的口音类别。
12:00 arXiv cs.LG 74
arXiv:2610.07056v1 公告类型：cross 摘要：尽管行为克隆（BC）十分简单，但它在现实世界中却表现出许多违反直觉的现象。例如，随着模型对数据集的过拟合程度不断加深，BC 的性能往往持续提升；而完全闭环的策略在不进行动作分块时，常常会彻底失效。遗憾的是，要恰当地研究这些轶事般的现象（“行为克隆之谜”）颇具挑战性：在现实世界中，数据集和实验成本高昂，且无法完全控制；在使用合成数据的仿真环境中，这些现象又往往不易观察到，部分原因在于脚本策略与人类演示之间存在差异。在本工作中，我们提出了 OCBench，这是一个具有可控脚本策略的机器人操作基准，其脚本策略具有人类演示的相似属性。我们表明，通过模仿人类演示的关键属性，OCBench 能够在受控环境中重现许多与 BC 相关的轶事现象。借助其 GPU 加速环境和脚本策略，我们通过分析并驳斥各种假设，展示了 OCBench 如何支持对先前报道的 BC 相关现象开展科学研究。项目页面：https://seohong.me/projects/ocbench
12:00 arXiv cs.LG 78
arXiv:2610.06854v1 公告类型：cross 摘要：合成数据生成对于隐私合规、机器学习增强和软件测试至关重要。尽管单表评估已经较为成熟，但多表（关系型）合成作为企业中的主流应用场景，仍缺乏统一的评估框架。现有方法通常孤立地评估各列的边际分布，忽略了联合分布、跨表结构完整性、下游效用以及面向生产的边界情况。我们提出了 SynEval，一个用于多表合成数据库的六维评估框架。SynEval 联合评估列级保真度、多变量结构保留能力（包括一种新颖的条件分布检查）、跨表完整性、机器学习效用、隐私保护和边界情况鲁棒性。该框架生成统一的加权质量分数，并支持按表和按维度进行深入分析；同时它与生成器无关，可在任意一对真实与合成 CSV 文件夹上运行，并自动推断模式。SynEval 是一个框架，能够在单一评估流水线中结合条件分布检查 P(Y|X)、跨表基数验证以及面向生产的边界情况测试，用于评估关系型合成数据。
12:00 arXiv cs.LG 79
arXiv:2610.08694v1 公告类型：新增 摘要：基因表达在生物医学领域得到广泛测量，但临床结局预测仍然具有挑战性，原因在于维度高、特征相关性强且带标签数据有限。大型自监督转录组基础模型往往无法超越简单的监督式基线。表格基础模型通过上下文学习提供了一种替代方案，但其通常基于通用合成数据进行预训练，而非基于转录组结构。我们探讨了这样一个问题：缺失的关键因素是否是转录组感知的预训练，而不是模型规模。为此，我们提出 GeneICL，这是一种拥有420万参数的表格基础模型，将基于实测批量表达谱构建的半合成预训练先验与参数高效的循环架构相结合。我们进一步通过使用 Cox 部分似然残差将回归问题作为一种无需训练的简化方案，从而实现右删失生存预测。我们在涵盖分类、回归和生存分析的80项临床结局预测任务上评估了 GeneICL。表格基础模型始终优于自监督转录组模型，而 GeneICL 在所评估的基础模型和调优基线中取得了最佳总体排名。GeneICL 的参数量最多减少至原来的 1/387，推理时无需进行梯度更新，并且能够在笔记本电脑 CPU 上于数秒内完成预测。
12:00 arXiv cs.LG 83
arXiv:2610.08670v1 公告类型：新 摘要：语言模型日益充当智能体。一个声称某项行为是错误的、却仍然采取该行为的智能体，与一个并不知道该行为错误的智能体所犯的错误不同，而对其所声明价值观的评估无法识别这种差异。我们针对五类压力，构建了一个包含248个场景、并经过预注册的场景组。每个场景都向同一模型提出两次：一次让模型作为智能体选择行动，另一次则以第三人称询问哪个选项是正确的，以此将模型自身的判断作为参照。每个场景都有一个移除压力后的对应版本；同时，每个模型还接受一个正向对照，其中其操作者命令它采取违规行动，从而可以区分真正不存在差距与模型像盲人仪器一样执行命令这两种情况。在 OLMo-3-7B-Instruct 上，模型在约五分之一的施压场景中采取了自己判定为错误的行动，而且这一比例高于移除压力后的相同场景。在四个 instruct 模型中，这一差距取决于后训练方案：OLMo-3 和 Meta's Llama-3.1-8B-Instruct 存在该差距；Tulu 3 在整个场景组中均未显示出差距（概率上高于约0.01），在其自身压力最大的场景中也未显示出差距；Qwen2.5-7B-Instruct 在整个场景组中均未显示出差距（高于约0.02），而在其自身场景中的结果尚未确定（0.083，区间为 -0.028 至 0.195）。Meta's 方案与 Ai2's Tulu 3 都以相同的 Llama-3.1 权重为起点，但只有 Meta's 方案保留了这一差距。在没有任何利害关系的情况下，将聊天模型置于其聊天模板之外进行读取，会反转其差距的符号（在 OLMo-3 上，使用模板时为 +0.055，而不使用模板时为 -0.038）；三种方案中有两种存在这种扭曲。在表现出该差距的两个模型上，在行动前对利害关系进行推理，会使选择重新趋近于模型自身的判断；与同长度的非道德任务相比，无论是否施加压力，结果都是如此。在 OLMo-3 上，明确指出所涉及的规范，其效果约为前述效果的三分之一。这一差距是后训练方案可测量的目标，而不是预训练权重所固有的固定属性。
12:00 arXiv cs.LG 73
arXiv:2610.08538v1 公告类型：新 摘要：概率负荷预测已被广泛应用于电力系统运行与规划，但在客户级和变压器级开展预测会带来独特的可扩展性挑战。在这些层级上，负荷不确定性会受到客户行为、天气和混合负荷构成的强烈影响，使单一共享模型难以捕捉异质模式。使用独立的概率模型可以提高局部预测准确性，但在大规模场景下，训练、存储、更新和验证成本高昂。为应对这一挑战，我们构建了一种可扩展的客户感知预测框架，通过共享模型学习共同的需求行为，同时仅对一小部分紧凑参数进行适应。该设计并非为每个负荷使用独立模型，也不是将每个负荷分配给专门模型，而是学习一个小型低维适应组件库，并允许每个负荷根据自身的预测特征对这些组件进行组合。这样既保留了客户之间的共享知识，又为异质和混合负荷构成提供了足够的灵活性。在SMART-DS数据集的590个负荷曲线上的实验表明，与统计模型、神经网络、基于Transformer的模型和预训练时间序列基线相比，该方法在确定性准确率和概率预测质量方面均取得了稳定提升，同时保持了较低的存储和推理成本。
12:00 arXiv cs.LG 76
arXiv:2610.08534v1 公告类型：new 摘要：理解 Shampoo 背后的原理，近期为开发更有效的神经网络优化器提供了指导。这些方法通过针对梯度二阶矩优化 Frobenius 散度或 Kullback-Leibler (KL) 散度来学习预条件器。在本文中，我们研究散度的选择如何影响预条件化；这一点目前仍不明确，也阻碍了进一步改进。为此，我们构建了一个统一的 Bregman 散度框架，将所有流行的散度联系起来，从而能够对它们进行联合研究。通过对梯度二阶矩进行经验谱分析，我们考察了散度选择如何影响 Kronecker 近似，以及其如何与预条件化中的有限样本误差相互作用。我们发现，某些散度能够更好地补偿经验二阶矩在有限样本下的低估，这有助于解释相应 Shampoo 变体表现出的不同特性。我们进一步通过 GPT-2 预训练实验验证了这一解释。通过将散度选择与实际训练行为联系起来，我们相信，该框架能够为理解 Shampoo 的基础原理并进一步改进 Shampoo 提供有原则的指导。
12:00 arXiv cs.LG 79
arXiv:2610.08402v1 公告类型：新增 摘要：多轮 LLM 智能体通常在多次交互中获得稀疏的任务反馈，同时逐个 Token 生成每次响应。这带来了两个相关的信用分配问题：哪些响应帮助实现了最终结果，以及每次响应中的哪些生成决策发挥了作用？现有方法通常只关注其中一个层级：回合级方法评估完整响应，却无法区分响应内部的决策；Token 级方法可以跨回合传播反馈，却没有显式地为每个响应建模信用。这些互补的局限性促使我们在两个层级同时学习信用，并在一次策略更新中对其进行协调。我们提出 VETTA，一种通过共享的轻量级评论器中的独立头部，联合学习回合级和 Token 级价值的信用分配方法。VETTA 沿两个时间序列计算优势，并将每个回合的优势与响应内部中心化的 Token 残差相结合，用于 PPO 更新。此外，为降低价值学习成本，评论器仅保留用于初始化 actor 的预训练检查点中的前若干个 Transformer 模块。在两个具有挑战性的智能体基准 ALFWorld 和 WebShop 上，使用 Qwen2.5-1.5B-Instruct 时，VETTA 相较于 PPO 的成功率分别提升 37.5% 和 22.3%；使用 Qwen2.5-7B-Instruct 时，成功率分别达到 95.5% 和 76.0%。评论器深度对比实验进一步表明，在显著降低评论器侧计算量的同时，仍可取得出色的任务性能。这些结果表明，一个紧凑的共享评论器能够协调回合级与 Token 级信用，在保持价值估计高效的同时提升智能体性能。代码见 https://github.com/Jiaju-Chen/VETTA-official。
12:00 arXiv cs.LG 75
arXiv:2610.08400v1 公告类型：新 摘要：大规模自监督预训练重塑了现代机器学习，显著提升了语言模型和视觉模型在下游任务中的泛化能力。尽管近年来深度学习推动了原子系统建模取得长足进展，但该领域的自监督预训练尚未实现同等水平的下游泛化能力。为此，我们提出 Atom-JEPA，这是一种受联合嵌入预测架构启发的自监督预训练框架，通过原子级和子结构级互补目标，从无标注的三维结构中学习潜在表示。我们在大规模分子和晶体数据集上对 Atom-JEPA 进行预训练，并通过在一系列多样化的下游性质预测任务上进行微调，评估其迁移性能。Atom-JEPA 在分子 ADMET 和量子化学性质预测任务上取得了当前最佳性能，并在晶体材料物理性质预测方面表现出很强的竞争力。这些结果表明，仅凭结构数据，潜在空间预测式预训练有望支持广泛的下游泛化。代码和预训练模型检查点已公开于 https://github.com/khelverskovp/atom-jepa
12:00 arXiv cs.LG 79
arXiv:2610.08118v1 公告类型：新 摘要：协变量感知的时间序列基础模型（TSFMs）有望为配备仪器的装置提供无需训练的假设分析答案：不同的未来输入将导致输出发生何种变化。我们在具有精确反事实的受迫工程系统上对此进行测试，将 Chronos-2、TimesFM-2.5 和 TabPFN-TS 与基于相同上下文拟合的经典系统辨识方法进行比较。通过默认的协变量接口，TimesFM-2.5 和 TabPFN-TS 是无记忆的：输入变化所产生的预测影响是该变化的同一时刻函数（TimesFM-2.5 的 $R^2 = 1.000$）。Chronos-2 能在上下文中识别动态特性，但会削弱其幅度。其预测影响仅为真实影响的 0.33–0.80 倍，恢复出的脉冲响应形状不正确；在单自由度振子上的误差随着上下文样本增加到 8192 个而稳定在 0.57，而基于 256 个样本拟合的 ARX 可将误差降至 0.02。推理时对上下文加入抖动，无需训练即可降低全部六类合成系统上的假设分析误差。在合成受迫系统上进行 26 分钟的微调，可以恢复响应幅值（灵敏度为 0.83–0.96），并且在 Wiener-Hammerstein 系统和一个留出的摩擦类别上优于不依赖结构的辨识方法。在相同数据上训练的专用上下文辨识器也取得了接近的效果，说明性能增益主要来自受迫系统数据。在四个实测被控对象中的三个上，经典辨识方法仍明显更优；此外，微调后的模型损失了部分单变量预测能力。成对的反事实输入，以及对实测记录中的未来输入进行打乱，共同检验两个性质：协变量接口是否能够表示动态特性，以及预训练先验是否覆盖被控对象的时间尺度。只有反事实输入对能够揭示这种衰减。
12:00 arXiv cs.LG 74
arXiv:2610.08108v1 公告类型：新 摘要：扩散语言模型（dLLMs）已成为自回归（AR）语言模型的一种有前景的替代方案，能够提供灵活的 token 更新顺序和并行解码。近期的 dLLMs 通常在进行扩散转换之前从预训练 AR 模型初始化，以继承其已学习的表征。然而，在转换完成后，它们通常会忽略其 AR 祖先模型所拥有的丰富后训练生态。在本工作中，我们表明，这些现有的 AR 后训练权重更新可以被有效复用，以增强扩散模型。尽管 AR 到扩散的转换会带来变化，但将 AR 后训练权重更新直接添加到扩散基础模型上仍然有效，其性能接近直接进行扩散后训练所达到的水平。值得注意的是，AR 后训练更新与扩散后训练更新在权重空间中几乎正交，但会在扩散模型中引发高度一致的表征变化。二者不同的更新还具有互补性：组合它们的权重可以同时保留两种范式带来的收益，并进一步提升经过后训练的扩散模型。基于这些发现，我们提出 A2D，这是一种利用现有 AR 后训练资源增强扩散模型的简单免训练框架。A2D 可以将能力从经过 AR 后训练的模型迁移到扩散基础模型中，还可以通过组合 AR 与扩散后训练更新，进一步改进已经过后训练的扩散模型。在包括 Dream、DreamReasoner、DiffuCoder、Dream-Coder、Nemotron-Labs-Diffusion 和 DiffusionGemma 在内的多种 dLLMs 上，A2D 均能稳定提升指令遵循、数学推理和代码生成能力；无论采用监督微调还是强化学习更新，都无需额外训练或推理时计算。
12:00 arXiv cs.LG 79
arXiv:2610.08049v1 公告类型：新 摘要：低秩适应（LoRA）被广泛用作预训练深度神经网络的参数高效微调技术，它通过低秩矩阵 $BA^\top$ 近似全量微调产生的权重更新。由于 $BA^\top = BG^{-1}(AG^\top)^\top$，因此任意可逆矩阵 $G$ 都会导致等价关系 $(B, A) \sim (BG^{-1}, AG^\top)$，这意味着两组参数会产生相同的损失值。该关系诱导出一个商流形，其中所有矩阵 $(BG^{-1}, AG^\top)$（对任意 $G$）都被视为相同，从而消除了损失值保持不变的冗余方向。为遵循该流形的几何结构，原始搜索空间被赋予一个在等价关系下保持不变的黎曼度量。这样的度量会在每个梯度步骤中引入预条件，并确保每次通过 LoRA 进行的权重更新都会改变损失值，从而实现高效优化。在本文中，我们提出了一种专门为 LoRA 设计的新型黎曼度量，以缩小权重层面上与全量微调之间的差距。理论上，我们证明了采用该度量所诱导的预条件后，LoRA 在每次迭代中满足以下两个性质：（i）在 LoRA 参数化所允许的一阶权重变化子空间内，权重更新沿着最接近全量微调梯度的方向进行。（ii）与采用传统预条件和不使用预条件的 LoRA 所得到的更新权重矩阵相比，更新后的权重矩阵在 Frobenius 范数意义下更接近全量微调得到的权重矩阵。这些理论结果表明，我们的预条件能够使 LoRA 更好地逼近全量微调，从而实现更高效的优化。实验表明，在语言和视觉领域的微调任务中，我们针对 LoRA 提出的预条件具有良好的有效性和效率。
12:00 arXiv cs.LG 75
arXiv:2610.08021v1 公告类型：新 摘要：基于模拟的推断（SBI）已成为复杂科学模型中进行贝叶斯推断的一种强大方法，这些模型的似然通常难以计算，甚至无法计算。摊销式 SBI 从模拟数据中学习可复用的推断模型，从而能够针对新的观测结果快速进行后验推断；现代生成模型则使这些模型的表达能力不断增强。然而，这种复用仅限于训练时所选定的先验分布，而随着知识积累或对其他假设进行检验，科学分析往往需要修订先验。我们提出了 Spectra，一种用于基于扩散模型的 SBI 的测试时适配方法。对于结构化的先验变化，Spectra 利用精确的分数传输恒等式，从冻结的扩散模型以闭式形式获得适配后的分数，无需额外的模拟或训练。在六个 SBI 基准测试中，Spectra 在强先验偏移下以较低的在线采样成本实现了准确适配。这使得预训练的 SBI 模型能够在测试时纳入更新后的先验信息。
12:00 arXiv cs.LG 77
arXiv:2610.07997v1 公告类型：新 摘要：在配对的分子—形态学数据上进行对比预训练的分子编码器，例如 CLOOME 和 CellCLIP，已被提出作为表型预测的低成本替代方案，从而无需进行 Cell Painting 实验。我们针对这些分子编码器评估了这一设想，采用了一套旨在控制两种可能夸大表观性能的混杂因素的实验方案：编码器自身预训练边界内的数据泄漏，以及表型活性与细胞毒性之间的相关性。我们在两个不同的 Cell Painting 筛选数据集上测试了六种表示方法，其中包括一个与 CLOOME 的输入和层数相匹配、未经预训练的 MLP 对照模型。结果发现，在控制这些混杂因素后，经过预训练的分子编码器相较于普通理化性质描述符并未表现出明确优势；并且对于各种表示方法而言，毒性通常比表型活性更容易预测。我们的结果表明，在将表型预训练编码器作为表型药物发现的替代方案加以信任之前，应将考虑数据泄漏并控制混杂因素的评估作为标准实践。
12:00 arXiv cs.LG 76
arXiv:2610.07996v1 公告类型：新 摘要：表格基础模型（TFMs）通过以上下文中提供的带标签示例为条件，无需更新任何参数，便能实现强大的预测性能。然而，单个示例如何影响给定预测，仍缺乏充分理解。这一空白在实践中十分重要：上下文通常由现有的带标签数据拼接而成，因此可能包含标注错误、冗余或低质量示例，从而导致性能下降。标准的数据归因方法无法直接迁移到 TFM 场景：基于重采样的方法（如 DemoShapley）需要进行组合数量级的前向传播，而基于梯度的估计方法（如影响函数）则需要计算训练数据点对模型参数的影响，但上下文学习从不更新模型参数。我们提出 TICDA，这是一种直接利用基于 TFM 潜在嵌入训练的线性代理模型，衡量上下文中每个示例影响的方法，只需一次前向传播，且成本几乎可以忽略。我们在四项任务中展示了 TICDA 相较竞争方法的最佳权衡：检测标注错误；在降低推理成本的同时筛选上下文以保持预测准确率；生成可跨 TFM 迁移的归因分数；以及支持高效主动学习的采集策略。
12:00 arXiv cs.LG 75
arXiv:2610.07990v1 公告类型：新 摘要：模型合并旨在通过组合各个特定任务模型的权重，以较低成本构建多任务模型。为了在多个任务上取得良好表现，大多数现有的合并方法会使用额外数据集来寻找特定任务权重更新的最佳线性组合系数。然而，我们发现了这一标准实践中存在的一种隐式正则化：对系数进行搜索会将候选模型限制在由特定任务权重更新所张成的子空间内。在本研究中，我们探讨了这种正则化是否确实有用。令人意外的是，实验结果表明，在不采用这种正则化的情况下优化合并模型权重，能够显著提升常见合并方法在多种架构、领域中的表现，甚至适用于一种极端数据受限的场景——每个类别仅有一个样本。此外，直接优化预训练模型权重的表现甚至优于一些现有的合并方法。分析表明，更优的多任务权重存在于该子空间之外，并且可以通过多种方法找到。我们研究了使用额外数据集的不同策略，讨论了它们在模型合并中的实际应用及影响。总体而言，这项工作呼吁重新审视现有的模型合并流程，推动对权重空间进行更广泛的探索，并重新思考任务算术所诱导的隐式正则化。
12:00 arXiv cs.LG 80
arXiv:2610.07885v1 发布类型：new 摘要：心电图（ECG）界定，即识别波形边界，是将原始心电信号转化为具有临床可解释性测量结果的基础步骤。深度学习推动了这一任务的发展，但仍依赖成本高昂的专家标注。自监督预训练和半监督学习等标签高效策略有望减轻这一负担，但它们能否实现可靠的界定，以及由此产生的深度模型是否优于临床实践中使用的界定工具，仍不明确。我们分两个阶段对此进行研究。首先，在一个内部数据集和四个外部数据集上比较自监督目标与监督式或半监督微调方法，我们发现预训练确实有帮助，但目标函数十分重要；同时，半监督微调的价值取决于预训练目标。其次，我们使用三个互补指标，将筛选出的深度学习模型与广泛使用的开源工具（NeuroKit2、Prominence、ECGdeli）和商业工具（CalECG）进行基准比较。该模型在每个指标和每个数据集上均排名第一；在节律多样的数据集上，它以明显优势超过表现最强的工具（mIoU 为 71.3% 对 54.8%；平均逐点敏感度为 92.6% 对 76.4%），并且从窦性心律到心律失常时性能下降最少。进一步按节律分层并进行逐点分析，刻画了各工具的独特表现，为工具选择提供了实用指导。这些结果提供了系统性的多数据集证据，表明自监督预训练对心电图界定有效，并能够利用丰富的未标注数据，使经过标签高效训练的深度学习模型超越广泛使用的界定工具。这支持在多样化的真实世界临床环境中采用此类模型。
12:00 arXiv cs.LG 77
arXiv:2610.07809v1 公告类型：新 摘要：稀疏激活的专家混合（MoE）模型能够提升模型容量，而无需按比例增加每个令牌的计算量。密集模型到 MoE 的升级通过复用预训练密集模型来构建此类系统，通常的做法是将前馈网络（FFN）复制为独立训练的专家。我们提出 MASKerade，这是一种密集模型到 MoE 的训练方法，其专家不再通过复制获得，而是学习为冻结的预训练 FFN 的稀疏子网络。每个专家由一个学习得到的二值掩码定义，并由令牌级路由器选择要执行和组合的掩码 FFN。路由器和掩码分数进行联合优化，而底层 FFN 的权重值保持不变。这一形式能够在同一套路由架构中支持神经元结构化、半结构化和非结构化专家。我们的主要配置采用四个 2:4 专家，并使用 top-2 路由；其中两个半稠密专家的计算过程在名义上的 FFN 算术量上相当于一次稠密计算过程，同时无需独立的专家权重矩阵。在使用 Qwen 和 Gemma 作为骨干网络的五个视觉语言基准测试中，该配置取得了所有对比基线中的最高性能。通过对不同掩码粒度、路由干预方式以及计算量匹配的控制实验进行比较，我们区分了学习得到的连接方式与专家激活数量各自的影响。这些结果表明，在冻结权重上进行掩码学习，是构建令牌路由 MoE 专家的一种实用替代方案。
12:00 arXiv cs.LG 74
arXiv:2610.07804v1 公告类型：新 摘要：诸如 TabPFN 的 Prior Fitted Networks (PFNs) 在预测和估计任务中如今已足以媲美成熟的统计方法。一个自然的解释是，PFNs 具有统计自适应性，即对于一组异质模型，在事先不知道数据来自哪个模型的情况下，其表现仍几乎与针对真实数据生成模型定制的方法一样好。我们在一个受控的位置估计问题中研究这种自适应性是如何被学习到的。每个任务都是一个未标注样本，其所属分布族是隐藏的：对于高斯数据，应采用平均法，误差阶为 $n^{-1}$；而对于均匀数据，利用样本极值进行估计效果最佳，收敛速度更快，达到 $n^{-2}$。我们还给出了对称高斯混合的例子，在这种情况下可以达到 $\sigma^2_n/n$ 的速率。在标量输入上，softmax 注意力计算经验累积量生成函数的导数。因此，一个单一的基本算子既能提供区分不同分布族的特征，又能构造出在样本均值与中程值之间插值的估计量。我们通过 softmax 专家混合或门控线性单元（GLU）组合注意力专家，并分析分阶段梯度流。在具有 $\widetilde{\Omega}(n^{1+\epsilon})$ 个预训练任务的情况下，所学习的估计量在高斯任务上渐近有效；在均匀任务上，其表现距离极小极大速率不超过 $n^{\epsilon}$ 倍；在方差收缩的情形下，对于混合分布，其速率达到阶最优。这些保证还可推广到新的位置参数和更长的上下文。风险分解将误差区分为专家误差、路由误差和归一化误差，从而阐明了两种架构之间的差异。softmax 门控强制实现归一化和精确的平移等变性，而 GLU 则必须学习这些性质：其动力学分为先快速消除偏差、再缓慢选择专家两个阶段。端到端实验重现了所预测的专业化现象。
12:00 arXiv cs.LG 79
arXiv:2610.07778v1 公告类型：新 摘要：属性图聚类旨在通过联合利用节点属性和图拓扑结构来发现节点群组，然而，其无监督特性使得模型选择和适配本质上较为困难。现有方法通常针对每个输入图分别训练和调优模型，导致流程成本高昂且脆弱，并且往往无法迁移到具有不同特征空间、结构模式以及属性—结构相关性的图上。本文研究一种通用方案：能否只训练一次单个模型，并将其直接应用于多种属性图，而无需针对特定图进行训练、微调或超参数搜索？我们提出 OFAG，一种用于属性图聚类的基础模型。OFAG 构建于 Prior-data Fitted Networks 之上，从依据关于潜在簇、节点属性和图结构的广泛先验生成的合成属性图中，学习可复用的聚类推理策略。为处理不同图之间不兼容的特征空间，OFAG 采用与维度无关的逐信号图编码器，将每个特征通道视为一个图信号，并对其针对共享图滤波器的响应进行建模。该模型通过超球面聚类目标进行训练，在推理时仅需一次前向传播即可生成有利于聚类的节点表示。在十个数据集上，一个冻结的 OFAG 模型在 NMI、ACC、ARI 和 F1 指标上的平均性能及平均排名均达到最佳，同时完成全部十个数据集仅需 12.43 分钟——速度比第二快的基线方法快 6 倍以上，在聚类质量方面也比第二优方法快近 28 倍。我们的代码和预训练检查点可在 https://github.com/Cloudy1225/OFAG 获取，使实践者无需额外训练或调优，即可将 OFAG 直接应用于自己的属性图数据集。
12:00 arXiv cs.LG 73
arXiv:2610.07754v1 公告类型：新 摘要：对抗训练是抵御对抗攻击最可靠的防御手段之一，但其高昂的计算成本通常必须针对每项任务重新付出。鲁棒基础模型提供了一种有前景的替代方案：先对模型进行一次对抗预训练，然后通过轻量级适配将其鲁棒性迁移到下游任务。然而，一个根本性问题仍未解决：在无需进一步对抗训练的情况下，预训练期间获得的鲁棒性是否能够迁移到未见过的任务？在本研究中，我们对此问题给出了肯定回答。一个经过大规模对抗预训练的单一模型，可以在无需额外任务特定训练的情况下，在新任务上实现最优鲁棒性。具体而言，我们证明，对于一类高斯混合分类任务，一个在跨任务场景下接受对抗训练且具有足够深度的线性 Transformer，能够通过从干净示例中进行上下文学习，在渐近意义下达到此前未见任务上的鲁棒贝叶斯误差。相比之下，标准训练的模型无法做到这一点。我们还分析了梯度流下的收敛性、准确率与鲁棒性之间的权衡，以及示例复杂度。
12:00 arXiv cs.LG 78
arXiv:2610.07677v1 发布类型：新 摘要：本文表明，针对高分辨率模型反演攻击（MIAs）的标准评估会显著低估训练数据隐私泄露。在对攻击进行简单自适应修改后，最先进的隐私防御、MixUp 和对抗训练等标准训练技术，以及未采用防御的模型，在 FaceScrub 上泄露训练图像的比例均提高至原来的 1.16 至 6.59 倍；其中，隐私保护效果报告最强的防御方法增幅最大。我们进一步表明，测得的泄露程度取决于用于评估重建结果的外部分类器所采用的特征基：对于相同的重建图像，经过对抗训练的 Inception 评估器与标准 Inception 评估器识别目标身份的比例不同。我们的结果表明，标准 MIA 评估可能会将优化失败和测量失败误判为隐私保护。这些被低估的泄露率还掩盖了隐私与对抗鲁棒性之间更广泛的关系。在调整攻击方式并改变评估器后，重建泄露程度与近期防御方法及标准训练方案中的对抗鲁棒性高度一致，这表明鲁棒性可以作为一种与攻击无关的重建脆弱性代理指标，其适用范围远比此前理论设想的更广。这引出了一个开放问题：实用的防御方法能否在不相应牺牲对抗鲁棒性的情况下，减少训练数据重建？
12:00 arXiv cs.LG 77
arXiv:2610.07654v1 公告类型：新增 摘要：策略内蒸馏（OPD）作为一种将能力从教师模型迁移到学生模型的有效方法，正受到越来越多的关注。近期研究进一步探索了将 OPD 用于提升大型语言模型安全性的可能性，并取得了令人鼓舞的结果。然而，这些方法通常假设教师模型和训练数据是可信的。在本文中，我们揭示了 OPD 在安全性方面一个被忽视的威胁：一个经过安全对齐但植入了后门的教师模型，能够将其隐藏的恶意行为传播给最初没有问题的学生模型。在我们的威胁模型下，即使污染率低至 3%，蒸馏后学生模型的攻击成功率（ASR）也最高可达 70%。我们进一步发现了两种会放大这一风险的训练选择。首先，增加训练轮数可能使低污染率下的 ASR 也达到较高水平。仅使用 10 个污染样本，经过 16 个训练轮次后，ASR 就可达到 67%。其次，常用的 top-k KL 会加速后门迁移，在大多数设置下，使触发条件下的有害行为比 sampled-token KL 更早出现。在这些发现的基础上，我们探索了一种简单的缓解方法 Lazy Defense：对 KL 奖励进行裁剪，使学生模型的更新不那么激进，从而限制激进更新并减缓后门学习。实验表明，在低污染率设置下，Lazy Defense 能够延迟后门迁移。总体而言，我们的研究发现 OPD 可能传播后门，凸显了应对 OPD 安全风险的必要性。
12:00 arXiv cs.LG 77
arXiv:2610.07615v1 公告类型：新 摘要：主动特征获取（AFA）是一类分类问题，其中智能体在预测每个样本的标签之前，决定获取哪些高成本特征。不同于批量 AFA（后者在完整观测的数据上离线训练固定策略和分类器），在线 AFA 会随着样本的到达，根据已揭示的标签更新其预测器。现有在线方法要么使用无法提供性能保证的深度强化学习（RL），要么最大化经成本调整的奖励，而不是施加全局预算约束。我们将在线 AFA 建模为组合式带背包的多臂老虎机（BwK）问题，将特征获取与预测结合起来。不同于以往基于多臂老虎机的 AFA 和经典 BwK，我们的设定同时具有组合复杂性、不断变化的奖励、全局预算以及结构化辅助信息。在这一框架下，借助考虑基数的置信界和子集更新结构，我们获得了优于标准 BwK 界的改进遗憾上界。为避免指数级增长的动作空间，我们提出了 \emph{LP-Chain}，一种搜索成本感知特征子集链的变体，其规模随特征数量线性增长。尽管遗憾上界是针对组合式框架给出的，\emph{LP-Chain} 在实验中仍取得了相当的预测性能。在合成数据上，\emph{LP-Chain} 优于基于 HEDGE 的 BwK 和基于深度 RL 的在线 AFA 基线方法，并且能够更有利地扩展到更多特征。
12:00 arXiv cs.LG 74
arXiv:2610.07559v1 公告类型：new 摘要：近期表格基础模型的进展表明，在合成任务上进行训练能够显著提升上下文学习能力，而整体性能在很大程度上取决于模型在推理过程中能否从可用上下文中推断出任务特定的预测关系。本文提出 TAFFY，这是一种表格基础模型，配备了 In-Context Diversity Prior 和 Task-Conditioned Looped Transformer，以增强上述能力。具体而言，为构建每个合成预训练上下文，In-Context Diversity Prior 从多个相关环境中进行采样，这些环境通过在共享因果过程上施加受控干预和分布偏移得到。这种上下文多样性促使模型学习更加全面且面向任务特定的表示。此外，Task-Conditioned Looped Transformer 以迭代且有选择性的方式应用一组共享的 Transformer 模块，以细化上下文表示，并通过任务条件门控机制调节最终的隐藏状态更新。这实现了任务自适应的迭代细化。总体而言，这些组件促使模型在预训练期间从上下文对比中识别预测关系，并针对每个任务动态调节上下文整合方式。在六个分类基准数据集和五个回归基准数据集上，TAFFY 获得了最低的平均排名。
12:00 arXiv cs.LG 78
arXiv:2610.07484v1 发布类型：新 摘要：自监督EEG模型通常重建被掩码的波形或预测离散编码。我们研究了一种与任务相匹配的替代方案：掩码频带功率预测（MBP），即针对被掩码的通道-时间片段，预测固定窄频带的对数频谱能量。该目标保留了与睡眠分期相关的节律功率，同时避免了对相位敏感的波形重建以及学习型码本。在三种预训练随机种子下，我们在匹配的骨干网络、预训练数据（2,388小时）和训练步数条件下，对比了频带功率目标与波形目标，其中包括一个2×2的分词器-目标设计。在ISRUC和HMC睡眠分期任务上，在严格的线性探测设置下，MBP相比原始波形重建和频带波形重建，在使用全部标注时使平衡准确率提高1.6–2.8个百分点，在仅使用1%标注时提高4.7–7.3个百分点；目标的影响超过了分词器的影响。其冻结特征取得了0.7916/0.7425的平衡准确率，而匹配的丰富手工设计频谱基线为0.7636/0.7227，不过在仅使用1%标注时，差距约为1个百分点。进行完整微调后，平衡准确率达到0.8107/0.7669。这些提升并未扩展到所有具有频谱线索的任务，包括运动想象、抑郁筛查和警觉性回归。这些结果支持这样一种观点：预训练目标的选择应与下游标签所涉及的物理量以及相关的空间和时间尺度相匹配。
12:00 arXiv cs.LG 76
arXiv:2610.07406v1 公告类型：新 摘要：主动特征获取通过按顺序获取特征来学习策略，以最大化关于目标变量的信息。我们研究了如何利用有限的离线数据，通过先验数据拟合网络（PFNs）学习和评估此类策略。PFNs 是开箱即用的模型，无需针对具体任务进行训练即可输出后验预测分布。我们表明，在离线数据覆盖不均衡的情况下，使用总预测熵作为奖励会产生一种认知偏差，惩罚获取观测稀疏的特征。具体而言，这种奖励将认知不确定性（源于离线数据的缺乏）与偶然不确定性（源于特征缺乏信息）混为一谈。为解决这一问题，我们在评估特征获取时，针对的是后验期望的（偶然）熵，而不是 PFN 输出的总预测熵。在合成数据集和真实世界数据集上的实证评估表明，我们的方法能够持续降低价值估计偏差，并产生具有较强经验覆盖率的可信区间，从而有望改进下游策略选择。
12:00 arXiv cs.LG 76
arXiv:2610.07389v1 公告类型：新 摘要：稀疏自编码器被广泛用于发现神经网络中具有可解释性的特征，但当特征相互重叠或激活频率较低时，实现可靠恢复仍然十分困难。这些挑战既涉及推断哪些特征能够解释输入，也涉及学习表示这些特征的字典。在本文中，我们将推断与字典学习统一为共享变分自由能上的自然梯度流。我们将这一框架具体实现为 BeFOND：一种无编码器稀疏编码模型，具有闭式推断和学习动力学。我们展示了递归式解释消除如何减少重叠特征之间的干扰，同时 Fisher 预条件化能够补偿稀有特征学习缓慢的问题。在合成数据上，BeFOND 改进了字典恢复和稀有特征检测；随着叠加程度增加，相较于摊销式基线模型，其优势不断扩大。在语言模型激活上，它改进了单特征概念检测和选择性干预，使用显著更少的训练数据便超越了预训练的参考 SAEs。随着字典宽度增加，其特征质量仍持续提升，而所评估的基线模型大多趋于饱和。总的来说，这些结果表明，在统一的概率框架内改进推断与学习，能够更有效地利用数据和字典容量，从而解释神经表征并对其实施干预。
12:00 arXiv cs.LG 76
arXiv:2610.07340v1 公告类型：新 摘要：蛋白质-分子虚拟筛选越来越多地被视为共享嵌入空间中的表征学习问题。现有方法依赖密集的整体对齐，将不变的结合决定因素与无关相关性纠缠在一起，从而限制了向新靶点的迁移能力。已有研究指出，蛋白质-分子系统中的结合涉及稀疏的跨模态相互作用：结合由一个较小的接触界面和少数关键的局部相互作用（例如氢键、疏水接触和盐桥）决定，而不是由蛋白质和分子的全局结构决定。我们假设，发掘并利用稀疏的相互作用模式对于超越训练数据实现泛化至关重要，因为这些模式具有可复用性，并有望提升模型在不同场景下的性能。本文旨在识别并利用稀疏的相互作用模式，并验证这一假设。由于训练数据仅包含观测到的结合对，我们在 Heckman 风格的选择机制下，通过 V 结构因果模型形式化这一先验，并建立了三个理论结果：（i）在缺乏适当稀疏性约束的情况下，相互作用蛋白质和分子的潜在概念不可识别；（ii）在满足结构稀疏性条件时，这些概念及其稀疏相互作用具有分量级可识别性；（iii）对这些条件进行低秩松弛后，可以实现概念及相互作用的子空间可识别性。受这些原理启发，我们提出了 CausalBind，并实现了三个变体。在 DUD-E 和 LIT-PCBA 基准上的大量实验表明，所有变体均持续优于强大的检索基线，在 LIT-PCBA 的早期富集指标上提升最大，并且能够进一步泛化到靶点级和骨架级分布外划分。代码可在 https://github.com/lokali/CausalBind 获取。
12:00 arXiv cs.LG 85
arXiv:2610.07324v1 公告类型：新 摘要：时间序列基础模型（TSFM）在涵盖各种形态和领域的大规模时间序列数据集集合上进行训练。这种设置使模型接触到尺度差异可能非常显著的序列——即其数值的典型量级。可逆实例归一化（Reversible Instance Normalization，ReVIN）等仿射缩放方法会对模型输入进行缩放，并在计算损失前反转该变换。我们表明，相对于在缩放目标上计算的损失，这种反转会使每个序列的梯度乘以 $b^p$，其中 $b$ 是缩放分母（例如标准差），$p$ 是损失的阶数。我们将这种训练方式称为尺度污染训练（ScaleCon），因为每个序列的尺度因而会成为一个重要性权重，导致高尺度序列主导训练。对于任意具有尺度等变性的缩放器，以及任意具有 $p$ 阶齐次性的残差损失（包括 MSE、MAE 和 Quantile Loss），我们证明，在缩放目标上计算损失，会使每个小批量梯度以及由此产生的完整优化轨迹不受训练序列任意独立缩放的影响，从而实现尺度不变训练（ScaleIn）。值得注意的是，现有 TSFM 同时采用这两种目标，但既没有一致的报告方式，也没有关于如何计算训练损失的通用规范。我们通过合成数据和真实数据上的受控研究，剥离并分析了 ScaleCon 导致的收敛差异，以及 ScaleIn 对该差异的修正效果。在四种 TSFM 架构上的预训练中，ScaleIn 在全部 24 个架构—基准测试比较中都降低了 MASE；在各 TSFM 上平均而言，GIFT-Eval 上的降幅为 18.8%，M-competitions 上的降幅为 21.9%。这种提升还扩展到了有监督神经预测，在 20 个匹配设置中的 16 个设置里降低了 MASE。大多数现有的时间序列预测流程只需修改一行代码即可采用 ScaleIn。
12:00 arXiv cs.LG 74
arXiv:2610.07283v1 公告类型：新 摘要：与数字架构相比，模拟硬件平台有望降低能耗，但要实现这一目标，大规模模拟系统还必须能够应对其组件的变化性，或从中恢复。为此，我们推导并展示了锁定平衡传播（LIEP）训练方法。LIEP 无需单独进行前向和反向扫描，即可为振荡网络中的每个组件提供局部梯度信息，从而有望在模拟振荡硬件平台上实现原位学习能力。我们证明，LIEP 既可用于从头开始的训练，也可用于在预训练参数受到扰动后恢复性能。我们还表明，LIEP 可以表述为一种三因子更新规则，并指出，尽管该方法目前仅在浅层网络上得到验证，但其他架构可能使其扩展到深层和大规模网络，从而应对复杂任务。
12:00 arXiv cs.LG 80
arXiv:2610.07271v1 公告类型：新 摘要：用于层次聚类（HC）的链接算法是构建聚类树的一种强大且高效的框架，但对于给定数据集或任务，哪种合并规则最为合适通常并不明确。相比之下，神经方法能够从数据中学习，但往往无法保留经典算法的效率和规模泛化能力。我们提出 NN-linkage，这是一种神经网络（NN）模型，能够学习特定于任务且依赖局部信息的合并规则，同时保留经典链接算法的递归结构和高效推理能力。具体而言，我们的模型在算法上与 Lance-Williams（LW）递推保持一致。Lance-Williams 是一个参数化框架，用于定义凝聚式 HC 中广泛且连续的链接规则族。单链接（SL）、全链接（CL）和平均链接等经典方法，都是这一更广泛规则族中的离散选择。我们证明，NN-linkage 是连续链接函数的通用逼近器，其中包括 LW 递推；当与 transformer 编码结合时，它还能够逼近全局依赖规则，例如稳健单链接。我们进一步证明，对于任意输入规模，NN-linkage 都能精确实现任意对称的常系数 LW 递推。在实证方面，我们使用合成数据集和真实数据集，在时钟树布线和系统发育重建这两个现实应用中评估 NN-linkage，结果表明其性能优于经典算法和其他神经方法。通过直接从目标树中学习合并规则，NN-linkage 将高效的 HC 拓展到了现有手工设计的链接规则无法充分刻画的科学与工程目标。
12:00 arXiv cs.LG 77
arXiv:2610.07229v1 公告类型：新 摘要：受时间序列领域自适应背景下序列到序列传输的启发，我们研究了马尔可夫过程轨迹之间的传输问题。给定源分布和目标分布中的有限数量轨迹，我们提出了一种基于流匹配的算法，该算法学习从源轨迹分布到目标轨迹分布的传输映射，同时保留马尔可夫结构。我们证明了该方法在总体极限下具有一致性，并在混合时间假设下推导出有限样本误差界；相关分析遵循马尔可夫情形下包括回归（Nagaraj et al., 2020）、主成分分析（Kumar and Sarkar, 2023）和矩阵集中（Neeman et al., 2024）在内的经典统计问题分析。除此之外，我们还构造了一个下界，表明即使条件转移为正则高斯转移，也无法避免依赖于混合时间的样本复杂度。我们在合成数据和真实世界数据上进行了评估。对于在 THINGS-EEG2（Gifford et al., 2022）上基于脑电图（EEG）的图像检索任务，目标是从采集自人类受试者的 EEG 信号中识别其所观看的图像，而该任务受到较高受试者间差异的影响。我们在 ENIGMA 解码器（Kneeland et al., 2026）的受试者特定时间映射之前加入条件流，使平均 top-5 检索准确率从 43.87% 提升至 49.05%，相对提升 11.82%。
12:00 arXiv cs.LG 77
arXiv:2610.07168v1 发布类型：新 摘要：多语言语言模型中，翻译句子的表征在内部层中具有相似性——这一现象与柏拉图式表征假说有关，但尚缺乏理论解释。我们基于以下假设给出一种解释：数据具有隐藏的层次结构，其中抽象层级在不同语言之间共享，而表层则具有模态特异性或语言特异性。具体而言，我们从概率上下文无关文法中生成合成语言，这些文法共享高层级的生成规则，但不共享低层级的生成规则。在这一设定下，贝叶斯最优的下一词元预测器就是信念传播（BP）；将其消息编码到连续的层中，可以得到解析预测，并且这些预测与在相同数据上训练的 transformer 高度一致。该框架解释了为什么跨语言相似性在中间层达到峰值，为什么它与语言特定结构并存，以及为什么它会随着语言接近程度、模型质量和数据接触量的提升而增强。该框架区分了相似性（共享的邻域几何结构）与对齐（共享的坐标），并表明，当代码切换数据，即混合语言的句子，足够丰富时，后者才会出现。该框架还预测，从每一层中减去可由前一层线性预测的成分，会提高跨语言相似性；我们在预训练 LLM 中证实了这一点。
12:00 arXiv cs.LG 78
arXiv:2610.07062v1 发布类型：new 摘要：大型语言模型正越来越多地用于模拟个体如何回应新情境，但这些回应背后的行为推理要么继承自预训练，要么从个体层面的标注中学习，而后者只能提供有限的行为多样性，对推理本身的监督也很少。我们提出从预测市场中学习行为推理，因为预测市场的价格轨迹记录了大规模人群对现实世界事件的反应。我们引入 macro2mind，利用市场信号并通过 GRPO 训练语言模型。社会行为分解将行为推理明确设为预测过程中的一个步骤：模型推断市场参与者的代表性群体，预测每个群体如何解读新闻并更新信念，推理这些群体之间的互动，再将这些反应汇总为一个价格。结合难度感知采样的后见之明遗憾课程，将训练重点放在由后见之明识别出的群体能够显著改善预测的转变上，同时优先选择当前策略仍可学习的样本。学习到的推理能力无需进一步训练即可应用于用户模拟。在 SWM-Bench 上，macro2mind 在 Polymarket 上取得了最先进的方向准确率和相关性。macro2mind 在市场数据上训练后，能够零样本迁移到四个用户模拟基准（Humanual、OvertonBench、PRISM 和 CAD），并在零样本方法中表现出竞争力。作为数据生成器，macro2mind 还使下游模拟器在未见过的用户上的准确率提升了 15.5 个百分点，比其骨干模型生成的数据高出 13.2 个百分点。
12:00 arXiv cs.LG 78
arXiv:2610.07028v1 发布类型：new 摘要：基于扩散的世界模型能够生成并预测高维动力系统中的轨迹，但预测准确性并不意味着其潜在坐标能够恢复底层状态变量或因果交互。我们探讨：无需重新训练生成骨干网络，能否为冻结的预训练扩散模型配备可辨识坐标。我们证明，辅助变量非线性 ICA 的保证可以迁移至 Contrastive Diffusion Alignment (ConDA)；该方法仅在冻结的扩散潜变量之上学习一个轻量级对齐映射。在标准 TCL/GCL 假设下，对齐后的表示能够将潜在动力状态辨识到排列和逐分量可逆变换意义下，保留潜在动态结构因果模型，并将滞后图恢复简化为转移雅可比矩阵的稀疏性问题。我们在物理和机器人视频系统上，将基于 TCL、GCL 和 CEBRA 的 ConDA 与 TDRL、CaRiNG、IDOL、temporal SuaVE 以及 iVAE 进行了评估。TCL 和 GCL 实现了近乎完美的分块状态恢复，并在滞后图恢复方面具有竞争力，包括在模拟落体系统中实现精确恢复。在模拟双足机器人中，学习到的动力学恢复了对留出控制扰动响应的符号和时间结构。这些结果表明，冻结的生成式扩散模型可以配备具备可辨识性、结构可解释性且有助于分析与干预相关动力学的坐标。
12:00 arXiv cs.LG 72
arXiv:2610.06993v1 公告类型：新 摘要：Evolution Strategies（ES）仅使用前向计算，即可实现对大型语言模型（LLM）进行内存高效的全参数微调。然而，标准 ES 对不同问题的奖励进行均匀平均，并将问题层面的群体反馈压缩为单一标量，因此难以捕捉每个问题的学习价值如何随模型能力变化。为解决这一局限，我们提出了面向 Evolution Strategies 的难度感知重加权与定向重放方法（DART-ES）。DART-ES 根据每个问题在扰动群体中的通过率估计其局部可解性，并聚合历史观测结果以构建动态难度状态。该共享状态同时指导持续的难度重加权和稀有可解样本重放，从而在不引入额外难度模型或反向传播的情况下，改进扰动方向评估和训练数据分配。大量实验表明，DART-ES 实现了良好的微调性能。在全部五个基础模型上，DART-ES 均优于 ES，并将平均准确率从 72.07% 提升至 73.53%，超过了 GRPO 在 GSM8K 上取得的 73.26%。在五个具有挑战性的数学推理基准上，DART-ES 的平均准确率达到 49.20%，而 ES 为 48.34%；与使用 RL 训练的强大 7B 模型相比，DART-ES 仍具有竞争力。进一步实验表明，在使用 14B 模型进行指令微调、代码生成和 Countdown 任务时，DART-ES 均能持续取得提升，展现出跨任务的强泛化能力以及向更大模型扩展的可行性。除性能提升外，DART-ES 在系统效率方面也表现出明显优势。与 GRPO 相比，其每步运行时间减少了 15.2%--50.2%，每块 GPU 的峰值内存使用量降低了 21.1%--51.1%。尽管执行的是全参数微调，DART-ES 所需的运行时间和 GPU 内存仍少于 GRPO+LoRA。
00:52 arXiv cs.AI 81
语言模型日益充当代理。一个说某项行动是错误的却仍然采取该行动的代理，与一个根本不知道那样做不对的代理，属于不同的失败类型，而对其所声明价值观的评估无法识别这种差异。我们构建了一个预注册的场景组，包含 248 个场景，涵盖五类压力。每个场景都向同一个模型呈现两次：一次让模型作为代理选择要做什么，另一次以第三人称询问哪个选项是正确的，因此模型自身的判断构成参照。每个场景都有一个移除压力后的孪生版本；此外，我们还为每个模型设置了一个阳性对照，即由操作者命令模型采取违反规范的行动，从而能够将真正存在的差距与盲目执行的工具区分开来。在 OLMo-3-7B-Instruct 上，模型在约五分之一的施压场景中采取了自己判断为错误的行动，这一比例高于同一场景移除压力后的情况。在四个 instruct 模型中，这一差距取决于后训练方案：OLMo-3 和 Meta 的 Llama-3.1-8B-Instruct 存在该差距；在整个场景组中，Tulu 3 未显示出这一差距（概率高于约 0.01），在最能对其施加压力的场景中也没有；Qwen2.5-7B-Instruct 在整个场景组中未显示出该差距（概率高于约 0.02），而在其自身最能施加压力的场景中，结果尚未确定（0.083，区间为 -0.028 至 0.195）。Meta 的方案和 Ai2 的 Tulu 3 都以相同的 Llama-3.1 权重为起点，但只有 Meta 的方案保留了这一差距。在不涉及任何利害关系的情况下，将聊天模型置于其聊天模板之外读取，会反转其差距的方向：在 OLMo-3 上，使用模板时为 +0.055，而脱离模板时为 -0.038；三种方案中有两种存在这种扭曲。在存在该差距的两个模型上，在采取行动前先推理相关利害关系，会使选择重新趋近于模型自身的判断；与等长度的非道德任务相比，无论是否存在压力，结果都是如此。在 OLMo-3 上，明确说出所涉及的规范，其效果约为这一作用的三分之一。这一差距是后训练方案可测量的目标，而不是预训练权重的固定属性。
01:30 arXiv cs.AI 80
第一视角人类数据为突破昂贵的机器人示范、扩展机器人学习提供了一条路径，但具身差异使原始人类轨迹难以成为控制的良好监督目标。我们的关键洞见是：尽管低层动作具有具身特异性，但其背后的运动意图能够捕捉与任务相关的结构，并在人类与机器人之间迁移。我们提出 EgoLAP，一种 VLA 预训练框架，通过共享的基于语言的动作思维链，联合利用人类和机器人轨迹进行学习。EgoLAP 将运动意图表示为结构化且具有时间抽象的语言动作，并将其与基于场景几何、物理规律和物体可供性的运动层面推理相结合。在大量真实世界和仿真实验中，EgoLAP 比其他动作表示方式更有效地将人类经验迁移至机器人控制，在真实世界任务中达到 80.1% 的平均任务进展，相较其他动作表示方式性能提升 2.3 倍。运动层面推理的表现也优于一种复合推理格式，后者结合了子任务、物体框和视觉轨迹推理。
01:59 arXiv cs.AI 82
世界模型为机器人技术提供了传统模拟器之外的数据驱动替代方案，应用涵盖策略评估、策略改进和规划。所有这些用途都依赖于可靠的 3D 几何信息，但当前基于视频的世界模型仅使用 RGB 数据进行训练，生成的推演结果虽然逐帧看起来正确，却无法组合成一致的 3D 世界。弥合这一差距需要在两个方面取得进展：用于操作任务的大规模 3D 监督数据，以及一种能够吸收这些数据、同时不破坏强大预训练视频先验的架构。我们提出了一种标定流程，将学习式立体深度与联合因子图相结合，对从同一台实体机器人采集的所有轨迹进行汇总，从而恢复其共享的运动学参数以及各场景独立的外参。将该流程应用于 DROID 数据集后，我们得到 DROID-3D，这是一个经过标定的 3D 数据集，提供稠密度量深度和重新标定的多视角外参（对于外部相机，90% 的轨迹重投影误差小于 0.7 像素）。随后，我们训练了 DepthWorld，这是一种基于 Stable Video Diffusion 的世界模型，通过空间潜变量平铺联合预测多视角 RGB 和深度，同时保持预训练变分自编码器（VAE）不变。在相同训练预算下，与完全相同的仅使用 RGB 的基线相比，深度监督使 RGB 预测本身的 PSNR 提升了 1.48 dB，同时为下游几何推理提供了准确的度量深度。
15:56 arXiv cs.AI 74
胃腺癌（GA）是全球癌症相关死亡的主要原因之一，从全视野切片图像（WSI）中准确分类组织病理学亚型对于制定有效的治疗方案至关重要。尽管将病理报告文本与WSI相结合的多模态方法能够提高分类性能，但现有方法通常依赖计算成本高昂的Transformer架构和大型语言模型。我们提出了一种多模态知识蒸馏（MKD）框架，使用低秩多模态融合（LMF）将预训练的WSI图像编码器与临床文本编码器相结合，从而在训练过程中高效地建模跨模态交互。每张WSI都表示为一个图像块集合，并与一条切片级诊断描述配对。教师模型学习融合后的图像-文本表示，用于亚型分类；学生模型则蒸馏这些知识，以实现准确的仅图像推理。我们在PatchGastric基准数据集上评估了该方法，其平均准确率至少比最先进的方法高3.35%，且无需依赖基于Transformer的融合、多任务学习或大型语言模型。源代码可在https://github.com/helomelo1/MKD-LMF获取。
16:09 arXiv cs.AI 82
LLM 智能体越来越能够执行复杂任务，并在软件工程和数学等易于验证的目标上递归式地自我改进。由于对齐要难得多，这带来了能力不断提升却未能实现适当安全对齐的日益增长的风险，尤其是在能力扩展到自动化研究和网络安全领域之后。现有方法主要聚焦于利用可验证反馈实现能力自我改进，或通过更强模型的监督或精心策划的数据进行对齐训练，从而形成了对齐方面的外部监督瓶颈。我们探讨当前模型能否改进自身的安全对齐，并提出 SIGMA：一种数据生成与训练流程，使对齐自我改进能够泛化到分布外场景。仅给定一份说明模型期望行为的“Model Spec”，SIGMA 利用模型的推理能力来强化其自身的安全推理。SIGMA 首先执行规范引导的任务合成，将候选模型作为任务设计智能体，生成多样化的对齐困境场景，并将其转化为训练任务，以压力测试模型对 Model Spec 的理解。随后，SIGMA 通过监督微调和基于评分标准的强化学习开展自我评判式对齐训练，并将模型自身作为奖励模型。尽管训练数据仅包含单轮聊天数据，SIGMA 仍能提升模型在多轮智能体环境中的安全对齐能力（AgentHarm 的有害性评分从 22.6 降至 14.8；Agentic Misalignment 从 79.1 降至 3.8），性能优于 Deliberative Alignment 和 Constitutional AI 基线，同时保留通用能力。分析表明，兼顾无害性与有用性的 Model Spec、测试时用于安全审议的推理能力，以及 SIGMA 任务设计智能体生成的高质量评分标准，对于实现有效的自我改进至关重要。
16:14 arXiv cs.AI 83
循环语言模型对每个 token 重复应用同一组层 T 次，在不增加参数的情况下加深模型，但会使其键值（KV）缓存扩大 T 倍。更大的缓存限制了 GPU 可同时解码的序列数量，并减慢每一步解码速度，因为每一步都要读取整个缓存。我们提出 Hybrid Latent Attention（HLA）：在长度为 W 的滑动窗口内保留最近 token 的精确键和值，并将更早的每个 token 存储为紧凑的潜变量，使每次循环的查询都能直接读取该潜变量，而无需重建键和值。我们在 Ouro 循环模型（T=4）上对 HLA 进行增量训练，模型参数规模分别为 1.4B 和 2.6B；在此过程中冻结预训练权重，仅训练新增参数，使其复现原始注意力。缓存大小按每个 token 计算缩小了 10.7 倍，使每个 GPU 能容纳的并发序列数量增加到原来的 4.0—8.8 倍；在 1K token 上下文下，解码吞吐量提升 2.5 倍，在 16K 上下文下最高提升 7.4 倍。HLA 在数学、知识和推理基准测试上保留了原始模型超过 97% 的准确率，并在最长 16K token 的长上下文检索任务上达到 96%—100%。经过监督微调后，在竞赛级数学任务上，其表现与微调后的原始模型相当。
16:22 arXiv cs.AI 80
在后果重大的领域使用 LLM 智能体时，要明智地决定是否信任其输出或进行干预，需要对智能体成功完成任务的概率具备经过校准的置信度。智能体的置信度估计之所以困难，是因为有关任务成功与否的证据分散在智能体轨迹中异构且相互依赖的多个步骤之间。实际部署智能体还带来了更多挑战：前沿 LLM 通常无法充分提供内部信号，智能体运行成本高昂，而且训练数据可能无法获取或很快过时。为应对这些挑战，我们提出了置信度推理图（Confidence Reasoning Graphs，CRGs），这是一种推理时框架，能够从单条轨迹中估计智能体完成任务的概率，无需访问特权模型信息或训练数据。CRG 不会将一次执行压缩为单一的整体判断，而是首先提出“智能体完成了任务”这一主张，将其分解为以轨迹证据为依据并结合上下文的子主张，估计每个终端主张的置信度，最后将这些置信度聚合为总体置信度估计。在三个智能体基准、三种骨干模型和三个智能体框架上，CRG 相较于语言化、基于采样以及白盒代理基线，能够提供经过更好校准的置信度，并实现更强的风险感知决策。我们进一步发现，仅凭校准误差可能会产生误导：一个白盒代理基线看似校准良好，但其判别能力接近随机水平。消融实验表明，CRG 的改进主要源于主张级置信度估计与聚合，而不仅仅是图构建本身。最后，CRG 会揭示每个置信度估计所依据的主张和轨迹证据，从而支持在决策时对其进行审计。
17:26 arXiv cs.AI 81
世界模型通常从内部进行评判：看预测损失、策略在想象中获得的回报，或生成画面的逼真程度。我们则从外部进行评判。我们学习了一个结构化的多智能体完整十英雄 MOBA 世界模型（206 个单位、每个英雄每个 tick 都会行动、单局游戏最多 6,000 个 tick），仅在其中训练策略，通过 1,400 个 tick 的自由运行想象回合进行训练，并在真实游戏中让该策略对战游戏自带的对手，以此进行测量。真实游戏从不提供梯度；它提供的是该策略自身对局生成的世界模型训练数据，以及用于筛选并锚定策略的在线评估。将这一过程作为连续异步 Dyna 循环运行后，该策略作为天辉在真实对局中的胜率达到 70.2%（600 局中获胜 421 局；95% CI 为 66.4–73.7），测试所用随机种子从未用于任何决策；相比之下，仅进行梦境训练时胜率为 0%，循环开始前为 33.7%。作为夜魇时，该策略一局未胜；游戏自带的对手与自身对战时也一局未胜。四项发现解释了这一结果。模型利用在梦境内部是不可见的：每次未锚定运行都会在几次更新内崩溃，而没有任何梦境内指标跟踪到这种崩溃。在训练语料上准确的世界模型，在该策略自身的对局上却严重失真；Dyna 在这些对局上修复了模型，在策略配方保持不变的情况下，使真实胜率提高了 9.2 个百分点。最后，策略逐项继承了其世界模型的保真度特征：该模型能够表示宏观游戏过程，却无法准确表示群体控制、施法时机或致死性；策略通过全地图施压取胜，几乎不进行协同作战。我们发布了世界模型、dream-PPO harness、世界模型调试器、评估协议，以及每个策略和所有日志。
18:06 arXiv cs.AI 77
前沿 LLM agents 已被证明能够解决日益复杂、且人类已有可量化解决方案的任务。这引出了一个重要问题：LLM agents 能否超越人类已经解决的问题？随着那些由人类充分探索并开发出的解决方案对于缺乏背景信息或训练数据不足的问题变得不再适用，发展复杂策略以应对重大问题的能力变得至关重要。我们通过电子游戏速通这一共同实践，研究 agents 形成此类策略的能力。在速通中，参与者竞相寻找在特定条件下完成电子游戏的最快方式，并在这一过程中发掘出有趣且非正统的玩法，而这些玩法要求对底层游戏机制进行深入理解并熟练掌握。我们推出 SPEEDRUNBENCH，这是一个在 9 款不同游戏中评估前沿 LLM agents 的基准。要在该基准上取得良好表现，agents 必须不断改进策略、反思自身表现、利用已获得的知识，并对长时间跨度的行动进行推理，从而解决一个日益困难的问题：比自己和其他所有人都更快。我们的实验表明，尽管前沿 agents 在简单的平台游戏中已接近人类世界纪录，但在实际资源预算下，它们在更长、更复杂的游戏中的表现仍落后于人类。这些结果表明，SPEEDRUNBENCH 不仅是研究 agents 策略形成能力的有用测试平台，也是一种不易饱和的评估指标，因为几乎总有更快的完成时间等待被发现。
18:23 arXiv cs.AI 79
开发用于临床任务（如医学问答（QA））的可靠模型，受到高质量专家标注训练数据有限的严重制约。严格的隐私要求，以及在资源受限的临床环境中难以使用大型开源语料库或专有云 API，进一步加剧了这一挑战。为应对这些障碍，我们提出 SAGE（Semantic Anchor-Guided Evolution），一种新型数据合成框架，使本地部署的小型模型能够生成高质量医学训练数据。SAGE 利用 MeSH 等轻量级、公开可用的分类体系作为语义锚点，引入结构化先验，从而有效引导并约束数据生成过程。SAGE 的核心在于迭代交替进行原子式（基于单个概念）和关联式（基于关系）的合成，从极少量种子数据中逐步构建训练数据。该方法无需大规模医学文档集合，也不依赖外部 API，为本地数据创建提供了实用解决方案。在多个医学问答基准上的大量实验表明，使用 SAGE 合成数据微调的模型，其表现始终优于采用自生成或传统基于文档范式训练的模型，凸显了医学 LLM 开发在数据效率和资源利用方面的切实提升。代码地址：https://github.com/DIaacKr/SAGE】【。
18:31 arXiv cs.AI 75
针对语音匿名化的攻击者 ASV 系统主要在英语环境下进行研究，其在多语言场景中的表现仍基本未得到探索。传统 ASV 研究表明，声学信息和上下文信息对于多语言说话人验证都十分重要。受此启发，我们探究这一结论是否同样适用于针对匿名化语音的攻击者 ASV。我们在多语言匿名化语音上评估了声学型和内容导向型攻击者，并构建了一个多语言语音转换数据集，以提升跨语言泛化能力。结果表明，攻击者的有效性取决于匿名化语音的语言学实用性。总体而言，声学型攻击者取得了更好的性能。然而，当语言信息得到较好保留时，与语音失真更严重的条件相比，内容导向型攻击者与声学型攻击者之间的性能差距会缩小。多语言语音转换数据集进一步提升了性能，并部分缩小了跨语言差距。这些发现凸显了建立更全面的攻击者建模与评估协议的必要性：评估时应同时考虑隐私性和实用性，而不应依赖单一的攻击策略\footnote{完整代码、预训练模型以及 MultiVC Dataset 链接见：https://github.com/monkeyDarefeen/DAST。
00:19 arXiv cs.AI 74
低秩适配（LoRA）的谱变体同时选择一个子空间以及冻结哪个因子。我们通过在预训练权重的顶部或底部奇异方向上冻结输入因子 A 或输出因子 B，并分别选择学习率，将这两种选择区分开来。在秩为 2 时，在所有四个具有完整比较结果的任务-模型组合中，冻结 A 的同谱带优势都大于任一因子内部的谱带差异。在涵盖格式化任务和 OpenBookQA 的五个组合中，冻结 B 的表现也比训练预算相当的不冻结因子 LoRA 低 8–18 个百分点。无论是在单 GPU、单模型的复现实验中，还是在单独的 MLP 模块组内，冻结 A 的优势都依然存在；这包括针对冻结 B 设置的可训练参数数量相同或更多的对照实验，以及在随机正交归一基上冻结 A 的实验。随着秩增加，因子之间的差异减弱。在秩为 16 的 OpenBookQA / Qwen2.5-1.5B 实验中，按照从 MiCA 论文迁移而来的统一训练方案，PEFT 的 MiCA 实现比训练预算相当的 LoRA 低 3.08 个百分点。训练得到的 oracle 输出子空间基本消除了低秩带来的性能差距；在三种方向随机种子下，部分预热带来的收益均再次出现。因子与谱带之间的排序仅具有描述性；一项近似的多重性审计削弱了此前若干显著性结论。这些结果拓展了已知的因子不对称性，展示了其幅度如何取决于谱位置、秩和训练条件。
00:25 arXiv cs.AI 79
许多机器学习应用涉及敏感数据，因此需要在差分隐私（DP）条件下进行训练。然而，DP 训练通常会降低模型效用。在某些情况下，先使用“公共”数据对模型进行预训练，再在敏感数据上通过 DP 进行微调，可以减小效用损失。但这一方法能否成功，取决于所选公共数据集与敏感数据的相关程度。我们提出了首个针对给定敏感下游任务，私下学习多个公共数据集混合比例并据此进行预训练的流程。我们的关键洞见是：通过私下学习一个低维线性模型，可以私下找到多个公共数据集的最佳混合比例。我们在用于 X 射线分类的 NIH 数据集和用于语言建模的 ENRON 电子邮件数据集上测试了该方法。应用我们的方法，为 NIH ChestX-ray14 数据集中的疾病寻找定制的 X 射线数据集混合比例进行预训练后，与基线相比，我们在不同隐私预算下将宏平均 AUC 最多提升了 0.037；在 ε=1 时，心脏肥大（Cardiomegaly）的相对 AUC 增益最高达到 22.8%。对于 ENRON 数据集上的 DP 训练，在 The Common Pile（一个公共领域文本数据集集合）的混合数据上进行预训练，相比基线混合数据将测试困惑度降低了 16%。
01:28 arXiv cs.AI 76
矩阵补全是从表格数据插补到因果推断等诸多问题的基础，但现有的表格基础模型将其视为逐条目预测，为每个目标重复输入上下文，并丢弃矩阵的二维结构。我们提出 MatrixFormer，这是一种预训练的矩阵原生 Transformer，只需一次前向传播即可为每个缺失条目预测完整的分布。MatrixFormer 完全基于不同缺失模式下的合成低秩矩阵和潜因子矩阵进行训练。在零样本设置下，使用相同的模型权重，MatrixFormer 在因果推断面板数据任务、语言模型基准分数补全、表格数据插补和推荐系统矩阵补全方面均取得了具有竞争力的性能。这些结果表明，MatrixFormer 可作为一种通用的矩阵补全基础模型。
01:59 arXiv cs.AI 85
本文研究训练数据如何在基础模型响应开头的 token 与随后出现的推理行为之间建立关联。首先，我们证明，固定特定的起始 token 线索，可以使基础模型在数学和代码任务上的表现达到与其经过强化学习（RL）训练的对应模型相当的水平。例如，线索 ".\n\nOkay" 可将 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升至 78%，而 "Alright," 则可将 Qwen3-14B 的准确率从 72% 提升至 87%。其次，RL 会提高这些线索出现的可能性，而固定这些线索则可以恢复其相对于基础模型所获得的大部分性能增益。第三，我们将 token 线索的推理效果追溯至训练数据。我们通过因果数据干预，将任意词语（例如 "chicken"）变成有效的推理线索，或移除现有线索的作用。类似的编辑可以使提示指令 "Think duck duck goose" 在诱发推理方面与 "Think step by step" 同样有效。我们还发现，不同线索所诱导的隐藏状态表示，与训练集中的不同文档类型存在相关性。最后，我们通过一个语言模型安全案例研究扩展了对 token 线索的研究，发现不同线索会诱发不同的拒答和服从行为，而这些行为分别对应于不同类型的训练数据。
12:40 arXiv cs.AI 76
我们提出并检验了一种语言模型表征理论，其中存在原子特征。我们的主要理论洞见是，在这种模型中，规模不断增大的稀疏字典（例如 SAEs）能够恢复训练数据中出现频率最高的原子特征的不断延长的前缀。这一“恢复原理”带来了三个可检验的预测：小型 SAEs 中的许多特征会被所有更大型的 SAEs 共享；在不同数据上训练的 SAEs 会共享在两者中都很常见的特征；而规模足够大的 SAEs 则会同时恢复父特征和子特征。与“SAE 特征不稳定，并且会随着规模增大而发生‘拆分’”这一传统观点相反，我们发现，在两个大型嵌入模型上训练的、规模从 512 到 131,072 不等的 SAEs 确实符合这些预测。从理论角度看，我们的结果表明，建立一种基于原子特征的表征科学理论具有很大潜力。从实践角度看，我们的结果表明，扩大 SAEs 的规模具有很大潜力。
13:01 arXiv cs.AI 77
科学设计通常需要同时满足多个目标和约束。预训练的掩码扩散模型为此类任务提供了生成基础，但对其进行微调以满足这些目标和约束会带来额外的训练成本，因此人们开始探索使用冻结模型在推理时进行引导。然而，这种引导面临两项挑战：通过与否的约束和黑盒奖励模型可能无法提供有用的梯度，而同时满足多个要求可能导致可行区域很小，使得在有限的推理预算内难以找到可行设计。为应对这些挑战，我们提出了 DiMOS，一种无需训练的多目标科学设计框架。DiMOS 利用候选补全的联合奖励，执行近似的 Doob 引导局部重采样，而无需奖励梯度。为高效分配计算资源，它采用预算高效的轨迹搜索，将计算集中于有希望的后续序列。在 DNA、蛋白质和 RNA 的六项任务中，DiMOS 在相当的生成时间下取得了最高的联合成功率；在 DNA 和蛋白质任务上，其性能最高达到最强基线的 1.98 倍，同时保持了较高的序列独特性和自然性。
13:11 arXiv cs.AI 81
图像和视频扩散模型会为每个区域分配相同的计算量，即使目标场景要求不同程度的细节。细节的空间分布通常可以在生成前预先判断，从而确定可以减少计算量的位置。我们提出 Level-of-Token（LoT）Diffusion，这是一种将这些信息转化为显式多分辨率 token 布局（Level-of-Token 布局）的框架，以实现自适应且高效的生成。Token 表示大小和形状各异的矩形图像块，在需要细节的区域分配更精细的 token，在其他区域则使用更粗粒度的 token。我们通过分块非对称流参数化以及多分辨率 token 嵌入，使预训练扩散 Transformer 适配 LoT 布局：在每个去噪步骤中保留全分辨率流预测，同时仅处理缩减后的 token 序列。LoT Diffusion 在保留预训练生成先验的同时，实现了布局自适应生成。我们展示了基于语义掩码、边界框、纹理方差和景深线索，以及智能体规划所生成布局的 LoT 效果。在图像和视频生成任务中，LoT 均实现了良好的质量—效率权衡，其显著的加速效果取决于布局的 token 预算。我们的项目网站位于 https://georgenakayama.github.io/lotdiffusion/】【。
13:34 arXiv cs.AI 79
智能体排行榜日益使用公开基准来评估系统，而这些基准的任务描述和包含解答的工件可能持续处于可访问状态。我们提出了一种测量优先的审计框架，根据支持污染声明所需的证据，对污染声明进行区分。该框架将需要不同证据的渠道分为三类：训练时暴露、评估时检索，以及流水线/脚手架泄漏。按照失败即关闭规则，每个渠道被编码为开放、部分开放、关闭或未知。在九种 Holistic Agent Leaderboard (HAL) 配置中，27项渠道评估无一被编码为关闭，但在其中四种配置中确认了相关事件。随后，我们将该框架的行为组件应用于 SWE-bench Verified 中一项已报告的文件定位差距，采用结果盲法、同一仓库匹配对照设计，并结合对称式提示泄漏筛查、成对且考虑仓库因素的不确定性分析，以及评分器验证，在 GPT-4.1 和 DeepSeek-V4-Flash 上进行评估。在经过对称筛查和成对完整性排除后保留的100对样本中，GPT-4.1 显示出按样本对加权的、与基准相关的 $+10.0$ 个百分点差距；但预先指定的成对自助法和事后仓库均衡分析所得的95\%区间均包含零，因此与基准相关的差距尚无定论。复现实验评分器未通过其验证门槛：相对于人类共识标签，无法为任一模型确立足够的评分器敏感度；而且 DeepSeek-V4-Flash 在正确金标准对比中的两次触发均为误报。在缺乏溯源证据、适当对照、对称式泄漏筛查和经过验证的评分器的情况下，不应提出更强的污染声明。研究结果无法证明训练数据成员关系、污染普遍程度或基准导致的分数膨胀。
14:28 arXiv cs.AI 83
图形用户界面（GUI）Agent 已成为跨多种应用自动化复杂数字工作流的一种前景广阔的范式。然而，训练能力强大且具备良好泛化性的 Agent，从根本上依赖海量、高保真的视觉-动作轨迹，而这类轨迹极难获取。人工演示难以规模化，而现有的 GUI 世界模型依赖文本描述或 HTML 渲染，舍弃了图标和布局样式等关键的像素级视觉细节。为解决这一问题，我们提出 Infinite-Dreamer，这是一种由像素级图像编辑世界模型驱动的、无需仿真的数据合成方法。通过将 GUI 状态转换视为图像编辑任务，我们利用视觉语言模型（VLMs）将动作引起的 UI 变化描述为结构化的差异文本（delta-text）。随后，我们对图像编辑骨干模型进行微调，以可控地合成逼真的屏幕截图转换。我们利用该模型生成单帧视觉鲁棒性数据和多步想象轨迹。为验证方法的有效性，我们仅使用合成数据对 Qwen3-VL 基线进行微调，得到 Infinite-Actor，并在 AndroidWorld、MobileWorld 和 AndroidControl-Curated 基准上进行评估。Infinite-Actor 在不同规模下均持续优于 Qwen3-VL 基线：Infinite-Actor-8B 将 AndroidWorld 的 Pass@1 提升了 4.45，并使 MobileWorld 的 Pass@3 成功率接近翻倍；Infinite-Actor-2B 则将 Pass@1 提升了 9.05。代码可在 https://github.com/swaydy-n/Infinite-Dreamer 获取。
14:30 arXiv cs.AI 83
高质量的早期儿童保育是决定儿童成长与发展的关键因素。由于数据集零散、不适合研究使用且受到隐私限制，儿童保育质量研究一直受到制约。我们推出了 CCQ（Child Care Quality），这是一个大规模、去标识化的数据集，用于人工智能与幼儿健康交叉领域的应用数据科学研究。CCQ 整合了来自美国 12 个州的 59,372 条儿童保育服务提供者记录，涵盖多种提供者类型和数据模式。为在保护隐私的同时确保研究实用性，我们实施了一套基于 LLM 的自动化整理流程，将各州原始记录进行匿名化、清洗和标准化，并形成两种互补的数据发布版本：清洗后的文本版和经过完整预处理的表格版。我们还在质量评级预测和重要特征分析任务上，对传统机器学习模型、表格基础模型和语言模型进行了基准测试。在州内，基于预处理表格的表格分类器表现最佳。在跨州场景中，零样本迁移的表现接近随机水平，但仅需少量目标州监督数据即可恢复州内表现的大部分水平；在其他州数据上进行预训练也能提升微调语言模型的性能。我们发布这两个数据集及其全部代码，以加速儿童保育质量领域的人工智能驱动研究，并最终改善儿童的健康与发展。
14:40 arXiv cs.AI 82
AI 长期以来的目标之一，是构建能够持续学习并自我改进的模型。对于经过后训练的模型，在新数据上进行监督微调（SFT）往往会导致泛化能力下降和灾难性遗忘。因此，传统观点认为，在线策略训练是持续学习的前提。然而在实践中，包含新知识或新能力的数据往往是离策略的。在线策略自蒸馏（OPSD）等方法试图将离策略数据转换为在线策略信号，以弥合这一差距，但研究表明，这可能导致推理能力崩溃。本文表明，在持续学习中，离策略合并优于 OPSD。我们首先展示，SFT 能够从新数据中学习到有用信号，但直接应用其更新会干扰已有能力。我们提出一种称为嫁接（grafting）的简单方案来减少这种干扰，该方案改变了更新的学习位置及其应用方式：（1）在更早的 donor checkpoint 上学习更新，理想情况下甚至在预训练结束之前学习，然后将权重更新应用于经过后训练的模型；（2）缩放权重更新，这等价于某种形式的模型合并；（3）当新数据分布与经过后训练的模型相距较远时，可选地屏蔽最敏感的更新方向。在包括以下情形的多种持续学习设置中：（1）从专家轨迹中进行蒸馏；（2）使用 STaR 和 Pedagogical RL 进行自我改进；（3）在预训练截止点之后注入知识；嫁接在新任务和旧任务性能上均帕累托支配 SFT 和 OPSD，同时避免了昂贵的在线策略采样。因此，我们的工作对“在线策略训练是基于 RL 训练模型进行持续学习的必要条件”这一观点提出了挑战。
01:26 arXiv cs.AI 78
线性辐射输运方程（RTE）构成了核工程、惯性约束聚变、医学成像和天体物理学中设计与分析任务所依赖的仿真基础，但要以工程所需的精度解析高维相空间，其成本仍然高昂，以至于设计优化、不确定性量化和参数扫描等外循环工作流在传统求解器上通常受到预算限制。神经代理模型有望通过在数千次下游查询之间摊销仿真成本来缓解这一瓶颈，但使代理模型在某一输运问题上实现高精度的架构选择和工程化归纳偏置，并不能直接迁移到不同的模型族。我们对两个参数规模匹配的神经代理模型架构进行了基准测试：具有物理注意力机制的 Transolver，以及多尺度图网络 Bi-Stride Multi-Scale MeshGraphNet（BSMS-MGN），将其作为二维线性 RTE 在经典 Lattice 和 Hohlraum 基准测试上最终时刻粒子浓度的端到端近似模型。针对傅里叶特征和区域加权训练损失的消融实验揭示了强烈依赖架构的归纳偏好，表明物理信息代理模型工作流中常见的设计选择必须针对每种架构重新审视，而不能在不同模型族之间直接照搬；同时，下游效用取决于其对具体 QoI 的敏感性，而不是单一的场级评分。本文同时发布模型训练方案、训练数据和评估流程，以支持结果复现、向相关输运问题迁移，以及将这些模型作为摊销前向模型组件纳入更大型的外循环仿真工作流中进行评估。
22:12 The Decoder 76
Aleph Alpha 发布了 Kolibri，这是一款德英双语混合专家模型，拥有 780 亿个参数，其中每个 token 约有 30 亿个参数处于激活状态。超过 21% 的训练数据为德语。该模型在德国和芬兰的 768 个 B200 GPU 上训练完成，模型权重以 Apache 2.0 许可证免费提供。文章《Aleph Alpha 发布 Kolibri，一款彰显欧洲 AI 主权理念的开放权重模型》最初发表于 The Decoder。
12:00 arXiv cs.LG 76
arXiv:2609.06079v3 公告类型：替换交叉 摘要：视觉-语言-动作（VLA）策略利用预训练视觉-语言模型（VLM）指导机器人控制中的动作生成。VLM 提供跨层演化的层次化视觉-语义表征，其内容从局部视觉几何逐渐发展为抽象且与语言对齐的语义；因此，不同操作任务可能需要不同的层表征组合。与此同时，动作模块维护着在动作计算过程中不断演化的中间表征，这些表征可能为后续决策提供有用信息。然而，现有的 VLA 接口在表征访问方面灵活性有限：VLM 信息通过为每个动作层固定分配层来暴露，而中间动作状态仅通过残差流隐式传递，无法被显式复用。我们提出 LayerRoute，一种动作条件表征路由接口，可实现对 VLM 层和动作表征的自适应访问。其中，Layer Mixture Router 动态构建缓存 VLM 表征的混合，Action-State Reread 则复用较早的动作表征。在多样化的仿真和真实世界基准测试中，LayerRoute 持续提升 StarVLA-$\pi$ 和 $\pi_{0.5}$ 的性能，在 LIBERO Long 上最高提升 7.2，同时仅增加 0.31% / 3.87% 的参数量。消融实验验证了动作条件层路由的有效性，而路由分析揭示了不同动作层和任务设置下具有结构性的分配模式。
12:00 arXiv cs.LG 78
arXiv:2608.21134v2 公告类型：replace-cross 摘要：由于对内存和计算资源的需求较高，将视觉语言模型（VLMs）部署到移动设备上颇具挑战。我们提出了一种用于在资源受限硬件上实现高效推理的 VLMs 量化框架。我们的方法结合了一套量化流程：利用模型自身生成训练数据，且无需访问训练配置；同时采用一种新颖的每参数 2.7 比特格式，支持在 Arm CPU 上高效执行。我们通过将 Llama 3.2 11B Vision Instruct 模型压缩至 3.7 GB（使用 8 比特激活值）验证了该方法，在一组标准视觉问答任务上仍保持了出色的性能。
12:00 arXiv cs.LG 78
arXiv:2608.11544v2 公告类型：replace-cross 摘要：在许多高风险领域，极端事件会带来重大后果，但从有限样本中学习支配这些事件的重尾分布仍然十分困难：人们关注的量由少数极端观测值决定，因此尾部相对于其重要性而言采样不足。即使是针对重尾分布设计的生成模型，在实践中也无法充分捕捉尾部区域。我们提出条件风险价值（Conditional Value-at-Risk，CVaR）惩罚的生成粒子算法（CVaR-GPA），这是一种不依赖尾部具体形式的算法，用于将生成模型微调至重尾目标分布。该算法构造为一种 Wasserstein 梯度流的时间离散化过程，其对应的泛函是带 Lipschitz 正则化的 KL 散度，并通过 CVaR 差异项进行惩罚。这样的梯度流可以从预训练模型的输出样本初始化，随后沿损失泛函的梯度下降方向传输这些样本，而无需访问预训练模型的内部架构。带 Lipschitz 正则化的 KL 散度只需对目标分布作出极少假设，而 CVaR 惩罚则使梯度流聚焦于尾部。CVaR 惩罚仅通过一个标量尾部统计量依赖于目标分布，从而以与维度无关的估计成本，使速度场在采样不足的尾部区域仍保持活跃。由此得到的速度场，以及传输映射的深度，会隐式地适应目标分布，无需针对目标分布进行专门修改。在四个目标分布上进行实验时，其中包括两个真实世界的高维数据集——Ohio River 流域的日流量（\(d=64\)）和 Fama-French 投资组合（\(d=25\)），其尾指数范围为 \(1.05\) 至 \(3.34\)——使用 CVaR-GPA 进行微调，在涵盖 GAN、扩散模型及其他生成流的七个预训练模型上，并采用同一组超参数，使全局误差和尾部误差的几何平均降幅分别达到 \(14.0 \times\) 和 \(9.8 \times\)。
12:00 arXiv cs.LG 81
arXiv:2606.18043v2 公告类型：replace-cross 摘要：通用机器人策略（例如视觉-语言-动作模型（VLAs）和世界-动作模型（WAMs））将强大的预训练骨干网络与富有表现力的生成式动作头相结合，后者通过在大规模机器人数据集上进行流匹配训练得到。尽管这些策略在机器人操作任务中展现出强劲的实证性能，但缺乏量化预测置信度以及检测动作可能不可靠情况的机制。这对其在非平稳环境中的现实部署构成了关键限制，因为模型不可避免地会遇到超出预训练分布的场景，并可能在毫无预警的情况下失效。为解决这一问题，我们利用小型模型集成中速度场分歧（VFD），推导出一种高效量化流匹配模型认识不确定性的方法。我们成功地将这一不确定性估计用于基于流的通用策略部署期间的故障检测和主动微调。对于后者，我们提出了SAVE——一种简单而有效的不确定性引导主动多任务微调方法，可减少将通用策略适配到新任务所需的高成本专家示范数量。我们在仿真环境和真实世界中，针对VLAs和一个WAM开展了实验。VFD能够产生校准效果更好的不确定性估计，可预测下游性能，并且相比现有方法以高出8个百分点的总体准确率检测故障。在三个真实世界任务中，在固定示范预算下，SAVE将最终平均成功率从39%提升至47%。我们的结果表明，使用VFD测量认识不确定性能够增强通用机器人策略的故障感知能力和适应能力。项目网站：tum-lsy.github.io/uq_generalist_policies。
12:00 arXiv cs.LG 82
arXiv:2510.07304v2 公告类型：替换交叉版本 摘要：机器学习（ML）模型会记忆并泄露训练数据，给数据所有者带来严重的隐私问题。采用差分隐私（DP）的训练算法正日益受到关注，被视为一种解决方案。然而，这些算法在每次训练迭代中添加噪声并降低准确率，限制了其在现实世界中的应用。为提高准确率，一类新方法添加经过精心设计的相关噪声，使噪声在迭代过程中相互抵消。我们对这些新机制进行了广泛的特征研究，并表明：当模型相对较大，或与硬件容量相比使用较大的嵌入表时，这些机制会产生不可忽略的开销。基于上述分析，我们提出了 Cocoon，一种采用相关噪声进行高效训练的框架。Cocoon 在 CPU、GPU 和内存扩展模块之间存储并处理大量噪声历史记录，针对稀疏嵌入表引入优化，并利用即将商业化的近内存处理（NMP）设备。在配备基于 FPGA 的 NMP 设备原型的真实系统上，Cocoon 将性能提升了 1.23–10.82 倍。
12:00 arXiv cs.LG 80
arXiv:2609.37731v2 公告类型：替换 摘要：激活空间和参数空间为模型计算提供了互补的视角。激活表示信息，而权重则读取、转换并写入这些信息。然而，现有的可解释性方法大多分别研究这两个空间，对于所表示的信息与参数层面计算之间的联系探索不足。我们提出激活支持的参数分解（Activation-Supported Parameter Decomposition，ASPD），对激活空间和参数空间进行联合分解，并将每个学习到的权重分量与其读取或写入的激活特征建立对应关系。这种对应关系利用模型内部的激活，对原本不唯一的参数分解施加约束；同时，内部重构目标为正在分析的权重矩阵提供局部学习信号。这些特性结合起来，使得在预训练大型语言模型中进行可扩展、可解释且可因果编辑的参数分解成为可能，我们在 Qwen-3-8B 上对此进行了展示。学习到的读写分量还可以组合成参数层面的机制电路。我们使用 ASPD 恢复经典 IOI 电路背后的机制，并追踪语义转换如何通过模型权重实现。
12:00 arXiv cs.LG 74
arXiv:2609.27248v2 公告类型：替换 摘要：下一个词元预测使自回归语言模型能够生成高度流畅的文本，但它只能通过序列分解间接表示全局结构。相比之下，高保真自编码器已成为图像生成中的标准基础模块，使生成模型能够在连续潜空间上运行；而文本尚缺乏同样忠实的连续表示。我们提出 LLMAE，通过将中间层的激活暴露为固定长度的潜在瓶颈，将预训练的仅解码器语言模型重新用作连续文本自编码器。LLMAE 通过结构化注意力掩码和 LoRA 适配实现了这一接口，同时利用原始 LLM 的生成先验。在两个骨干模型（270M Gemma 3 和 0.5B Qwen2.5）上，LLMAE 能够高准确度地重建最长 1024 个词元的序列，并逐字复现多达 97% 的文档。我们通过训练一个轻量级扩散模型展示了其下游应用价值：该模型能够直接在冻结的 LLMAE 潜空间中生成详细的图像描述。通过将文本映射到固定长度的连续潜空间，我们的方法为下游适配提供了有效基础，同时受益于原始 LLM 的流畅性。代码和模型可在 https://github.com/arkanath/LLMAE 获取。
12:00 arXiv cs.LG 83
arXiv:2609.20744v3 公告类型：替换 摘要：视频扩散模型在去噪过程中会反复处理长时空令牌序列，使注意力机制成为主要的计算瓶颈。线性注意力提供了颇具吸引力的替代方案，并已广泛应用于近期的大型语言模型中，但将其直接应用于视频模型，往往无法保留高质量生成所需的细粒度交互。我们提出 Video DeltaNet（VDN），将局部 Softmax 注意力与双向线性记忆相结合，以建模长程视频上下文。其线性分支引入了 Video Delta Attention（VDA），通过联合整合每一帧的空间令牌，每帧更新一次记忆。独立的输出投影和可学习门控机制用于校准两个分支，同时，分阶段的教师对齐方案逐步将这一新路径引入预训练模型。我们在 MiniMax H3 上实例化了 VDN，将这种混合机制应用于视频到视频的交互，同时保留 Softmax 以处理涉及文本或音频的交互。借助八步蒸馏和优化后的 SGLang 服务栈，VDN-H3 在八块 NVIDIA B200 GPU 上，仅用 6.70 秒即可完成 14.3 秒、768p 视频的 DiT 去噪；相比相同 GPU 数量下采用 50 步密集 H3 基线，实现了 14.5 倍加速。GitHub 代码见：https://github.com/OpenVDN/vdn-minimax-h3。模型权重见：https://huggingface.co/OpenVDN/vdn-minimax-h3
12:00 arXiv cs.LG 75
arXiv:2606.18537v2 公告类型：替换 摘要：人类常通过观察他人来获得新技能，因为观察到的行为能够隐含地揭示在环境中合理行动的方式。然而，从异质群体中获取的观察数据会引入相互冲突的行为信号，使人们难以判断哪些行为值得模仿。为应对这一挑战，我们提出了通用奖励推断与解耦（General Reward Inference and Disentanglement，GRID），这是一种社会学习方法，旨在从追求不同目标的异质示范者群体中提取普遍有用的行为。GRID通过信息瓶颈将每个智能体的奖励函数分解为通用奖励和特定奖励：前者刻画所有智能体共享的行为，后者刻画个体偏好与目标。仅基于通用奖励进行训练，形成了一种通用智能体预训练的新范式。该方法能够得到一个通用智能体，使其内化安全性和基本任务熟练度等环境中的普适能力，同时避免标准示范学习技术中常见的模式平均偏差。该通用智能体可作为下游任务微调的强先验，包括训练期间未出现过的偏好。我们在合成基函数分解、多智能体 Craftax、连续控制任务（MuJoCo Gym）以及自动驾驶模拟器（Highway-Env）上的实验表明，GRID能够以具有语义意义的方式成功解耦奖励结构，优于标准示范学习基线，并实现更高效、更稳定的专门化。
12:00 arXiv cs.LG 78
arXiv:2606.00230v2 发布类型：替换 摘要：Grokking 是一种神经网络在拟合训练数据很久之后才实现泛化的现象，过去主要在监督学习设置下经过多个训练轮次进行研究。相比之下，LLM 预训练涉及在未标注语料库上进行下一个词元预测，数据重复次数有限，且没有显式的训练集/验证集划分。为此，我们提出了一个基于曝光度的框架，用于研究 LLM 预训练期间类似 Grokking 的动态过程。我们以 BLiMP 最小对为评估基础，这些最小对提供了受控的语法对比。对于每个 BLiMP 最小对，我们识别出一个关键短语，即能够捕捉语法对比及相关现象所需上下文的最小连续跨度。将关键短语出现在预训练窗口中的样本分配到 proxy-train 划分，其余样本分配到 proxy-validation 划分。在五种语法现象中，我们观察到了延迟泛化。通过分析泛化前后的预训练检查点，我们发现，泛化后，语法概念向量对语法可接受性的预测能力更强，并且占据更高维的子空间。我们还发现，从关键词元指向相关上下文词元的注意力集中在少数几个注意力头上。
12:00 arXiv cs.LG 80
arXiv:2605.16358v2 公告类型：替换 摘要：大型语言模型（LLM）正越来越多地应用于现实世界的预测任务，但由于预训练数据污染以及自动化搜索中的前视信息泄露，对其真实预测能力的评估仍受到影响。现有基准要么依赖静态上下文，要么将评估限制在狭窄的环境中，要么未能审查辅助文本事件是否泄露未来信息。为建立严格的评估范式，我们提出 LEAF，这是首个面向事件增强预测任务的持续更新基准，涵盖趋势预测、事件预测和时间序列预测。LEAF 将递归检索智能体系统与双智能体交叉验证相结合，以收集全面、相关且时间对齐的辅助上下文。由 47 名领域专家对 500 项任务开展的全面审计表明，我们的流程将未来信息泄露率从 8.6% 降至 1.6%。通过在我们的基准上对 16 个前沿专有模型和开放权重模型进行广泛评估，我们表明，LLM 能够有效地从经过验证的事件中提取信号，从而提升趋势预测和事件预测的表现。
12:00 arXiv cs.LG 81
arXiv:2605.10247v2 公告类型：替换 摘要：将大型语言模型（LLM）应用于图结构数据，通常需要采用多步骤流程：先将文本节点属性压缩为单个标记，再由 GNN 进一步处理，从而丢弃其中大部分语义信息。我们提出 Graph Transformer Language Model（GTLM），使预训练 LLM 能够原生处理图拓扑结构，并彻底消除这一瓶颈。GTLM 将图感知注意力偏置直接注入 LLM 的注意力模块，相对于基础模型仅增加 0.015\% 的结构相关参数。训练时只更新结构参数以及基础模型上的 LoRA 适配器。我们证明，双向注意力前缀关于节点具有置换等变性；当不存在图结构时，GTLM 会精确退化为预训练模型。由于不依赖全局节点排序，GTLM 不会出现位置退化，也不会“在中间迷失”：图中针状信息的准确率从 1k 到 64k 个标记，以及超出训练长度 4 倍的范围内都保持稳定，而采用相同训练方式的扁平文本基线则性能崩溃。全面评估表明，在带文本属性的图基准、WebQSP 上的 GraphRAG 以及分子基准上，GTLM 达到或超过了领域专用的最先进模型；在 GraphQA 上，相较于强基线也取得了显著提升。我们进一步表明，GTLM 的注意力头能够隐式学习模拟消息传递，从而解释了其在算法任务上的优势。总体而言，这些结果表明，只需进行最小程度适配的预训练 LLM，就可以作为图学习的通用骨干模型。
12:00 arXiv cs.LG 75
arXiv:2605.05738v2 公告类型：替换 摘要：交通传感器网络会随着传感器的增加以及交通分布的变化而不断演化，而大多数预测模型都假设节点集合固定，并反复使用所有可用数据进行重新训练。我们提出了 CoMemNet，一种用于在不断演化的交通传感器网络上高效预测的持续记忆网络。CoMemNet 使用 Online 分支适应当前时段，并采用指数移动平均的 Target 分支作为稳定的特征参照。基于 Wasserstein 距离的漂移采样器比较各节点的 Online-Target 特征分布，并选择数量有限的、对漂移敏感的节点进行更新。轻量级的节点自适应时序记忆回放缓冲区（Node-Adaptive Temporal Memory Replay Buffer，TMRB-N）保留紧凑的时序状态，无需反复遍历所有历史训练数据。预测骨干网络不使用邻接矩阵；传感器邻接关系仅用于构建数据，并可选地将选定的更新节点扩展至规模有限的邻域。我们在三个多时段 PeMS 数据集上开展了实验，包括三随机种子评估、强静态重训练基线和持续学习基线、受控采样策略、持续学习指标、鲁棒性测试以及资源核算。结果表明，在有界的共享节点选择条件下，CoMemNet 能够保持稳定的预测精度并实现高效适应，在历史知识保留与当前时段预测性能之间取得更佳平衡。同时，随着演化网络不断扩展，与当前时段重训练基线相比，CoMemNet 展现出更明显的精度优势和累计训练时间优势。代码可在以下地址获取：https://meiwu5.github.io/CoMemNet。
12:00 arXiv cs.LG 77
arXiv:2604.04241v3 公告类型：替换 摘要：风险评分系统广泛应用于高风险领域，以辅助决策。然而，现有方法通常侧重于优化预测准确率或基于似然的标准，而这些目标可能与最大化效用这一主要目标并不一致。本文提出一种新型风险评分系统，直接在一系列决策阈值上优化净获益。该模型被表述为一个稀疏整数线性规划问题，从而能够构建具有整数系数的透明评分系统，有助于理解和实际应用。我们还建立了净获益、区分度与校准之间的基本关系。具体而言，我们推导了在固定阈值网格上评估的净获益曲线下面积与某个 ROC 泛函之间的界，并表明后处理可以在不降低该网格上净获益曲线下面积的情况下，使训练数据达到适度校准。我们在多个公开数据集以及一个大规模信用风险数据集上评估了所提出的方法。计算实验表明，我们的可解释方法能够在保持具有竞争力的区分度和校准性能的同时，有效实现较高的净获益。
12:00 arXiv cs.LG 73
arXiv:2602.09009v2 公告类型：替换 摘要：扩展网络深度一直是现代基础模型取得成功的核心驱动力之一，但近期研究表明，深层网络往往未得到充分利用。本文从优化角度重新审视加深神经网络的默认机制，即残差连接。严谨分析证明，残差连接的布局能够从根本上影响收敛行为，甚至导致收敛速度出现指数级差距。基于这一洞见，我们提出了自适应神经连接重新分配（ANCRe），这是一种具有理论依据且轻量级的框架，可根据数据对残差连接方式进行参数化和学习。ANCRe能够以可忽略的计算和内存开销（$<1\%$）自适应地重新分配残差连接，同时更有效地利用网络深度。在大型语言模型、扩散模型和深层ResNets的预训练中开展的大量数值测试表明，与传统残差连接相比，该方法能够持续加快收敛、提升性能并增强深度利用效率。
12:00 arXiv cs.LG 83
arXiv:2512.19905v3 公告类型：替换 摘要：近期大语言模型的发展表明，将相当一部分计算资源从训练阶段重新分配到推理阶段具有优势。然而，推理时扩展背后的原理尚未得到充分理解。本文引入了一种推理时扩展的可解析模型：采用奖励加权采样器的贝叶斯线性回归，其中奖励由线性模型确定，用于建模 LLM-as-a-Judge 场景。我们在高维条件下研究这一问题，此时确定性等价关系给出了后验预测均值和方差的闭式表达式。我们分析了训练数据从教师模型中采样时的泛化误差。我们抽取 k 个推理时样本，并根据作用于二次奖励的某一温度参数，通过 softmax 进行选择。当奖励与教师模型的差异不大时，随着推理时样本数 k 的增加，泛化误差单调下降。然而，能够优化推理时选择的具体奖励通常不同于教师模型。相反，严重的奖励误设会导致一个有限的最优 k，超过该值后，增加采样次数反而会提高泛化误差。对于固定的 k，存在一个最优采样温度。我们在使用额外的大语言模型作为评判者的大语言模型推理实验中验证了这些事实。在教师模型作为奖励的“best-of-k”极限下，我们从理论上证明泛化误差以 Θ(1/k^2) 的速率衰减，并通过极值理论确定其主导系数。这些公式划定了在何种情况下扩展推理时计算资源在理论上优于收集更多数据。最后，我们证明，随着任务难度增加，前述推理时计算的优势会减弱。
12:00 arXiv cs.LG 76
arXiv:2610.03650v1 公告类型：交叉领域 摘要：联邦学习（FL）是一种面向隐私的学习范式，使参与客户端能够在保持训练数据本地存储的同时协作进行模型训练。然而，它无法保证客户端提交的贡献符合策略，也无法保证聚合器正确处理获准的贡献。现有的可验证 FL 系统通常针对特定的 FL 设置、学习工作流和密码学构造定制验证规则，因此在不同网络拓扑、参与者角色和聚合语义之间的适用性受到限制。本文提出 PoCoFL，一种符合策略的联邦学习框架，将以下三个方面分离开来：（i）FL 类型；（ii）策略语义；以及（iii）密码学实现。我们给出了一种形式化方法，将客户端要求和聚合要求表示为依赖于策略的关系。客户端使用承诺和非交互式零知识证明来证明其贡献符合策略；聚合器则证明，所记录的获准贡献集合已按照所选聚合策略进行处理。我们通过四种形式化实例展示 PoCoFL：（i）原生联邦学习；（ii）持续联邦学习；（iii）个性化联邦学习；以及（iv）阈值加密联邦学习。我们评估了策略执行对原生、个性化和持续 FL 学习目标的影响。此外，我们还实现了这四种实例的概念验证版本，展示了 PoCoFL 的通用性和实际可行性。总体而言，这些结果表明，PoCoFL 能够表达复杂的策略表示，同时不受网络拓扑的限制。
12:00 arXiv cs.LG 76
arXiv:2610.03625v1 公告类型：cross 摘要：关系数据库是部署最广泛的结构化知识形式之一，而要以自然语言访问这些数据库，就需要将语言映射到模式实体和关系上，同时处理人们表达请求时固有的歧义。现有的合成 NL-to-SQL 数据生成方法大多忽略了这种歧义，生成的查询过于简化，无法让模型为现实世界结构化知识访问的复杂性做好准备。我们提出 FALCON，这是一个能够生成逼真的、具备歧义感知能力的 NL-to-SQL 数据的框架，其复杂程度可匹配具有挑战性的现实世界基准，同时借助紧凑型开源模型实现低成本生成。我们的方法结合保留字 SQL 播种和基于人物画像的提示，以生成结构复杂的查询；同时，基于对齐的过滤机制通过区分真正错误的示例与复杂但有效的查询来保留数据难度。人工评估证实，该方法在不同模型规模下都能保持稳定的高质量；生成的数据在 SQL 复杂度和自然语言丰富性方面均超过现有基准。按难度分层的分析表明，随着查询复杂度的增加，使用 FALCON 数据训练的模型相较于使用基线数据训练的模型，其性能优势也不断扩大，验证了该流程生成高难度训练数据的有效性。与少量现有基准数据结合时，混合训练能够恢复模型在简单查询上的性能，同时保留其在复杂查询上的优势。这种与模型和数据库无关的设计，使组织能够在本地生成高复杂度的 NL-to-SQL 训练数据，而无需依赖外部 API。
12:00 arXiv cs.LG 77
arXiv:2610.03483v1 公告类型：cross 摘要：我们提出了 AREX，这是一种面向预训练 Flow Matching 模型的无需训练采样器，利用目标均值和协方差捕捉采样动力学中可进行解析处理的部分。我们证明，矩匹配高斯目标的速度场是边际速度场的 $L^2$ 最优仿射近似。这一结果启发我们将学习到的动力学分解为：由前两个目标矩决定、贯穿整个采样路径的仿射分量，以及神经残差项。AREX 保留仿射分量，并使用显式矩阵值传播子对其进行积分。这样一来，我们只需对残差项进行积分。这不同于标量指数积分器，后者只能解析处理各向同性线性动力学。在图像生成和文本到图像生成任务中，AREX 始终能够在少步采样场景下提升样本保真度，且无需重新训练底层模型。
12:00 arXiv cs.LG 80
arXiv:2610.03389v1 发布类型：cross 摘要：视觉语言模型（VLM）会产生显著的推理成本，因为每个视觉 token 都要经过每个解码器层中的注意力投影和 MLP 投影，即使在许多深度位置并不需要针对特定 token 的视觉计算。我们提出 Patch-to-Prune（P2P），其受机制可解释性启发，是一种无需训练的框架，将激活修补从诊断工具转变为推理时的计算旁路机制。P2P 执行由验证引导的前向和后向层扫描，以识别解码器中可以在用户指定的精度容忍范围内，用固定的中性代理激活向量替代视觉 token 投影输出的区域。不同于传统的 token 剪枝方法，P2P 保留序列长度、token 顺序、位置信息、注意力掩码和残差路径，从而在不移除 token 或修改预训练模型权重的情况下剪枝计算。我们在来自 Qwen2.5-VL 和 LLaVA 系列的四个 VLM 上进行评估，涵盖七个多模态基准，并使用彼此完全不重叠的校准集、验证集和测试集划分。在 3% 的容忍度下，P2P 保留了约 94% 的稠密模型精度，同时将 FLOPs 降低了 55%。除效率提升之外，我们的逐层分析表明，VLM 中的视觉处理并非均匀分布在解码器深度上：早期和晚期层通常只需要很少的特定 token 视觉计算，而中间层似乎执行了大部分与任务相关的视觉整合，使后续推理能够主要依赖已经嵌入共享残差表示和文本表示中的视觉信息。因此，P2P 既是一个高效的推理框架，也是一个用于理解 VLM 中视觉信息处理因果机制的窗口。
12:00 arXiv cs.LG 74
arXiv:2610.03290v1 公告类型：cross 摘要：肺部超声（LUS）对于基层医疗层面的结核病（TB）筛查颇具吸引力，但有标注队列规模较小。超声心动图不存在这一限制，同时与LUS共享相同的底层超声成像物理、信号处理方式和B模式外观。我们探讨，在这一高资源超声领域上预训练的编码器，是否能够提取出在低资源领域中仍然可用的表征。我们仅改变编码器，涵盖三个架构系列的十七个编码器。在这些编码器中，针对通用视频进行预训练的潜变量预测视频编码器（V-JEPA2-L）与其超声心动图对应版本（EchoJEPA-L）仅在预训练语料上存在差异。对这些编码器进行选择并不能解决分类问题：整个编码器家族的性能差异为2.50个百分点，而测量分辨率为2.71个百分点。真正改变任务表现的是特征条件化。对编码器与分类器之间的特征进行标准化后，十七个编码器的平均性能均提升了+1.23个百分点，p=1.5×10^-5。在留出测试集上，开发集各折中选出的每个编码器，其受试者工作特征曲线下面积（AUROC）均高于基线系统，最高提升+2.57个百分点；在90%敏感度下，特异度达到79.3%，而基线为60.3%。预先指定的对比，即EchoJEPA-L与V-JEPA2-L之间的对比，差异为-0.16个百分点，p=0.926。因此，我们没有发现证据表明，仅凭共享的超声物理特性，就能使超声心动图成为比通用视频更高效的预训练语料库；即使存在优势，其幅度也小于该队列所能分辨的程度。不过，视频编码器接收的是复制后的静态图像，因此无法区分这一无效应结果究竟反映了预训练领域的影响，还是视频编码器应用于静态帧所导致的结果。限制因素是有标注队列，而非编码器。
12:00 arXiv cs.LG 72
arXiv:2610.03201v1 公告类型：cross 摘要：Gaussian Processes（GP）是对函数关系进行建模和量化不确定性的强大工具。然而，它们要求实践者做出多项设计决策，例如选择核函数和观测模型。次优选择可能产生设定错误的模型，无法捕捉潜在的数据生成过程。我们提出 Predictively Oriented Gaussian Processes（PrO-GPs），将预测不确定性作为主要推断目标，为标准 GP 提供一种稳健的替代方案。尽管对于非参数模型而言，直接计算 PrO 后验在计算上是不可行的，但我们推导出一种简化形式和实用的采样方案，以实现高效计算。通过合成数据和真实数据实验，我们表明，在模型设定错误的情况下，与标准 GP 方法相比，PrO-GPs 能够产生校准性更好的预测分布。
12:00 arXiv cs.LG 79
arXiv:2610.03098v1 公告类型：cross 摘要：密码子优化是通过选择同义密码子来提高 mRNA 翻译效率和蛋白质表达水平的过程，对于治疗性蛋白质生产和 mRNA 疫苗至关重要，但仍然是一个难题。其设计空间是离散且组合规模庞大的，因而无法采用基于梯度的方法；现有工具则依赖启发式代理指标（例如密码子适应指数或 GC 含量），难以准确反映真实的表达水平。我们提出潜在空间密码子优化（LSCO），通过将序列映射到预训练 mRNA 语言模型的潜在空间，将这一离散问题重新表述为连续问题，从而实现高效的基于梯度的搜索。LSCO 结合了四个组成部分：来自不确定性感知预测器的数据驱动表达目标、用于结构稳定性的最小自由能正则项、来自蛋白质到密码子反向翻译模型的自然性先验，以及用于确保蛋白质保真度的约束解码。在一个真实世界的湿实验抗体表达数据集上，与简单的基于频率的方法以及现代深度生成基线相比，LSCO 在预测表达水平方面表现更优，同时保持了适宜的生物物理性质。
12:00 arXiv cs.LG 72
arXiv:2610.02918v1 公告类型：cross 摘要：爵士钢琴家会形成鲜明的个人特征，经验丰富的听众通常能在几秒内辨认出来，但这种识别所依据的特征却难以用形式化方式描述。我们通过一个预训练的符号音乐 Transformer 研究爵士钢琴家的风格，结果表明，其学习到的表征已经能够充分编码钢琴家的身份信息，从而在两个基准数据集上实现高准确率分类。随后，我们在该 Transformer 中加入针对学习到的钢琴家身份嵌入的交叉注意力，使其能够根据特定艺术家的风格生成音乐。两种评估协议证实了生成器捕捉到了有意义的风格结构：滑动窗口分类器能够持续将条件生成的续写归因于正确的艺术家，准确率远高于无条件基线；而完全使用合成生成结果训练的分类器，能够在 12 个类别中识别真实钢琴家，片段级准确率达到 87%，歌曲级准确率达到 95%。最后，我们重新利用该分类器定位一段演奏中最具特征性的时刻，揭示出区分每位钢琴家音乐表达的具体音乐手势。
12:00 arXiv cs.LG 79
arXiv:2610.02749v1 公告类型：cross 摘要：高效的向量检索既需要一种支持通过向量相似度检索正确文档的语料库几何结构，也需要一个能够将查询嵌入到嵌入空间中、使其靠近目标文档的查询编码器。近期研究从实现 n 个文档的所有 top-$k$ 答案集合所需的最小嵌入维度这一角度，考察了几何容量。我们研究了一种不同的几何容量概念——对于固定文档索引所能达到的最大召回率，并探讨学习得到的查询编码器能否达到这一上限。在多个真实世界的检索基准上，我们表明，单向量查询编码器的检索质量往往远低于文档索引所能支持的水平。受此观察启发，我们从理论上证明了学习查询编码器可能在计算上非常困难。具体而言，我们构造了一个检索任务，该任务满足：(1) 存在一个具有完美召回率的查询编码器，并且它可以由一个小型单隐藏层 ReLU 网络表示；但 (2) 任意统计查询学习器——这类学习器通过聚合统计量访问训练数据——若要取得相对于随机基线 $k/n$ 的非平凡召回率优势，就需要进行指数数量的统计查询。综合来看，我们的结果表明，检索基准中存在大量尚未实现的几何容量，并确立了查询编码器的可学习性可能是基于嵌入的检索所面临的一项障碍。
12:00 arXiv cs.LG 78
arXiv:2610.02718v1 公告类型：cross 摘要：诸如 CLIP 的视觉语言模型展现出强大的语义泛化能力，但在细粒度视觉感知方面仍存在局限。近期工作 KUEA 提出了一种自然的解决方案：在以视觉为中心的 DINOv2 的监督下对图像编码器进行微调，使其核矩阵逐元素对齐，同时对嵌入进行正则化，使其保持接近预训练视觉编码器，从而保留 CLIP 中的图像—文本语义。然而，我们发现，削弱与 DINOv2 的对齐损失的作用并不一定会降低其细粒度视觉性能，这表明核矩阵差异可能不足以进一步增强视觉表征，也促使我们重新审视对齐形式。在本文中，我们通过 Kernel Canonical Correlation Analysis（KCCA）提出了一种刻画特征子空间上表征对齐的新视角，该方法最大化投影之间的相关性。在优化方面，我们基于 KKT 条件推导出一种高效的端到端训练方案，避免了 KCCA 中的特征值问题。进一步地，我们将方法扩展为三视图形式，即 3vKCCA，在统一的优化框架下纳入预训练文本编码器的投影，以实现联合对齐。在 ImageNet-1K 上使用 CLIP ViT-L/14 时，我们的 3vKCCA 将 MMVP-VLM 准确率从 17.8 提升至 25.9，大幅超越现有方法，同时保持了零样本图像—文本检索性能。
12:00 arXiv cs.LG 78
arXiv:2610.02711v1 公告类型：cross 摘要：基于腕戴式加速度计的人类活动识别（HAR）日益用于健康与行为追踪。然而，大多数可穿戴设备 HAR 模型都是在以年轻成年人为主的数据集上开发和评估的，因此基准测试中的进步能否推广到不同年龄群体仍不明确。在本研究中，我们利用精心标注的自由生活老年人 HAR 数据集 MyMove（平均年龄为 71 岁），在留一被试交叉验证和跨数据集迁移两种设置下，评估深度学习架构与训练机制。我们发现，在年轻成年人基准数据集上的性能提升无法同等程度地迁移到从老年人采集的数据上，从而形成持续存在且往往不断扩大的性能差距。然而，更丰富的表征，尤其是在年龄多样化的 UK Biobank 数据集上预训练的冻结自监督特征，能够显著提升老年人数据上的性能，并持续缩小性能差距；其对年轻成年人性能的影响代价较小，但差异仍然存在。这些发现表明，仅凭基准测试收益和架构扩展，无法完整反映可穿戴设备 HAR 的进展；更广泛的进步可能需要能够更好捕捉人群多样性的表征，同时结合针对个体运动模式与日常活动规律的个性化适配。
12:00 arXiv cs.LG 77
arXiv:2610.02665v1 发布类型：cross 摘要：尽管离散扩散语言模型（dLM）在快速并行解码方面取得了成功，但其非平滑的高维空间阻碍了推理过程的轨迹引导与推理加速。为解决这一问题，我们提出了 Sigma——首个大规模（3B/8B）连续 dLM，其构建于可引导的低维 ODE/SDE 潜在轨迹之上。Sigma 通过似然优化以分块方式进行训练，在学习最优嵌入几何结构的同时，对经高斯噪声扰动的词元嵌入进行联合去噪。为加速训练，Sigma 利用自回归（AR）模型的预训练权重进行热启动。在推理阶段，我们发现无分类器引导和分数温度对于高保真推理与代码生成至关重要。在针对最先进离散模型（掩码 dLM 和 AR 基线模型）开展的全面数学推理与代码评测中，Sigma 在预训练后于标准基准（如 GSM8K、Minerva、HumanEval、MBPP）上取得了与离散模型相当的性能，并在监督微调后于具有挑战性的推理任务（如 MATH-500、AIME）上达到了同等水平。除了性能相当之外，我们还发现了连续 dLM 所特有的关键结构性质：（i）嵌入空间中的引导能够有效控制质量与多样性之间的权衡，从而取得出色的 pass@k 性能；（ii）连续轨迹支持在低 NFE 条件下实现平滑退化，并促进高效蒸馏。这些结果表明，连续 dLM 是一种很有前景的高效语言生成范式。
12:00 arXiv cs.LG 75
arXiv:2610.02578v1 公告类型：cross 摘要：决定购买外部数据或参与协作学习时，必须判断额外数据带来的预测性能提升是否足以抵消其成本。这一问题面临多项挑战：（i）决策通常只能依赖公开可用的聚合统计量，而非个体层面的数据；（ii）协变量偏移和模型偏移可能导致负迁移，使额外数据非但没有提升性能，反而使其恶化；（iii）如果数据具有敏感性，则需要通过注入噪声进行隐私化处理，而这也可能抵消更大样本量所带来的收益。本文通过具有多个异质数据源的高维回归和加权岭估计量，对数据集选择问题进行建模。我们的方法仅使用汇总统计量，并在$\rho$-零集中差分隐私意义下，为仅保护标签隐私或同时保护特征和标签隐私提供隐私保证。本文的主要技术贡献是给出测试误差的一个确定性等价表达式，该表达式刻画了样本量、协方差结构、模型偏移、正则化和隐私噪声之间的相互作用。我们的理论能够优化超参数（权重和岭正则化参数），更广泛地说，还能在无需访问数据、仅依赖总体层面量的情况下，判断何时使用隐私保护的外部数据是有益的。我们通过在合成数据集和真实世界数据集上的实验，支持了这一为隐私保护迁移学习提供理论上易于处理基础的方法。
12:00 arXiv cs.LG 71
arXiv:2610.02567v1 公告类型：cross 摘要：扩散 Transformer（DiT）能够根据文本和图像条件生成高保真图像，但其输出具有较大的方差，并且对目标结果的忠实度在很大程度上取决于条件的提供方式。我们提出 DAGS，这是一种轻量级、无注意力、解耦的外观与几何条件方案，可引导冻结的图像 DiT 生成高保真、高忠实度且能够独立控制的渲染结果。两个小型卷积编码器每帧仅计算一次条件特征，并将其作为学习得到的逐层逐元素残差注入图像 token，从而避免通过注意力堆叠条件所带来的二次计算成本。由于控制和时间处理均位于冻结的骨干网络之外，我们得以保留其庞大的预训练先验，并消除骨干网络过拟合的风险。我们进一步加入一个小型循环光照稳定器，以及一个无需训练的时间引导项；二者结合我们的条件机制，将逐帧图像模型提升为流式渲染器。DAGS 仅需路径追踪一小部分的计算量，即可生成可控的高质量渲染结果；但它并非实时方法，而是在计算量与可控性、质量之间进行权衡。在匹配的 1-spp + G-buffer 输入上，逐帧 DAGS 相比实时去噪器 Intel OIDN 和扩散渲染器 RGB<->X，重建 PSNR 分别提升 +8.6 dB / +10.1 dB；同时，在感知时间稳定性方面（temporal-LPIPS 闪烁度），其表现提升了 2.5 至 8 倍。
12:00 arXiv cs.LG 80
arXiv:2610.02538v1 公告类型：交叉收录 摘要：推理时控制无需重新训练，即可引导预训练生成模型趋向目标分布。我们研究倾斜目标分布 $\pi_0\propto G_0\,p_0$，其中 $p_0$ 是采样器的输出分布，$G_0$ 是可求值的重加权函数。现有方法依赖于采用序贯蒙特卡洛（SMC）的序贯退火，或采用副本交换（RE）的并行退火。序贯控制是精确的，但需要大量粒子；而目前尚无精确的并行控制方法：现有 RE 校正对难以求解的时间反演进行近似，因此存在偏差。我们提出基于副本交换的精确非平衡控制（ENCORE），这是首个精确的并行控制方法。每个副本都存储其生成轨迹，因此向上移动只需截断轨迹，完全无需模拟难以求解的时间反演。我们证明了目标分布的不变性，并表明所得动力学等价于以精确时间反演作为前向提议的非平衡副本交换动力学。在正则性条件下，我们的扩散分析表明，若不加引导，序贯控制和并行控制都会随着时间离散化的细化而变得不稳定；而带引导的提议则保持稳定，并提供用于调整调度方案和计算预算的诊断指标。在合成目标分布、生物分子的 Boltzmann 采样和图像生成任务中，ENCORE 在准确性和多样性方面均具有竞争力，对采样器扰动保持稳健，并且适用于现有 RE 校正无法应用的蒸馏采样器。
12:00 arXiv cs.LG 76
arXiv:2610.02339v1 发布类型：cross 摘要：即使单个回合效率低下或未能成功，机器人演示中仍可能包含有用的行为。轨迹拼接提供了一种将这些行为组合起来、生成改进训练数据的方法，但在高维机器人数据中，识别有用的连接并验证其可行性十分困难，因为许多已有方法依赖低维状态表示。我们提出 NEEDLE，这是一种离线数据增强算法，通过在高维机器人演示中的已记录观测之间添加简短且经过验证的动作桥接，来应对这些挑战。首先，NEEDLE 仅使用 RGB 图像、本体感知信息和回合级结果，无需新的环境交互或特权对象状态，即可识别并创建能够绕过次优绕路、扩大动作覆盖范围的连接，并利用失败轨迹增强原始数据集。随后，我们提出一种采样技术，将被接受的桥接纳入策略训练，而无需合成中间图像或丢弃原始演示，使策略能够学习替代动作，同时保留原始数据集的覆盖范围。在真实机器人任务中，NEEDLE 在每项任务上的成功率都超过最强基线，平均提升 21 个百分点。视频和补充材料见 https://needle-work.github.io/。
12:00 arXiv cs.LG 83
arXiv:2610.02320v1 公告类型：cross 摘要：计算机使用代理需要在复杂的桌面场景中可靠地定位操作目标，因为多个应用程序、相互重叠的窗口以及视觉上相似的控件会争夺注意力。现有训练数据很少将此类场景与密集标注配对，也很少以可控方式改变这些场景。我们提出 DeskForge，这是一种可控的桌面环境，通过组合并探索真实应用程序，为计算机使用代理生成大规模监督数据。该环境能够改变应用程序状态、内容、窗口布局、外观和分辨率，并将屏幕截图、可访问性树和窗口几何信息融合为密集的元素标注，同时记录每次执行操作的结果。借助该环境，我们构建了 DeskForge-1M，这是一个包含 120 万条已标注桌面观测和 1.597 亿个元素实例的语料库。我们从 DeskForge-1M 中抽取 20 万个定位示例，用于微调四个视觉语言模型。四个模型在留出的桌面条件下以及全部五个外部 GUI 定位基准测试中均得到提升；对于 Qwen3.5-4B，其在 ScreenSpot-Pro 上的准确率提高了 11.51 个百分点，在 OSWorld-G 上提高了 10.11 个百分点。这些提升也转化为长时程任务完成能力的提升：在固定规划器下，微调后的操作模型能够完成更多 WebArena-Infinity 和 OpenApps 任务，其中 Qwen3.5-4B 分别将完成数量从 119 个任务中的 31 个提升至 50 个，以及从 100 个任务中的 3 个提升至 15 个。结果表明，对真实桌面环境进行可控组合能够为提升 GUI 定位能力和长时程计算机使用能力提供一种可扩展的监督来源。框架代码、数据集和微调后的模型可从项目页面获取：https://saidgurbuz.github.io/deskforge/
12:00 arXiv cs.LG 78
arXiv:2610.03702v1 公告类型：new 摘要：后训练数据的选择会显著影响大语言模型的下游性能。基于梯度的数据选择是一种广受欢迎的方法，它根据训练数据的梯度与小规模验证集梯度的对齐程度对训练数据进行排序。然而，使用全参数梯度进行排序需要对每个样本执行代价高昂的反向传播，使得在大规模候选数据池上进行计算变得难以实现。这引出了一个自然的问题：我们能否以更低的成本近似全梯度特征？我们发现，输出层梯度就足以实现有效的数据选择，同时只需执行成本更低的前向传播。我们将这一方法实现为LESSER，这是一个可直接替换选择方法的封装器：在保持下游任务中全梯度性能的同时，它将SFT基准上的特征提取FLOP成本降低了$9.7\times$，并将RL基准上的成本降低了$3.0\times$。经验结果表明，即使输出层梯度与全梯度对单个样本的排序不同，它们所选择的数据批次仍具有对齐的梯度。
12:00 arXiv cs.LG 78
arXiv:2610.03679v1 公告类型：新 摘要：细胞、生物体和流体的动力学通常被建模为随时间演化的概率分布。要从非配对快照中重建并外推这种演化过程，需要对其潜在过程作出假设。Wasserstein 梯度流是一种常见选择，但无法描述守恒动力学或周期性动力学。Wasserstein 空间中的拉格朗日力学可以同时涵盖这两类动力学，但现有学习方法都基于模拟：它们在每个训练步骤中运行数值求解器，因此训练成本高昂。我们提出 Double-Stitch，一种无需模拟的方法，通过惩罚沿学习得到的群体轨迹计算的运动方程残差来学习这类力学。我们从 Clebsch 变分原理推导出该方程，该原理不要求速度为梯度场，并证明当且仅当方程成立时，残差才会精确为零。我们在合成数据、单细胞数据集和海洋涡旋数据集上测试了 Double-Stitch，发现其在大多数任务上达到或优于梯度流方法和基于模拟的 WLM，同时训练速度比 WLM 快 $4$-$14$ 倍。我们在 https://github.com/BasisResearch/stitching 提供了 Double-Stitch 的 JAX 实现。
12:00 arXiv cs.LG 82
arXiv:2610.03558v1 公告类型：新 摘要：Cephalonauts One 是一个全脑 3 特斯拉（3T）功能性磁共振成像（fMRI）数据集，记录了受试者听取音频播客时的脑活动。三名健康受试者接受了多次扫描，每次扫描包括五个 15 分钟的运行段，同时听取以其母语播出的播客。每名受试者拥有 30 小时的 fMRI 数据，使得该数据集成为目前使用自然语音刺激的最深度 fMRI 数据集。本数据集将脑活动与相应的播客音频、文字稿标注以及派生的刺激嵌入相匹配。此外，我们提出了一项脑解码基准测试，将任务定义为音频片段检索：给定来自留出扫描时段的 fMRI 活动，解码器必须从候选片段中识别出与其时间对齐的播客音频片段。我们为该任务提供了标准化的数据划分、评估指标和基线解码器。最后，扩展性分析表明，随着每名受试者训练数据量的增加，解码性能持续提升。
12:00 arXiv cs.LG 74
arXiv:2610.03546v1 公告类型：新 摘要：EEG 基础模型（EFM）能够从大规模 EEG 数据中学习可复用知识，而许多 EEG 记录还包含伴随的生理信号，这些信号可提供超越纯 EEG 接口的互补信息。所面临的挑战是，在通过无标签目标数据推断出的适配过程中，将预训练知识保留下来，同时将 EFM 扩展到异构多模态记录。我们提出 ZeroMAG，一种零样本多模态适配器生成框架，利用无标签目标记录扩展冻结的 EEG 编码器和预测头，无需目标标签或目标侧优化。在 ZeroMAG 流程中，目标数据集完全不参与任何模型训练和模型选择。ZeroMAG 围绕一个配置无关的适配器组织伴随模态，从无标签记录和任务上下文中构建模态—受试者—任务条件，并在从源适配器中学习得到的函数约束潜在空间内生成适配器权重。在六个留出的目标数据集和三个 EFM 骨干模型上，与仅使用 EEG 的推理相比，ZeroMAG 将平衡准确率提升了 7.22 个百分点；与直接权重回归相比，提升了 4.89 个百分点；与有监督多模态适配相比，平均差距仅为 0.50 个百分点。消融实验进一步表明，从表示学习或条件生成中移除函数监督都会导致生成适配器的性能下降，证实了这两个组件各自的贡献。
12:00 arXiv cs.LG 82
arXiv:2610.03529v1 公告类型：新增 摘要：蒸馏已成为大语言模型训练的核心基本操作，但其性质尚未得到充分理解。我们从熵的角度出发，研究学生模型的熵如何取决于定义蒸馏目标的数据和散度。我们证明，前向 KL 会使学生模型的熵高于教师模型的熵。由于交叉熵训练是一个特例，这一结论给出了一个恒等式，我们在预训练和有监督微调中对其进行了定量验证。其他散度则没有这样的保证：反向 KL 会降低熵，直到学生模型与教师模型之间的差距过大；而在二者之间进行插值，会使熵在训练早期平滑变化，却在收敛时发生突变。基于策略的蒸馏具有更低的熵，其原因来自 token 级别的反向 KL，而不是基于策略的采样。因此，散度充当了一种隐式熵正则化器，其作用在自蒸馏中最为明显：随着基于特权信息的条件化使熵降低，表现最佳的散度超参数正是那些能够对此进行补偿的超参数。
12:00 arXiv cs.LG 80
arXiv:2610.03503v1 公告类型：新 摘要：无需训练的后验采样方法，也称为 Plug-and-Play 方法，利用预训练的无条件扩散模型或流匹配模型来解决逆问题。现有大多数方法依赖引导权重，在每个时间步平衡来自无条件得分网络或速度网络的先验信息与测量一致性，但这些权重的调节通常未得到讨论，很大程度上依赖启发式方法。我们提出了一种简单且有理论依据的离线策略，用于自动调节这些引导权重。我们的关键观察是：在每个时间步，对于扩散模型，其条件去噪得分匹配目标是一个最小二乘目标；对于流匹配模型，其条件流匹配目标同样是一个最小二乘目标。因此，当条件预测表示为无条件网络输出与测量引导项的加权和时，对这些权重进行优化便可归结为一个二维线性最小二乘问题。对于给定的测量算子、噪声水平和采样器，只需一个小批量的采样轨迹，即可离线优化得到随时间变化的引导权重，无需重新训练或微调预训练生成模型。结合标准的基于 Tweedie 的测量一致性项后，我们的方法能够改进后验采样，并在基于扩散和流匹配的方法中实现最先进的重建性能。此外，优化后的引导权重使扩散采样器能够将采样步数从 1000 步减少到 50 步，同时不会显著降低重建质量。代码将公开。
12:00 arXiv cs.LG 86
arXiv:2610.03500v1 公告类型：new 摘要：深度表格生成模型通常在包含数万行的数据集上进行基准测试，而临床数据集往往只有数百行。我们进行了预注册的规模梯度基准测试，以找出这两个场景开始分化的临界点：从8个公开数据集中分别抽取200至20,000行训练数据，使用7种生成器（独立边际分布、高斯 copula、SMOTE、无条件 SMOTE、CTGAN、TVAE、TabDDPM），采用固定的20次试验调参预算和5个评估随机种子；此外，还使用4个原生规模较小的临床数据集进行真实规模测试，总计完成2,220次预先承诺的运行。主要指标是在合成数据上训练、在真实数据上测试的固定分类器的 AUROC。在24个（数据集，深度模型）组合中的23个组合里，无论训练规模如何，在我们测量的任何规模下，深度模型都从未以超过随机种子噪声的幅度胜过最佳简单基线。最佳基线在49个（数据集，规模）单元格中的40个获胜。我们预注册的预测认为，深度模型在小规模数据上的排名会不稳定；这一预测被证伪：在低于5,000行的相邻规模梯级之间，平均 Kendall tau 为0.806，高于我们设定的0.8阈值，而且稳定性在最小规模时最高，而不是最低。有一点限制适用于上述全部结果：在81%的单元格中，排名前两种方法之间的差距小于不同随机种子之间的变化。最后，原生小规模临床数据集上的方法排名，与从大型数据集中抽样得到的数据上的排名仅有中等程度的一致性（平均 tau 为0.57至0.64），这对能否用抽样后的大型数据集代表小型数据集提出了质疑。全部2,220个结果文件、预注册文件及其哈希值，以及能够根据这些文件重新生成每一幅图和每一个数值的代码，均已公开。
12:00 arXiv cs.LG 75
arXiv:2610.03454v1 公告类型：新 摘要：多模态、高维学习领域的最新进展，使基础模型能够处理异构的大规模数据。然而，在测试时获取全部特征或模态的成本可能高得令人难以承受，而且往往存在冗余。因此，按顺序选择具有信息量的模态至关重要；但当下游任务或预测目标未知时，这一过程颇具挑战。为此，我们提出 ECHO-$k$，一种与任务无关的自监督模态获取学习原则：利用深度模型内部的预训练表示（例如来自基础模型的表示）作为代理目标，以概括跨模态信息。我们在线性化的理想设定下给出了理论保证，并据此提出用于顺序模态选择的强化学习（RL）策略。在与任务无关且无标签的获取基线中，ECHO-$k$ 在多种基础模型后端上始终提升了预算约束下的下游性能。我们的方法为成本感知的测试时部署提供了一条有理论依据的路径，对于任何测量成本高昂、时间受限且下游任务事先未知的多模态系统，都具有重要意义。
12:00 arXiv cs.LG 72
arXiv:2610.03452v1 公告类型：新 摘要：面向时间序列数据的因果表示学习旨在从观测数据中识别潜在状态及其因果关系。在这一设定下，一个重要挑战是：在考虑时间序列数据非平稳性的同时，既要建模跨观测区间的滞后因果关系，也要建模在一个区间内表现为即时关系的更快因果效应。然而，能够联合处理这些因果关系与非平稳性的方法仍然十分有限。为弥补这一空白，我们利用一个与转移噪声分布变化相关的观测辅助变量（例如时间或条件标签），建立了识别潜在状态的充分条件，使其可确定到分量置换和逐分量可逆变换的范围内；同时，也能将其即时和滞后因果结构识别到相同的置换范围内。在此基础上，我们提出 iCReN，这是一个利用离散或连续辅助变量进行对比学习的框架，用于学习潜在表示并估计其即时和滞后因果结构。实验表明，该方法能够在合成数据上准确恢复潜在状态以及即时和滞后因果结构，并且在真实世界数据上，所学习的表示对下游预测具有实用价值。
12:00 arXiv cs.LG 84
arXiv:2610.03432v1 公告类型：新 摘要：在线数据选择通过在每个批次中选取最有价值的候选样本进行训练，已被证明能够显著提升 LLM 预训练的效率。由于候选样本的价值是通过其实际产生的模型更新来体现的，因此，具有原则性的数据选择应当考虑优化器步骤，因为优化器会在更新模型参数之前重新塑造原始梯度。我们将这种考虑优化器的数据选择范式形式化为 OptiSelect，并首次系统研究优化器如何塑造数据选择。我们的理论建立了选择增益原理：在线选择的优势取决于优化器诱导的效用分数的可区分性。我们证明，Lion 和 Muon 中基于符号及极坐标切向的预条件器会出现可区分性坍缩，从而限制 OptiSelect 所能获得的增益；而 AdamW 和 Sophia 等对角自适应优化器则具有严格更优的上界。所提出的原理还定量推导出了候选样本最优过采样比例。在 124M 和 720M 模型上的预训练实验与我们的理论分析一致，并表明，即使使用 Muon 作为优化器，AdamW 的对角自适应评分几何仍然是最强的评分几何。我们进一步证明，在数据改写这一现代数据处理流程中使用的技术下，OptiSelect 仍能保持其优势。我们的研究为 LLM 预训练中优化器与数据选择的协同设计提供了理论基础和实践指导。
12:00 arXiv cs.LG 79
arXiv:2610.03396v1 公告类型：新 摘要：贝叶斯数据同化将模型预测与含噪观测相结合，但对高维、非高斯后验分布进行采样仍然具有挑战性。我们提出一种观测插值器框架，可将预训练的随机插值器、流匹配模型和扩散模型转化为后验采样器，而无需重新训练。通过对观测条件下的插值路径进行条件化，可以对漂移项或速度项施加统一的似然得分修正，从而统一随机和确定性后验采样。当中间似然得分已知时，由此得到的 SDE 和 ODE 能够对精确后验进行采样。在实际计算中，我们使用一种具有偏差修正均值的闭式高斯替代模型来近似该得分，其协方差则根据模型的源协方差进行膨胀。无雅可比矩阵和集合共享的近似方法使该方法能够应用于高维问题。我们在高斯线性动力学、随机二维 Navier-Stokes 方程以及城市气流问题上评估了该框架，问题规模最高达到 $O(10^4)$ 个自由度。
12:00 arXiv cs.LG 85
arXiv:2610.03259v1 公告类型：新 摘要：我们发布 PaMIR（Public Arrival-ordered Measurement for Inference in Risk），这是一个用于信用违约预测的开放基准，面向标签稀缺且延迟到达的场景。该领域的参考基准研究每项使用八个数据集，其中仅有两个或四个为公开数据集。PaMIR 汇集了 19 个带有二元违约标签的公开数据集，包含来自九个国家的 124 万笔贷款、企业和信用卡账户；这些数据集依据一套经过数据泄漏审计的流程，从固定版本的源数据快照重建，且从不重新分发；据我们所知，截至目前这是同类中唯一的基准。每个模型都是单一函数，并在重复 i.i.d. 划分和标签延迟流两种设置下进行评分：在后者中，每个申请在到达时即接受评分，并按照标签预算报告 AUC；只有在所有数据集都完成评分时，才会公布整体均值。一个合成数据测试框架用于测试生成的训练样本，同时确保生成器无法看到留出的样本。本报告介绍这一持续更新基准的 0.4.0 版本。
12:00 arXiv cs.LG 74
arXiv:2610.03258v1 公告类型：新 摘要：可扩展的非线性因果发现需要将灵活的机制估计器与对大规模图空间的高效搜索相结合。为应对这一挑战，已有多个算法家族被提出，但它们在准确性与运行时间之间的权衡仍缺乏充分理解。我们对四类主要方法进行了实证比较：可微结构学习、摊销结构学习、得分匹配和组合搜索。结果揭示了各方法互补的瓶颈：可微方法和摊销方法具有良好的可扩展性，但存在准确性差距；得分匹配方法在低维情况下可以达到较高准确性，但随着特征维度增加会迅速退化；组合方法仍能保持较高准确性，但由于反复且冗余的局部评分而运行缓慢。针对这一瓶颈，我们开发了 SPADE，一种基于样条的得分评估方案，可将充分统计量编译一次，并在整个组合搜索过程中重复使用。在入度有界的条件下，其高斯变体将算法复杂度从 O(nd^3) 降低至 O(nd^2+d^3)。实验证明，SPADE 将观测到的可扩展性—准确性前沿推进了数个数量级：它能在数秒内解决包含 100 个变量、拥有 160K 个样本的问题，并在数分钟内解决包含 1600 个变量、拥有 2.5K 个样本的问题，同时在合成数据集和真实世界基准上保持较高的结构准确性。这些结果表明，组合搜索的实际可处理规模发生了显著提升，也凸显了沿完整的准确性—运行时间前沿评估可扩展因果发现方法的重要性。
12:00 arXiv cs.LG 80
arXiv:2610.03199v1 公告类型：新 摘要：从同一基座模型微调得到的大型语言模型可以通过对其任务向量求平均来合并，但有些合并结果的性能会远低于基座模型，而常见的合并算子在评估前无法发出任何预警。我们表明，专家模型任务向量的一个统计量既能预测这种崩溃，也能校准其修复方式。平均操作所移除的功率等于各专家模型任务向量之间的方差，我们将其作为干扰度量。在一个可用的噪声模型下，合并所引入的扰动会随着合并系数和干扰程度的增加而增大，从而得到一个合并前评分。在我们针对四个模型系列的二十二种合并配置进行的实验中，只有破坏性合并的该评分超过了阈值。我们发现，专家模型之间符号冲突的统计量是现有合并算子的常见优化目标，但它们实际上具有反向预测性。随后，我们在评估十四种合并结果之前对其进行了预测，其中十二项预测正确，包括一对因继续预训练而被推过阈值的专家模型所产生的破坏性结果。为解决这种崩溃，我们提出 PRISM：一种先对任务向量求平均、再根据每层的干扰程度设定水平并对各层执行软阈值处理的算子。在无需数据或调参的情况下，PRISM 使全部五个破坏性合并的结果都保持在阈值之上，并且与基座模型的差异处于评估噪声范围内；相比之下，普通平均的结果要么至少低于基座模型 14.4 分，要么完全崩溃。我们仅在评分超过阈值时应用 PRISM，而对于低于阈值的合并则保留普通平均；后者包括全部十五个无害合并。代码见 https://github.com/js-lee-AI/PRISM】【。
12:00 arXiv cs.LG 81
arXiv:2610.03087v1 公告类型：新 摘要：确定性数据加载对于基础模型开发至关重要：模型研究人员需要确信，他们在代价高昂的消融实验中观察到的差异，是由所改变的参数引起的，而不是由训练数据序列的非确定性造成的。数据加载器必须提供弹性确定性，即尽管不同运行之间的 GPU 拓扑发生变化（例如由于 GPU 稀缺），经历频繁的检查点恢复周期，且采用不同的数据处理执行后端，仍能生成确定性的全局训练数据批次序列。实现这一点十分困难，因为现代基础模型数据流水线会在线执行样本分词、打包和混合，引入有状态的 n 对 m 变换，从而破坏样本索引。现有数据加载器大多假设流水线是可索引的一对一流水线，而常见的离线物化变通方案成本高昂，并且对于视频等某些模态来说不可行。我们提出 Zephon，这是一种面向基础模型的数据加载器，支持在线有状态流水线，同时提供弹性确定性以及从检查点高效恢复的能力。它将全局数据流划分为与拓扑无关的通道，在并行化可互换后端上的无状态工作的同时，对排序决策进行序列化；并且仅对有界的在途状态创建检查点，因此恢复成本不会随着训练进度增长。我们在文本和视觉语言工作负载上对 Zephon 进行了评估，结果表明，在提供现有数据加载器针对在线有状态流水线均无法同时提供的一组保证的同时，Zephon 实现了具有竞争力的吞吐量。
12:00 arXiv cs.LG 74
arXiv:2610.03057v1 公告类型：新 摘要：关系型基础模型越来越多地在合成数据库上进行预训练，但下游基准测试很少揭示为什么某个合成语料库能产生比另一个更好的模型。尤其是，强劲的性能可能源于逼真的行级统计特征，而模型本身却从未学会利用关系结构。我们将这一问题视为数据归因问题：合成预训练数据的哪些属性会诱导模型进行关系计算？我们使用四个 Relational Transformer 检查点，它们采用相同的架构、初始化方式、训练目标和计算预算，并分别在由四种关系数据生成器生成的语料库上训练，从而追踪数据中的一种可测量属性如何关联到模型学会的计算方式及其下游行为。我们假设，当跨表信息对于掩码单元格预训练目标而言具有预测上的必要性时，关系机制就会出现。RelDiff 从外键关联的父表中获得的预测增益远高于其他方法，其对应模型也对未见过的数据库中的外键干预表现出独特的敏感性。这种依赖关系在随机初始化对照实验中依然存在，且会随着被破坏链接所占比例的增加而单调增强，并定位到一条串行跨表路径。最后，在下游推理过程中破坏同一机制，会消除 RelDiff 在关系任务上的优势，同时几乎不影响对结构不敏感的模型。这些结果将合成训练数据的一种属性与模型学会的机制联系起来，并通过干预进一步将该机制与下游行为联系起来。
12:00 arXiv cs.LG 78
arXiv:2610.03001v1 公告类型：新 摘要：细胞外电生理记录在每个会话中记录的都是一组不同的神经元。神经基础模型将每个神经元和每个会话嵌入其令牌中，因此每个新会话都是它们从未见过的输入，导致模型无法对其泛化。针对新会话的分词器需要一种所有会话共有且承载行为信息的单元。群体活动提供了这样一种单元。它在一个低维流形上演化；在会话完成对齐后，该流形能够跨越神经元更替以及不同动物而保持稳定。该流形会在刺激开始、运动开始等任务事件处发生状态转换。在每个状态区间内，群体活动都处于一种状态，即它在两个事件之间所覆盖的流形部分，而每种状态都承载着自身的行为含义。我们提出 Tokenization with States（TWS），在这些事件处对每个试次（即任务的一次重复）进行分段，并将每个状态转换为表示群体几何结构的令牌，无需使用神经元或会话嵌入。在保留的 International Brain Laboratory（IBL）会话上，即使仅利用不携带目标信息的状态转换边界，TWS 也能解码运动；而在这些会话上预训练的逐神经元基础模型，其解码结果仅处于随机猜测水平。在仅使用小鼠数据完成训练后冻结参数，TWS 仅需一个线性探针即可迁移到猕猴和 Utah arrays。在边界无法定义的目标——到达方向——上，其 Matthews 相关系数达到 0.23，而仅使用事件时间的结果为 $0.01$。对于跨会话泛化而言，令牌比其上层模型更为重要。
12:00 arXiv cs.LG 74
arXiv:2610.02907v1 公布类型：新 摘要：残差网络会对每个输入执行每一个模块，但这些模块在功能上的贡献未必与输入无关。我们将一个训练好的 ResNet 表述为关于二值残差分支掩码的集合函数，并应用 Möbius 反演，将其输出精确分解为单独的残差修正项和高阶交互项。对于平滑的残差堆叠，我们证明，在残差缩放下，每个固定的 $k$ 路交互项都按 $\mathcal{O}(\lambda^k)$ 缩放。对 ImageNet 预训练的 ResNet-18 和 ResNet-34 进行穷举分析后发现，交互量的峰值分别出现在五阶和十阶，而不是低阶。减小残差尺度会使两种谱都向低阶移动，但也会改变模型的预测结果。交互系数在幅值上高度集中，但并非严格稀疏；并且，保持预测不变的稀疏性会随着深度增加而减弱。关键在于，主导交互会围绕一个共享的全局核心，随输入和预测类别而变化，而其总体复杂度几乎不随样本难度改变。这些结果表明，稠密 ResNets 实现了一种隐式的软路由：每个模块都会执行，但不同输入依赖于不同的残差交互专家。因此，路由可以在功能贡献层面涌现，而无需显式路由器或稀疏执行。
12:00 arXiv cs.LG 73
arXiv:2610.02881v1 公告类型：新 提要：多模态图基础模型（MGFMs）旨在从具有异构节点模态的大规模图中学习可泛化的表示。然而，现实世界中的多模态属性图（MAGs）通常包含不完整的节点属性，从而限制了可用预训练语料的规模和多样性。此外，现有的MGFMs主要将图拓扑作为结构上下文加以利用，却忽视了其在引导多模态绑定和塑造统一表示空间方面的作用。为应对这些挑战，我们提出GraphBind，这是一种拓扑驱动的方法，利用图拓扑将丰富的模态信息绑定到统一的共享空间中。GraphBind的设计动机源于图拓扑的稳定性：它能够为多模态绑定提供结构参照和互补语义信息。具体而言，GraphBind利用拓扑将自身语义和可靠的邻域语义组织到一个融合结构与语义的全局共享空间中，并通过轻量级接口使该空间适应判别式任务和生成式任务。针对11个具有代表性的基线方法进行的大量实验表明，GraphBind在判别式任务和生成式任务上均取得领先性能，相较于最强基线方法的相对提升最高达28.1%。
12:00 arXiv cs.LG 75
arXiv:2610.02864v1 公告类型：new 摘要：理解神经活动如何表征高阶认知，以及这些表征如何随时间演化，长期以来一直是神经科学领域的核心研究方向。然而，现有分析工具难以在长期神经记录中有效区分表征可塑性与记录不稳定性。本文提出 NeuroLens（Latent Embeddings of Neural Semantics），这是一种基于 Joint-Embedding Predictive Architecture (JEPA) 框架的自监督模型，能够从长期神经记录中学习去噪且具有语义信息的潜在表示。自适应编码器将不断变化的神经元群体映射到一个共同的潜在空间中，而时间预测器则学习支持预测未来潜在状态的结构。通过在潜在空间中进行预测，NeuroLens 能够捕捉时间上可预测的结构，并降低对瞬态、特定于记录的变异的敏感性。在小鼠和人类的长期皮层内数据上，所学习的表示提升了对决策和语义任务变量的解码效果。多日预训练使模型能够泛化到未来会话，快速以少量样本适应未见过的神经元群体，并且相比当前最先进的基线方法，在随时间变化的解码任务中表现出更高的稳定性。总体而言，这些结果确立了 NeuroLens 这一研究范式，可用于研究神经表征在学习过程中及长期时间尺度上的变化。
12:00 arXiv cs.LG 78
arXiv:2610.02705v1 公告类型：新 摘要：Muon 优化器通过求解一个由谱范数惩罚的损失局部线性化问题，为隐藏线性层推导其更新规则；这一方法的动机来自针对稠密线性层的 RMS 稳定性论证。然而，标准的 Muon 实现将输入层（嵌入表）和输出层（语言模型输出头）排除在这一有理论依据的处理之外，而是对它们使用 AdamW。我们提出 MuonIO，为这两类层提供一种统一的 Muon 风格更新。对于语言模型输出头 $\mathbf{L} \in \mathbb{R}^{V \times d}$，鉴于 softmax 输出几何结构的 Lipschitz 连续性，我们提出使用 $2\to\infty$ 算子范数；对于嵌入表 $\mathbf{E} \in \mathbb{R}^{d \times V}$，则基于 Bernstein & Newhouse (2025) 所确定的 one-hot 输入几何，采用 $1 \to 2$ 算子范数。恒等式 $\lVert\mathbf{L}\rVert_{2\to\infty}=\lVert\mathbf{L}^\top\rVert_{1\to2}$ 由此将两个矩阵置于相同的面向词汇表的几何结构中：MuonIO 应用统一的归一化向量规则，对 $\mathbf{E}$ 表现为列归一化，对 $\mathbf{L}$ 表现为行归一化。实证评估表明，我们的方法有效：在 C4 上进行 1B LLaMA 预训练时，与 Muon 相比，MuonIO 将 I/O 优化器状态内存减少了 50%，将 I/O 更新 FLOPs 减少了约 46%，同时还改善了验证集困惑度。
12:00 arXiv cs.LG 71
arXiv:2610.02683v1 公告类型：新 摘要：可编程无线电传播能否不仅充当通信信道或一次性模拟变换，还能作为计算深度？我们提出 Radio Alternating Operator Ansatz（RAOA），这是一种循环计算架构，在持续存在的潜在状态上交替执行基于能量的问题更新和混合更新。每次混合后重新计算问题场，使得即使在不同深度重复使用相同的学习控制量，多次传播仍能形成组合式计算。我们通过精确离散优化、受约束的可编程传播仿真以及预训练模型适配来评估这一思路。在离散目标上，重复执行可以在不增加学习控制量数量的情况下提升解的质量，并且同一形式能够直接处理高阶交互。进一步地，一个仅具备被动相位控制的自由空间模型表明，所需算子可以通过可编程传播近似实现；尽管存在实现误差，系统仍能保留下游任务所需的有效行为。将 RAOA 作为零初始化残差适配器插入后，它能够适配预训练语言模型：在三个模型系列上，其 WikiText 性能接近匹配的浅层 MLP，而推理任务上的迁移效果仍取决于具体模型。总体而言，这些结果在一个统一的循环框架中连接了交替算子计算、可编程无线电传播和神经适配。需要指出的是，RF 实现方面的证据基于仿真，而非硬件演示。
12:00 arXiv cs.LG 82
arXiv:2610.02657v1 公告类型：new 摘要：将预训练自回归（AR）模型转换为扩散语言模型（dLLM），无需预训练新模型即可实现并行生成。已发表的转换方法在训练数据量上相差约三个数量级，且尚未在统一协议下进行比较。我们比较了同一个 30B Mixture-of-Experts（MoE）母模型的两种转换方式，在各自的训练方案下，固定语料库、监督 token 预算、可训练参数集合和评测框架。原位模型使用去噪损失和表征对齐损失更新母模型权重的一个子集；冻结塔模型则通过对母模型的冻结因果副本进行交叉注意力来获取条件。使用 1B 训练 token 时，冻结塔模型在 HumanEval 上的 pass@10 得分为 71.60，而原位模型为 6.19，提升了 11.6 倍。在相同预算下，它还保留了母模型 GSM8K 得分的 95% 和 MMLU-Pro 得分的 99%。在稠密母模型上的实验复现了 HumanEval 上的差距。在约 500M token 的双塔设计中，冻结上下文塔所保留的 MMLU-Pro 性能显著高于训练上下文塔的方案，而两者在观测到的 HumanEval 得分上相近。我们的理论分析表明，在采用硬注意力掩码并按从左到右的顺序、每轮提交一个位置的条件下，两类转换都包含一个能够精确采样 AR 母模型的采样器。在共享损失下，冻结会移除通过上下文状态产生的梯度贡献。此外，评测协议会使一项已发表的 500B-token 转换在不同任务上的得分出现显著的双向变化，而其 AR 母模型的得分变化小于三分，因此比较 dLLM 需要采用统一协议。这些结果表明，在所测试的低预算条件下，冻结塔配置相比原位转换能够保留母模型显著更多的生成性能。
12:00 arXiv cs.LG 80
arXiv:2610.02593v1 公告类型：新 摘要：数据选择已经是大语言模型训练中的核心瓶颈，因为网络规模语料库充满噪声，而 token 预算有限。在持续预训练（CPT）中，数据选择进一步成为遗忘控制问题：选择不当的目标领域语料库可能会覆盖预训练检查点中已经编码的能力。现有的 CPT 实践要么使用困惑度等与参数无关的标量为候选数据评分，要么通过消耗大量额外的通用领域回放 token 来缓解遗忘。两种策略都没有直接考察在候选数据上训练将如何改变模型参数。我们发现，基于损失的数据选择会使 CPT 后的 Fisher 对角线在预训练模型已经固守的高 Fisher 坐标上向下漂移，同时基本不影响低 Fisher 坐标。这种不对称性揭示了灾难性遗忘在参数空间中的作用机制。受此观察启发，我们提出了一种具备 Fisher 感知能力的 CPT 选择器，将每个候选样本的梯度分解为锚定分量和前沿分量：前者衡量沿已固守参数方向的扰动，后者衡量在不受约束的低 Fisher 子空间中的更新能力。我们使用对数行列式次模目标聚合这些信号，并通过可扩展的流式数据选择流程在单次遍历中对其进行优化。在 TinyLlama-1.1B 和 Llama-3.1-8B 上使用医学数据进行 CPT 时，我们的选择器在提升目标领域质量的同时，限制了在留出的预训练基准上的遗忘。更重要的是，与具备遗忘感知能力的回放策略相比，它显著提高了 token 效率。仅使用 1B 个选定 token，其在适应效果和遗忘控制方面就已经超过了使用 10B 个 token 训练的回放策略，实现了 10 倍的 token 效率优势。
12:00 arXiv cs.LG 74
arXiv:2610.02524v1 公告类型：新提交 摘要：极端稀疏条件下的非结构化剪枝往往会遭遇表征坍塌，导致准确率急剧下降。为解决这一问题，我们研究了骨干网络对比剪枝（BaCP），通过将稀疏网络的嵌入空间与预训练模型、微调模型及历史快照模型的嵌入空间对齐，对其进行正则化。在 CAP 框架（Xu 等，2022）的对比分解基础上，我们在相同预算下，针对多种剪枝准则对该方法进行了严谨评估。在 90 种设置下的评估表明，在标准剪枝失效的极端稀疏条件下，BaCP 能显著提高准确率；而在表征保持完整的情况下，其表现则接近基线。
12:00 arXiv cs.LG 72
arXiv:2610.02511v1 公告类型：new 摘要：高分辨率数值天气预报（NWP）和数据同化（DA）的进展推动了用于模拟大气动力学的深度学习（DL）架构的发展。天气预报模拟器在从数天到次季节时间尺度的预报时效范围内，展现出与基于物理的模型相当的预报质量。这些模拟器在自回归推理过程中依靠硬件加速的矩阵乘法驱动，从而显著减少了 NWP 所需的计算时间和资源。对 GPU 架构中的矩阵乘法过程进行优化，为扩展至高分辨率区域提供了机会，并支持开箱即用解决方案的实现。已有研究表明，训练后量化（PTQ）可应用于多种深度学习架构，在降低功耗的同时加速计算并提高单位时间内的计算量，从而支持在边缘硬件上的应用。在本研究中，我们探讨了 PTQ 对用于全球尺度天气预报的预训练 AI 模拟器的影响。我们在 Deep Learning Weather Prediction（DLWP）和 FourCastNet（FCN）模型中实现 PTQ 算法，作为其在地球物理流体动力学应用中的概念验证。我们系统地研究了 PTQ 对模拟器在短期预报时效内推理结果的影响。使用模拟量化对 PTQ 配置进行评估的结果表明，在短时间尺度内可以获得具有定性意义的预报。这些结果为自回归天气模拟器的 PTQ 提供了首个基准，并为基于量化的动力系统深度学习模型优化奠定了基础。
12:00 arXiv cs.LG 77
arXiv:2610.02497v1 公告类型：新 摘要：肌电图（EMG）信号在不同个体、身体部位、记录会话和传感硬件之间存在显著差异，限制了模型在辅助设备和人机交互中的泛化能力。现有的时间序列基础模型计算开销较大，难以实现实时可穿戴部署，并且通常无法捕捉 EMG 特有的时频特征。我们提出 LiteEMG-FM，一种面向实际 EMG 传感的高效混合 CNN-Transformer 基础模型。LiteEMG-FM 在 16 个多样化的上下肢 EMG 数据集上进行预训练，学习能够跨用户和数据集泛化的表征。针对资源受限的部署场景，我们设计了一种分层唤醒架构：由轻量级、始终运行的 1D-CNN 过滤静息状态和非目标活动，仅在检测到有效手势时激活 LiteEMG-FM。我们评估了完全推理卸载、分割式推理和完全设备端处理，分析它们在延迟、功耗和内存占用方面的权衡。在多种评估设置下，LiteEMG-FM 的表现优于当前最先进的时间序列基础模型和监督学习基线，尤其是在零校准跨参与者和数据稀缺条件下。这些结果表明，LiteEMG-FM 是一种适用于 EMG 应用的有效、高效且可部署的基础模型。
12:00 arXiv cs.LG 77
arXiv:2610.02439v1 公告类型：新 摘要：生成式图模型对于理解和模拟复杂网络至关重要。然而，现有方法各有互补的优势与局限。机制模型具有可解释性，但依赖针对具体实例的估计方法。另一方面，深度生成模型能够提供摊销推断，却牺牲了可解释性，并且在很大程度上局限于训练期间见过的图规模。科学应用促使我们构建一种能够保留这两种范式优势的框架。我们通过在函数空间中同时表述生成模型和参数恢复，将二者连接起来。多重分形阶梯图函数通过递归构造扩展了标准阶梯图函数，从而能够以紧凑方式对复杂网络进行参数化。该表述允许引入神经逆算子来恢复其参数，进而实现对未见过的图规模进行推断。我们仅使用合成的多重分形阶梯图函数实现进行训练，并将模型与这两种范式进行比较。在零样本图生成基准测试中，与基于经验网络预训练的图基础模型相比，我们的方法在四项指标中的三项上取得了最佳平均性能，表明该模型能够迁移到现实世界的图。我们还将该方法应用于单观测网络；对于要求训练语料、因而在很大程度上无法处理这一场景的深度模型而言，这是一个难以应对的设定。在该任务中，我们的方法表现得与一种针对具体实例、在每个图上进行优化的方法相当。在一项多被试 EEG 案例研究中，推断出的参数比传统网络统计量更敏感地追踪了脑状态的可逆变化。总体而言，这些结果表明，在生成式图模型中可以有效统一机制可解释性与摊销推断，从而增进我们对复杂网络的理解。
12:00 arXiv cs.LG 80
arXiv:2610.02438v1 公告类型：新 摘要：大型语言模型（LLMs）在代码生成方面展现出强大性能，而成功与否取决于两方面：回忆相关的算法知识，以及推理如何应用这些知识。然而，现有的 LLMs 流程是不透明的，没有明确区分这两个组成部分。我们认为，对于那些规范实现已广泛存在于预训练语料库中的知名算法，代码生成更适合被衡量为\textit{参数化代码检索}：即从内化的知识中复现一个指定名称的算法，而不是合成一个全新的算法。我们推出了 AlgoREval，这是一个包含 599 个问题的基准测试，涵盖 14 个领域中的 77 种经典算法、7 种编程语言以及 4 种图输入表示形式，用于单独评估这一能力；同时，我们在零样本设置下评估了 15 个模型（参数量为 7B--34B）。我们发现，即使对于有广泛文档记录的算法，不同语言和输入表示形式之间的检索准确率也存在显著差异；我们还发现，使用检索到的代码片段或结构化算法提示来增强提示词，能够提升复杂算法的准确率，而 SFT 能够带来更广泛的语言增益，GRPO 则能在特定语言上带来更大的单语言增益。总体而言，我们的结果确立了参数化代码检索是一种独立且可测量的能力，并警示人们不要在缺乏系统验证的情况下部署 AI 生成的算法代码。\footnote{代码和数据集已发布于 https://github.com/Nickil21/AlgoREval
12:00 arXiv cs.LG 76
arXiv:2610.02427v1 公告类型：新 摘要：流映射蒸馏通过学习预训练生成 ODE 的有限时间转移，实现一步和少步生成。我们研究改变教师模型的时间参数化是否能使这些转移更易于学习。基于这样一个假设：具有较大法向加速度的轨迹片段更难蒸馏，我们提出了一种几何感知的时间重参数化方法，在保持教师模型几何路径和终端分布不变的同时，为这些区域分配更多学生时间。我们在适当假设下推导出一种共享时钟，使总体法向加速度统计量达到均衡，并利用从教师模型轨迹中获得的稳健正则化估计构造出一种实用近似。我们将这一时钟引入拉格朗日流映射蒸馏，并使用变换后的时间坐标对学生模型进行条件控制。该时钟在蒸馏前仅需估计一次，既不需要重新训练教师模型，也不需要增加学生模型参数或推理时的网络评估次数。在合成数据、CIFAR-10 和 CelebA-64 上的实验表明，在推理预算相同的情况下，与恒等时间蒸馏相比，该方法能够提升样本质量，包括改善一步和两步图像生成效果。在一步生成中，由于无法调整任何中间采样时间，所取得的性能提升进一步凸显了蒸馏过程中时间重参数化的优势。
12:00 arXiv cs.LG 77
arXiv:2610.02404v1 公告类型：新 摘要：我们研究长上下文语言模型。我们不采用原生训练长上下文的方式，也不设计长上下文工具框架，而是在最简单的工具框架上训练模型：一个可使用任意指定提示词调用自身的工具，以及一个可从输入上下文中读取指定范围内词元的工具。我们使用这一工具框架，在多样化的合成数据集上对 Qwen3.6-35B-A3B 进行微调。仅使用 8,000 个词元的上下文时，当文档长度超过 40K 个词元，我们的小型模型在 OOLONG-synth 基准测试上的表现就已达到使用 1M 个词元上下文的 GPT-5.4 的水平。
12:00 arXiv cs.LG 75
arXiv:2610.02391v1 发布类型：new 摘要：当大语言模型解决数学问题时，其推理很大程度上具有层次性，而解答通常会在少数几个下一词熵较高的词元处发生分支。这种树状结构嵌入双曲空间时的失真远低于嵌入欧氏空间。尽管如此，激活引导通常仍通过在每个词元处添加同一个固定的欧氏向量来编辑预训练模型的隐藏状态，即使解答中的大多数词元已经由上下文确定。我们提出 Hyperbolic Entropy Steering（HEST）：使用一个轻量级探针将隐藏状态嵌入 Poincaré 球，而该探针唯一的标签就是模型自身的下一词熵。当该熵超过阈值时，HEST 沿着探针读出函数的最速下降测地线移动嵌入状态，然后将这一变化映射回隐藏状态。对于以一个学习得到的理想点为基础的 Busemann 读出函数，我们证明，固定长度的步长会在任意状态处将其降低相同的量。在来自 Qwen2.5-Math 和 Llama-3.1 系列的三个指令微调模型上，采用 Busemann 读出函数的 HEST 在六种设置中的五种下提升了 MATH-500 和 GSM8K 上的贪心准确率，最高提升 1.8 个百分点；相比之下，在每个词元处添加对比式引导向量会降低准确率。对于以相同方式训练的欧氏探针，在 Qwen2.5-Math-1.5B-Instruct 上，这一增益消失了。对于模型经常犹豫的问题，增益最大；而在其余问题上，准确率几乎没有变化。
12:00 arXiv cs.LG 79
arXiv:2610.02383v1 发布类型：新 摘要：Looped Transformers 在每个 token 上多次应用相同的层，通过增加计算量来提升质量，而无需增加参数量。然而，每次递归都会写入自己的键值缓存，因此内存仍会随着计算量增加。推理时技术可以缩小这一缓存，但会牺牲质量。我们对循环语言模型进行预训练，使其共享内存：只有第一次递归写入缓存，后续递归读取该缓存，同时保留一个属于自身的短窗口。出人意料的是，我们发现共享内存并不会牺牲质量，反而能够提升质量。在 150M–1B 参数规模下，我们的 Looped Prediction Transformer（LPT）及其混合变体为循环模型设定了新的质量-内存前沿：在进行五次递归时，该混合模型在 FineWeb-Edu 上的验证集困惑度比同规模的标准 Transformer 低 1.12–1.82，同时使用的上下文内存减少了 76%–79%。通过广泛分析，我们探究了共享内存发挥作用的原因。共享内存和局部内存会形成不同的表示，后续递归主要关注共享内存，而共享内存还充当了通向第一次递归的梯度高速公路。
12:00 arXiv cs.LG 83
arXiv:2610.02355v1 公告类型：新稿 摘要：在大型语言模型（LLM）预训练中，随训练过程增大批大小是一种常见做法，但其成功背后的理论依据尚未得到充分理解。随机优化分析通常假设随机梯度方差一致有界，然而近期证据表明，这一假设在许多实际非凸问题中并不成立。Blum--Gladyshev（BG-$0$）噪声模型允许方差随距初始化点的距离呈二次增长，从而放宽了这一假设，也表明批大小调度器可以通过控制训练期间的方差增长发挥作用。然而，这种增长假设在实践中可能过于保守。我们通过实证研究考察了 LLM 预训练中的方差增长，并观察到，具有可调增长指数的广义 BG 模型能够更精确地描述实际噪声行为。受此观察启发，我们提出了广义 BG-$a$ 噪声模型，它在有界方差（$a=0$）与 BG-$0$ 噪声（$a=2$）之间插值。在 $L$-光滑性条件下，我们推导出一个信息论下界，其预言机复杂度为依赖增长指数的 $\Omega(\epsilon^{-(4+a)})$；同时，通过在迭代点远离初始化点时增大批大小，我们建立了一个在 $\epsilon$ 依赖关系上与之匹配的上界。最后，我们提出一种自适应批大小调度器，通过在训练过程中动态调整批大小来控制方差增长。在 C4 上对参数规模最高达 10 亿的 OLMo2 模型进行预训练时，在相同的 token 预算下，我们的调度器取得了低于小批量和大批量训练的验证损失，同时所需迭代次数不到小批量训练的 10\%。
12:00 arXiv cs.LG 72
arXiv:2610.02347v1 公告类型：新论文 摘要：训练数据归因旨在识别哪些训练样本塑造了模型行为，但验证此类结论十分困难，因为训练的因果影响很少能被直接观测到。我们认为，受控的合成预训练使归因能够通过实验检验。借助 O'PRIOR——一种为表格基础模型提供丰富溯源信息的合成任务生成器——我们构建了一个测试平台，其中每个预训练任务都附带明确的来源谱系，涵盖结构机制、缺失性、混杂、捷径和分布偏移。我们将以行为为条件的归因与反事实重新训练、溯源感知干预相结合，以检验任务层面的忠实性和机制层面的一致性。在留出的真实任务上，移除归因排名最高的 5% 合成任务使平均 ROC-AUC 下降了 0.013，而随机移除导致的降幅为 0.002$\pm$0.004；移除归因排名最低的任务则使性能提升了 0.003。在具有捷径溯源信息的任务中，定向移除产生的效应为 0.043，而匹配的随机移除所产生的效应为 0.016。尽管 top-k 富集程度显著，但按排序 AUROC 衡量的溯源判别能力较为有限（0.55–0.62），这表明溯源关联与干预忠实性并不一定一致。我们的结果确立了合成溯源作为可验证贡献归因的受控研究环境的价值。
12:00 arXiv cs.LG 79
arXiv:2610.02344v1 公告类型：新论文 摘要：联合嵌入预测架构（JEPAs）容易出现表征坍塌，通常通过经验性启发式方法加以缓解。我们提出了一套训练早期稳定性理论，将这些启发式方法统一起来。在平凡不动点附近对耦合的 JEPA 梯度流进行线性化，揭示了两种相互竞争的效应：驱动力（$\gamma$）和衰减效应（$\sigma$）。在近似谱解耦条件下，各模态的稳定性比率 $\mu_i = \gamma_i / \sigma_i$ 可分解为相互独立的数据侧项与预测器侧项，而不稳定模态的数量则对应于可形成表征的秩。该框架预测了一条相边界，我们通过涵盖 800 多种 Tabular-JEPA 配置的实验验证了这一预测。它还将预测器缩放、掩码比例和 EMA 统一解释为调节 $\mu$ 的不同机制。在这一分析的指导下，我们提出了 ResidualPred，这是一种在初始化时将注意力偏向恒等映射的 transformer 预测器；它在表格数据基准测试以及 CIFAR-10、CIFAR-100、STL-10 和 ImageNet 上的 I-JEPA 预训练中，均提升了有效秩和下游任务准确率。我们的框架将避免坍塌的经验性启发式方法与明确的动力学图景联系起来，从而得到了理论驱动的稳定化方法。代码见 https://github.com/jose-melo/drive-vs-decay。
12:00 arXiv cs.LG 71
arXiv:2610.02299v1 发布类型：新论文 摘要：我们提出了 $\Psi$-Resilience，这是一种无模型特征重要性方法，通过一维拓扑信号直接从数据本身中提取解释。我们的方法通过估计类别条件密度，并沿特征轴计算它们的逐点绝对差，构建类别分歧景观。随后，该一维信号的 0 维持久性定义了一个韧性泛函，用于仅聚合那些能够经受住扰动、直至达到由用户设定的稳健性尺度的拓扑特征。由此得到的上下文稳健重要性分数，可通过底层的一维景观及其持久性进行内在审计。我们在合成数据集和真实数据集上评估了该方法。在具有指定真实重要性的合成数据生成器上，$\Psi$-Resilience 高度准确地恢复了特征排序，Spearman 秩相关系数最高达到 0.8，并且与包括 SHAP 和互信息在内的多种特征重要性方法相比具有竞争力。在没有已知真实基准的真实数据集上，我们的方法与这些方法的结果一致，相关系数最高达到 0.9。这些结果表明，$\Psi$-Resilience 是一种稳定的解释方法，无需依赖预测模型即可对特征重要性进行严格的分布级审计。
12:00 arXiv cs.LG 85
arXiv:2610.02252v1 公告类型：新 摘要：许多科学问题都需要对从未被观测到的情形进行推理：如果条件、干预或历史有所不同，会怎样？模型在观测数据上可以实现准确预测，但当相关输入被独立改变时，可能无法回答这类假设性问题。一种常见的补救方法是加入受控模拟数据，在其中明确 disentangle 这些因素，但这需要能够访问模拟器，计算成本可能很高，而且会继承模拟器的建模假设。我们提出 ReRoute，一种面向目标的科学假设性预测框架，将事实数据与部分机制知识相结合，而无需受控干预数据来进行适配。ReRoute 将预训练骨干模型中被查询的输入固定为一个参考值，通过已知的机制路径重新引入其变化，并在原始事实数据上进行微调，同时将下游效应交由学习到的动力学处理。我们在明确的结构假设下，为这一构造给出了因果识别结果，其核心论证已在 Lean 中完成机器检验。在一个可获得精确响应的受控平流-扩散系统中证明 ReRoute 能够实现高度准确的反事实预测后，我们进一步将其应用于最先进的气候仿真。在留出的耦合气候干预数据上，面对严重的 CO$_2$ 分布偏移，ReRoute 将总体气候误差降低了 18.2%–31.8%，同时在标准条件下保持预测能力；其成本仅为在额外受控模拟数据上重新训练的一小部分，且这还没有计入生成此类数据所需的高昂成本。最后，在一个基于历史 ERA5 再分析数据训练、且不存在反事实参考的仿真器上，对于固定 CO$_2$ 的反事实情形，ReRoute 在观测边界条件所暗示的地表变暖中保留了显著更多的部分。
00:38 arXiv cs.AI 81
Cephalonauts One 是一个全脑 3 Tesla（3T）功能磁共振成像（fMRI）数据集，记录了受试者收听音频播客时的脑活动。三名健康受试者分别进行了多次扫描，每次扫描包括五个 15 分钟的运行阶段，同时收听以其母语播出的播客。每位受试者拥有 30 小时的 fMRI 数据，使得当前版本成为使用自然语音刺激的最深度 fMRI 数据集。该数据集将脑活动与相应的播客音频、转录文本标注及派生的刺激嵌入向量相匹配。此外，我们提出了一个以音频片段检索为形式的脑解码基准：给定来自留出扫描阶段的 fMRI 活动，解码器必须从候选片段中识别出对应的、时间对齐的播客音频片段。我们为该任务提供了标准化的数据划分、评估指标和基线解码器。最后，扩展性分析表明，随着每位受试者训练数据量的增加，解码性能持续提升。
18:18 arXiv cs.AI 79
密码子优化是通过选择同义密码子来提高 mRNA 翻译效率和蛋白质表达的过程，在治疗性蛋白质生产和 mRNA 疫苗中至关重要，但仍然是一个困难问题。其设计空间是离散且组合规模庞大的，因而无法采用基于梯度的方法；现有工具则依赖启发式代理指标（例如 Codon Adaptation Index 或 GC-content），难以准确捕捉真实表达水平。我们提出 Latent-Space Codon Optimization（LSCO），通过将序列映射到预训练 mRNA 语言模型的潜在空间，把这一离散问题重新表述为连续问题，从而实现高效的基于梯度的搜索。LSCO 结合了四个组成部分：来自不确定性感知预测器的数据驱动表达目标、用于结构稳定性的 Minimum-Free-Energy 正则化项、来自蛋白质到密码子反向翻译模型的自然性先验，以及用于保证蛋白质保真度的约束解码。在一个真实世界的湿实验抗体表达数据集上，LSCO 在预测表达水平方面优于简单的基于频率的方法以及现代深度生成基线，同时保持了适宜的生物物理性质。
21:03 arXiv cs.AI 82
可扩展的非线性因果发现需要将灵活的机制估计器与对大规模图空间的高效搜索相结合。为应对这一挑战，人们提出了多个算法家族，但它们在准确性与运行时间之间的权衡仍缺乏充分理解。我们对四类主要方法进行了实证比较：可微结构学习、摊销结构学习、评分匹配和组合搜索。结果揭示了各类方法互补性的瓶颈：可微方法和摊销方法具有良好的可扩展性，但存在准确性差距；评分匹配方法在低维情况下可以达到较高准确性，但随着特征规模增大而迅速退化；组合方法仍能保持较高准确性，但反复且冗余的局部评分使其运行速度变慢。针对这一瓶颈，我们开发了 SPADE，这是一种基于样条的评分评估方案，可一次性编译充分统计量，并在整个组合搜索过程中重复使用。在入度有界的条件下，其高斯变体将算法复杂度从 O(nd^3) 降低至 O(nd^2+d^3)。实证结果表明，SPADE 将观测到的可扩展性—准确性前沿推进了数个数量级：它能在数秒内解决包含 100 个变量、160K 个样本的问题，并在数分钟内解决包含 1600 个变量、2.5K 个样本的问题，同时在合成数据集和真实世界基准测试中保持较高的结构准确性。这些结果表明，组合搜索的实际可处理规模已实现显著提升，并凸显了沿完整的准确性—运行时间前沿评估可扩展因果发现方法的重要性。
21:10 arXiv cs.AI 76
大规模预训练提升了神经算子在多种 PDE 上的泛化能力。然而，现有的 PDE 基础模型在处理异质动力学方面仍面临挑战，因为共享表示可能导致知识干扰，而混合专家（MoE）架构则面临专家冗余不断增加的问题。我们提出 SPEAR，一种采用谱解耦和知识引导专家聚合的 MoE 神经算子，用于大规模 PDE 预训练。SPEAR 将潜在特征解耦为低频和高频成分，从而实现对可迁移动力学的共享建模，以及对特定 PDE 模式的专门学习。为解决专家冗余问题，我们设计了一种知识引导的专家聚合策略，从数据集特定的已学习知识和路由偏好两个方面衡量专家相似性，从而识别并合并相似专家。在十二个 PDE 数据集和多个下游基准上的实验表明，该方法在预训练、微调和迁移学习中均取得了更优性能。此外，我们的聚合策略将专家数量减少了 50\%，同时保持或提升了预测准确率，在 PDE 基础模型的模型效率与泛化能力之间实现了平衡。
12:00 arXiv cs.LG 82
arXiv:2609.40140v2 公告类型：replace-cross 摘要：城市适应最需要千米尺度数据的领域正是极端高温，但用于训练降尺度模型的模拟成本可能超过其带来的收益，而所需数据量此前尚未得到明确。我们使用 CASPER 对其进行了测量。CASPER 是一个采用结构保持损失函数的 U-Net，将 32 km 分辨率的再分析数据降尺度至 1 km 的温度、湿度和风场，并覆盖了由 1 个月至 8 个月组成的 24 种配置。留出误差随训练数据与目标气候之间的气候距离呈线性增长，RMSE = 0.83 + 2.95 d；该关系解释了误差方差的 90%，而数据量仅能解释 7%，并且能够提前预测未见过的月份。在留出的极端夏季周期间，CASPER 保持了精细尺度结构和变量间的物理一致性，而相同计算预算的基线模型会削弱这些特征；在有记录的热浪期间，其结果与站点观测的差异不超过 1.8 K。迁移到新区域时，模型性能会随地理变化而下降；进行 11 天的本地模拟后，Vancouver 的留出误差从 3.8 K 降至 1.3 K。训练时段应覆盖目标气候：在模拟量减少至四分之一的情况下仍能达到相同精度，使没有大型计算设施的团队也有望开展千米尺度的极端高温降尺度。
12:00 arXiv cs.LG 81
arXiv:2609.39788v2 发布类型：replace-cross 摘要：潜在通信使多智能体系统能够直接在内部表示空间中交换信息，从而降低基于文本通信所带来的令牌、计算和延迟开销。为此，引入了轻量级可训练连接，将发送方的表示映射到接收方的输入空间。在本文中，我们表明，即使是良性的连接训练，也可能在底层经过安全对齐的智能体保持不变的情况下，相较于基于文本的通信提高有害服从程度。攻击者可以通过在有害查询—响应对上优化连接，或污染原本良性的训练数据，进一步放大这一影响。我们还提出了一种强化学习攻击，在不需要有害目标响应的情况下，同时奖励有害服从和良性任务性能。在三种通信拓扑和四个安全基准测试中，该攻击将平均有害服从分数从使用良性训练连接时的27.9提高到76.9。与直接监督优化相比，该方法在两个良性效用基准测试上也取得了更高的平均准确率。将奖励调整为鼓励更安全的行为，还能够修复受损的连接，在不更新智能体的情况下，大幅降低所有评估攻击中的有害服从程度。总体而言，我们的结果表明，安全对齐需要将多智能体系统作为一个整体加以考虑。代码：https://github.com/Muhammad-Huzaifaa/latent-safety
12:00 arXiv cs.LG 76
arXiv:2609.21788v2 公告类型：replace-cross 摘要：预训练的机器人基础策略或许能够执行长时域任务中的大多数步骤，却会在少数关键子任务上反复失败。为监督微调（SFT）收集更多完整任务示范，需要操作员重复执行策略已经能够良好完成的行为。强化学习（RL）微调为弥合这一差距提供了有前景的路径，但现有方法仅依靠稀疏奖励时，难以解决长时域任务。我们提出 PARTS（Policy Adaptation with RL on Targeted Subtasks），一种真实世界子任务 RL 框架，专注于在这些瓶颈处进行练习，同时允许训练过程中的轨迹采集仅需极少人工干预。冻结的预训练策略在整个执行过程中提供基准动作，而由智能体生成的选择器和成功验证器则激活残差修正并提供局部结果奖励。即使完整任务成功样本十分稀缺，这些奖励也能支持从成功子任务中学习。训练过程将在线 RL 与成功重加权再训练相结合，每个经过再训练的残差策略都会重新部署，以收集更多经验。人工操作员在设置阶段识别瓶颈，并在需要时执行物理重置。在双臂 YAM 和单臂 Franka 任务上，PARTS 将完整任务成功率分别从 32% 提升至 61%，以及从 50% 提升至 95%；平均每个任务仅需数十分钟的真实世界 RL 轨迹采集。与现有真实世界 RL 微调方法相比，在相同机器人轨迹采集预算下，PARTS 将完整任务成功率提升了超过 25%，同时所需人工参与更少。
12:00 arXiv cs.LG 82
arXiv:2608.18346v2 公告类型：替换交叉版本 摘要：耦合簇理论确立了分子电子结构性质的精度标准，但其计算规模增长过快，难以常规应用；而密度泛函理论虽然计算成本可承受，却存在系统性偏差。我们利用单一等变网络 HARP（Hamiltonian Read-out for Properties）解决了这一权衡：该网络仅需一次廉价的 B3LYP/def2-SVP 计算，即可预测有效单电子哈密顿量，并据此推导出一系列性质（能量、光学带隙、偶极矩、四极矩、极化率、Mulliken 原子电荷和 Mayer 键级）。在九种主族元素上，该方法达到了耦合簇精度，其中包括研究相对不足的磷、硫和氯化学。模型基于我们新建的内部数据集进行训练，该数据集包含针对全部九种元素、在 CCSD(T) 水平计算得到的多性质标签。在留出测试集上，相较于半局域、杂化和双杂化 DFT（以组合 CCSD(T)/cc-pVTZ 结果为参考），它将每种性质的误差降低了 3.8 至 270 倍，同时每个分子仅增加约 0.1 秒的实际计算时间，从而以一次 DFT 计算的成本实现耦合簇质量的预测。更为关键的是，模型不是汇聚逐原子特征，而是从预测的哈密顿量推导所有性质，因此其架构中内置了正确的尺寸标度关系：对于共轭寡聚噻吩，在有限场 CCSD 极化率和 EOM-CCSD 光学带隙仍能以可承受成本作为参考的最大尺寸上，该模型分别达到了约 1% 和约 3% 的一致性（分别为 44 个和 37 个原子；在 44 个原子时，仅计算一个 CCSD 外场点的成本就已经约为模型完整推理成本的 500 倍），并将修正后的趋势外推至 58 原子链。在这一领域，基于特征汇聚的架构从构造上就会失效。因此，准确的外推能力取决于模型的归纳偏置，而非训练数据。
12:00 arXiv cs.LG 74
arXiv:2607.15942v2 公告类型：replace-cross 摘要：遥感视觉语言模型日益被要求支持基于地球观测数据的开放式推理以及多种任务。该领域近期的大多数进展都由面向遥感的专门架构设计推动，通常会引入新的编码器、对齐模块或特定任务的融合机制。在本研究中，我们对这种架构专门化的必要性提出质疑。我们表明，只要在多样化的数据和任务上进行足够大规模的训练，一个具备通用能力的视觉语言模型就能在具有挑战性的遥感基准测试中取得有竞争力甚至达到当前最佳的性能。我们的模型采用单一语言策略，既可以直接以文本作答，也可以调用定位工具执行分割和 grounding。为训练这种异构行为，我们采用多任务强化学习框架，并使用自适应任务奖励，覆盖多项选择 VQA、开放式 VQA、图像描述、检测和分割任务，输入类型也十分多样。我们的方法在广泛的基准测试中取得了有竞争力的结果，包括高分辨率、多时相、多模态和多视角任务。此外，随着训练数据规模扩大，我们的实验显示，大多数任务的分布内和分布外性能都持续提升，而这种提升与各任务的数据多样性相关。这些发现表明，对于遥感 VLM 而言，即使没有架构创新，数据规模也足以带来良好效果。
12:00 arXiv cs.LG 82
arXiv:2601.22434v2 公告类型：replace-cross 摘要：训练生成式机器学习模型以生成合成表格数据，已成为增强数据共享隐私保护的一种流行方法。由于这一过程通常涉及处理敏感个人信息，发布训练好的模型或生成的合成数据集仍可能带来隐私风险。然而，近期研究、商业部署以及《通用数据保护条例》（GDPR）等隐私法规，大多在单个数据集层面评估匿名性。本文从以模型为中心的视角重新审视关于合成数据的匿名性主张，认为有意义的评估必须考虑底层生成模型，并以最先进的隐私攻击为基础。这一视角能够更好地反映现实世界中的部署情况，因为训练好的模型通常可以被交互式访问或查询。我们在模型可被访问的假设下解释GDPR关于个人数据和匿名化的定义，以识别必须加以缓解的可识别性风险，并将其映射到不同威胁环境下的隐私攻击。随后，我们论证仅凭合成数据技术本身并不能确保充分的匿名化。最后，我们比较了合成数据最常使用的两种机制——差分隐私（Differential Privacy，DP）和基于相似性的隐私度量（Similarity-based Privacy Metrics，SBPMs）——并指出，尽管DP能够针对可识别性风险提供稳健保护，SBPMs却缺乏充分的安全保障。总体而言，我们的工作将监管语境中的可识别性概念与以模型为中心的隐私攻击联系起来，使研究人员、从业者和政策制定者能够更负责任、更可信地评估合成数据系统。
12:00 arXiv cs.LG 73
arXiv:2512.06205v3 公告类型：替换交叉版本 摘要：符号接地问题探讨的是，像 cat 这样的词元如何能够指涉猫。我们提出了一个框架，用于依据预先声明的语义标准审计语义接地主张。审计报告给出测量结果和证据，并根据明确的验收标准作出附条件的总体判定。其评估维度包括准确性、稳健性和组合性，同时考察系统如何获得其机制、这些机制如何促进性能，以及它们为何被保留。在一个玩具网格世界中，智能体能够准确解释单个符号，却无法处理一个被保留的组合。按照声明的规则组合其解释则可以成功。这一对比表明，在观察到的失败中存在偏离组合规则的情况。此次审计以及一项针对预训练词向量的试点研究，都提供了证据，表明某一指定机制对当前性能有所贡献。但这一贡献是否解释了该机制为何被保留，仍未得到认证。该框架评估的是支持语义接地主张的证据；候选解释仍有责任说明意义是如何产生的。
12:00 arXiv cs.LG 79
arXiv:2609.40030v2 公告类型：替换 摘要：将预训练生成模型适配到由效用函数表达的任意偏好，是奖励对齐、引导式设计和约束满足的基础，并支持多种应用。现有微调方法需要在通用性与计算成本之间权衡：要么限制所支持偏好的类别，以简化优化；要么以效率为代价保留通用性。我们提出 Fenchel Tilt Flow Control（FTFC），将效用优化与生成模型拟合解耦。FTFC 首先通过在预训练样本上联合拟合有效奖励和密度比权重，针对目标分布进行优化。该方法结合效用函数的变分结构与 Fenchel 对偶性，支持通用的 $f$-散度惩罚，从而决定如何将奖励转换为分布校正权重。随后，这些权重被冻结，并在单阶段的重要性加权去噪或流匹配过程中用于修改扩散模型或流模型，无需对采样轨迹进行反向求导。我们在适当条件下为凹效用函数建立了精确对偶性，并证明加权拟合能够针对给定效用函数复现最优目标分布。在图像和分子生成基准测试中，与基线方法相比，FTFC 在多种偏好函数上均取得更好表现，同时效率最高可提升 $20\times$。所提出的方法无需复杂优化即可实现超越期望奖励最大化的适配；与基线方法相比，在更广泛的效用函数类别下仍能保持稳健性。
12:00 arXiv cs.LG 72
arXiv:2609.39644v2 发布类型：替换 摘要：核糖体谱分析（Ribo-seq）测量核糖体沿 mRNA 的分布，但观测到的占据谱也包含特定于实验的失真和随机变异。因此，能够准确预测测量谱的模型可能复现的是技术效应，而非揭示潜在的生物学规律。我们探讨了这样一个问题：联合建模在不同实验条件下收集的数据集，能否揭示共享的、依赖于序列的核糖体占据模式。我们提出 RiboUnmix，这是一种概率多数据集框架，其中每个期望的测量谱都表示为共享的、依赖于序列的信号，并由特定于数据集的乘法因子进行调制。负二项观测模型用于刻画重复实验之间的变异。我们在一个受控的合成基准上评估 RiboUnmix，该基准结合了程序化翻译动力学、核糖体交通、随机计数采样以及依赖于序列的实验失真。由于潜在动力学和失真均已知，因此可以分别评估共享谱和特定于数据集的效应是否得到恢复。推断出的两个组成部分都与其目标高度相关，表明 RiboUnmix 能够将共享的动力学模式与实验效应区分开来。在四个物种特异性的真实数据基准上，RiboUnmix 在测量谱预测方面优于序列到谱的基线模型。在 114 个来源于 HEK 的数据集子集上独立训练的模型，能够为留出转录本恢复一致的共享谱；改变训练数据集的数量和组成的实验表明，所学习的表示仍然稳定。因此，RiboUnmix 将不同实验之间的变异转化为可重复的、依赖于序列的核糖体占据模式的证据，为利用多样化的 Ribo-seq 数据集生成生物学假设提供支持。
12:00 arXiv cs.LG 78
arXiv:2609.38767v2 公告类型：替换 摘要：训练数据归因（TDA）用于估计单个训练样本对模型输出的贡献。大多数可扩展的 TDA 方法依赖逐样本梯度，而在 LLM 规模下计算和使用此类梯度，会在效率、兼容性和可扩展性方面带来挑战。我们推出 dattri-LLM，这是一个让基于梯度的归因在大规模场景下更具实用性的 TDA 库。在效率方面，dattri-LLM 使用紧凑的梯度表示，并根据成本模型动态路由梯度操作。在兼容性方面，其捕获机制能够从调用 backward() 的现有训练循环中收集逐样本梯度，而无需修改训练循环或其配置。这包括使用 DDP 和 FSDP 的分布式训练，以及基于 HuggingFace Transformers、TRL 和 OLMo 构建的训练流程。在可扩展性方面，dattri-LLM 提供可复用的梯度操作和训练时回调函数，用于实现归因方法和应用。这些接口支持多种归因方法，包括梯度相似度、基于曲率的影响力分析和基于轨迹的方法，以及在训练期间对梯度执行操作的应用，例如在线数据选择。在相同硬件和工作负载下，dattri-LLM 的吞吐量平均达到最快竞争库的 3.2 倍；它能够将多种归因方法扩展到 4 个 H200 GPU 上的 110B 参数模型，并在不同模型系列和规模的一系列模型中实现更优的归因保真度与成本权衡。dattri-LLM 的源代码位于 https://github.com/TRAIS-Lab/dattri-llm。
12:00 arXiv cs.LG 76
arXiv:2609.36081v2 公告类型：替换 摘要：随着网络学习新任务，表征会不断变化。我们探究早期表征变化是否会自然形成一种几何结构，并持续塑造后续学习。我们识别出早期表征漂移的一个低维子空间，将其称为支架，并检验它是否会在后续任务中被复用。在四种预训练视觉编码器和两个数据集上，后续表征变化始终更倾向于沿这一早期确定的子空间发生，而非匹配的随机备选子空间。这种复用依赖于学习历史：当网络经历不同的早期任务，但后续训练输入相同时，每个网络都会优先复用由其自身学习历史形成的支架。同样的偏好也出现在优化器的单次更新中，即使网络的主导局部响应方向已偏离原始支架。最后，相比匹配的随机约束，对支架内的变化施加约束会更明显地减缓新任务的学习，但对旧任务保持的影响则不够一致。总之，这些结果表明，早期经验会在神经网络适应未来任务的方式上留下持久的几何印记。代码可在 https://github.com/YuantaoDeng/latent-scaffold 获取。
12:00 arXiv cs.LG 71
arXiv:2609.26959v2 公告类型：替换 摘要：在受负荷限电影响的地区，太阳能光伏（PV）预测面临挑战，因为可靠的历史观测数据十分稀缺。本研究提出了一种结合保形化分位数回归（CQR）的迁移学习框架，以在严重数据稀缺条件下提升光伏功率预测性能并提供可靠的不确定性估计。研究使用来自澳大利亚爱丽斯泉的源域光伏数据集，对时序预测模型进行预训练，随后将其适配到模拟的孟加拉国光伏数据，以表示不同程度的历史数据可用性。实验结果表明，当目标域仅有一个月数据时，迁移学习最多可将均方根误差（RMSE）降低23.7%；当数据量为三个月时，RMSE可降低13.7%。所提出的迁移学习加 CQR 框架在拥有三个月目标域数据时实现了94.3%的经验覆盖率，同时生成的预测区间比不采用迁移学习时窄14%。这些结果表明，当目标域光伏数据严重受限时，将迁移学习与保形不确定性量化相结合，能够同时提升点预测精度和不确定性估计的可靠性。
12:00 arXiv cs.LG 77
arXiv:2609.05253v2 公告类型：替换 摘要：我们提出 GLASS，这是一种图级异常检测（GLAD）框架，通过在单位超球面上进行图-语言对齐，实现稳健的跨域可迁移性。GLASS 通过多切片软余弦目标函数，将结构感知图编码器与指令感知文本嵌入进行对齐，从而构建统一的表示空间。我们的框架将图的局部、全局和语义属性序列化为紧凑的 Graph Descriptor Prompt（GraphDP），建立文本桥梁，实现与域无关的异常评分。通过利用 Matryoshka 表征切片强制执行多尺度一致性，该模型能够在多个粒度层级捕捉异常偏差。我们将异常检测表述为对齐超球面上的密度估计，并引入 Spherical Multi-Modal Scoring（SMS），在图嵌入空间和文本嵌入空间中分别实例化 von Mises-Fisher 核密度估计器。这一概率建模形式在高集中度极限下还原了基于角度的 1-近邻评分，促成了实用的均值 k-近邻评分器，并为结构异常信号与语义异常信号的融合提供了原则性方法。共享的文本嵌入空间还可作为跨域桥梁：无需目标域训练数据，只需对目标域的 GraphDP 进行编码，GLASS 即可执行零样本异常检测；仅使用少量正常样本时，则可通过参考集校准进行少样本适配。针对隐私敏感型部署场景，我们进一步以有界的联合图-文本核摘要扩展参考集校准，在保持编码器固定且不依赖私有目标参考数据的同时，为图记录提供差分隐私。在十二个基准数据集和三个元域上，与近期先进的 GLAD 基线方法相比，GLASS 取得了最佳平均 AUROC 和排名，并实现了有效的跨域迁移。
12:00 arXiv cs.LG 78
arXiv:2606.19138v2 发布类型：替换 摘要：神经控制微分方程（NCDE）为时间序列预测提供了一个强大的连续时间框架，但基于图的标准扩展通常完全从数据中学习空间结构，即使在先验已知有向图结构的情况下也是如此。我们提出 Informed Neural controlled Differential EQuationS（INDEQS），这是对基于图的 NCDE 预测方法的一种改进，可在不同的架构位置融入有向图的先验知识。INDEQS 将图节点之间隐藏状态的内部混合与向量场和控制之间的外部混合分离开来，并提供了一个轻量级的图约束变体和一个表达能力更强的变体；后者通过自适应图卷积从数据中学习额外的图连接。为系统研究图先验信息在何种情况下有利于预测，我们在有向图上设计了连续平流模拟，生成具有已知真实流动结构的合成时空数据集。随后，我们在两个现实世界任务上评估 INDEQS：水文网络中的河流流量预测，以及 PeMS08 上的交通流量预测。在合成数据和河流流量任务中，与参数量相当的无先验 NCDE 相比，外部先验信息始终能够降低平均绝对误差，尤其是在较大的图上；而当需要严格遵循已知邻接关系时，内部先验信息则提供了参数效率更高的替代方案。对离散卷积解码器和连续时间解码器的比较进一步表明，在现实世界任务中，连续解码器能够实现更高的准确率和更强的时间灵活性。INDEQS 和该平流模拟的实现可见于 https://github.com/mitchi1/indeqs 。
12:00 arXiv cs.LG 76
arXiv:2606.18967v2 公告类型：替换 摘要：强化学习（RL）已成为大型语言模型（LLM）的代表性后训练范式，使模型具备强大的推理和智能体能力。然而，rollout 生成仍是延迟的主要瓶颈，因为自回归（AR）采样需要按顺序逐个解码响应，而少量长尾生成往往决定了整体完成时间。推测解码（SD）是一种成熟的固定 LLM 服务技术，通过快速生成草稿 token 并利用并行验证接受这些 token，在保持目标模型分布不变的同时降低延迟。然而，其实际加速效果无法直接迁移到 RL rollout 中，原因在于：（i）不断演化的目标策略会使任何固定草稿模型与策略输出分布之间的失配日益严重；（ii）在 rollout 解码过程中，有效批次大小会逐步缩小，使解码从计算受限转变为内存受限，此时并行验证能够利用未充分使用的计算资源。因此，加速 RL rollout 既需要一个能够适应演化策略下长序列、高温度生成的高效草稿模型，也需要系统感知地使用 SD，以避免在计算受限阶段进行推测。我们提出 EfficientRollout，一种面向系统感知的自 SD 框架，旨在解决 RL rollout 中的这一问题。EfficientRollout 从目标模型中生成量化草稿模型（即自推测解码），使其与不断演化的策略保持耦合，而无需单独进行草稿模型预训练或在线适配。此外，该方法将系统感知的 SD 开关策略与接受率感知的草稿长度自适应相协调，仅在有利的阶段启用推测，同时根据草稿模型质量的变化匹配草稿生成预算。与加速的 AR rollout 基线相比，EfficientRollout 可分别将 rollout 延迟和端到端延迟最多降低 24.2% 和 15.6%，同时保持最终模型质量。
12:00 arXiv cs.LG 84
arXiv:2605.25819v2 公告类型：替换 摘要：成员推断攻击（MIAs）是通过模型或从数据中学习到的统计信息，实证评估训练数据中敏感信息泄露情况的常用方法。MI 漏洞通常通过一个二元分类器进行评估，该分类器尝试预测某个特定样本是否出现在训练数据中。为了评估 MIA 的有效性，通常使用更大数据集的随机划分来训练多个影子模型。影子模型训练完成后，即可评估所有具有相应影子模型的样本的 MI 漏洞。为了可靠地评估 MI 漏洞，需要大量影子模型，这在计算上可能难以实现。因此，实践中通常不报告实际的样本级漏洞，而是报告多个样本上的聚合结果。我们展示了典型 MIA 评估流程中的两个关键缺陷。首先，我们表明，从一个固定的超集中抽取影子数据集会导致有限样本偏差，从而夸大漏洞估计值。其次，我们表明，在极低误报率（FPR）范围内常用的通过拼接多个个体的 MIA 分数来评估真正率（TPR）的方法，无法在各样本的 FPR 之间实现校准。针对这两个缺陷，我们提出了修正方法；其最简单的近似形式不会产生任何额外的计算成本。我们还表明，通过增加计算量，可以进一步提高漏洞估计的可靠性。
12:00 arXiv cs.LG 78
arXiv:2605.14867v2 发布类型：替换 摘要：由于脉冲活动具有较高的时空分辨率，能够支持准确解码，因此一直是行为解码中占主导地位的神经信号。然而，随着皮层内脑机接口（iBCI）向更高通道数和无线运行方向发展，记录脉冲所需的高采样率带来了巨大的功耗和带宽需求。局部场电位（LFP）具有互补优势，包括更高的长期稳定性、更低的能耗和更低的带宽需求。然而，基于 LFP 的解码器通常准确率较低，并且依赖无法直接用于实时部署的非因果架构。我们提出了 REALM，这是一种用于因果 LFP 行为解码的回溯式知识蒸馏（RKD）框架。受语音识别中离线到在线蒸馏的启发，REALM 将预训练的多会话双向 LFP 教师模型中的非因果表征知识迁移到因果学生模型中。我们首先使用连续掩码自编码（CMAE）在多个记录会话上预训练双向 Mamba-2 教师模型，然后通过结合表征对齐与自编码的目标函数，将其表征蒸馏到紧凑的因果学生模型中。在无标签和微调两种流程中，REALM 的平均准确率均为所比较解码器中的最高水平，并且相较于每个基线（包括当前最先进的 CrossModalDistill）都取得了具有统计显著性的提升。在预训练、蒸馏和解码的整个过程中，REALM 始终仅使用 LFP；其参数量不到 CrossModalDistill 已发表学生模型的一半，预训练时间仅为其十分之一。这些结果表明，因果 LFP-only 模型能够达到与非因果多模态模型相当的解码准确率，为下一代无线和植入式 iBCI 提供了一种实用且可扩展的方法。
12:00 arXiv cs.LG 78
arXiv:2604.16067v2 公告类型：替换 摘要：对预训练视觉-语言模型（VLM）进行机器人操作微调时，会引入一个根本性的稳定性-可塑性两难：连续流匹配动作专家将集中的低秩回归梯度反向传播至基于高维交叉熵目标训练的 Transformer 主干网络中。这种跨模态梯度不对称会迅速削弱预训练的视觉推理能力。现有解决方案要么通过停止梯度切断连续梯度流，要么通过 LoRA 约束更新；前者切断了梯度传播，后者限制了更新秩，但无法感知语义破坏；此外，两者通常都依赖混合批次的 VQA 协同训练，使训练计算量翻倍。我们提出 AEGIS（Anchor-Enforced Gradient Isolation System），一种无需缓冲区、逐层进行正交梯度投影的框架，使连续流匹配微调得以进行，同时将预训练表示与破坏性的参数更新隔离开来。在训练开始前，AEGIS 利用预训练数据估计各层高斯激活统计量，并将其作为静态参考锚点。在微调过程中，闭式 Wasserstein-2 传输惩罚通过活动计算图生成锚点恢复梯度。随后，顺序双反向传播过程执行逐层 Gram-Schmidt 正交化：当方向发生冲突时，将任务梯度投影到恢复向量的正交补空间中。我们为逐层正交投影建立了精确的能量保持界，结果表明，AEGIS 在实证中仅损失 0.62% 的梯度能量，同时阻止特征漂移累积。在 LIBERO 操作基准上对 PaliGemma2-3B 进行微调时，AEGIS 在保持连续动作收敛效果相当的同时，完整保留了预训练的视觉问答性能和基线留出损失，并且无需回放缓冲区、教师模型或协同训练数据。
12:00 arXiv cs.LG 72
arXiv:2602.18639v2 发布类型：替换 摘要：从高维视觉观测中学习的世界模型，使智能体能够直接在潜空间中进行决策和规划，从而避免像素级重建。然而，近期的潜在预测架构（JEPA），包括 DINO 世界模型（DINO-WM），由于对“慢特征”敏感，在测试时表现出鲁棒性下降。这些慢特征包括背景变化和干扰物等视觉变化，而它们与待解决的任务无关。为了解决这一局限性，我们在预测目标中加入了双模拟编码器，以强制实现与控制相关的状态等价性：将具有相似转移动态的状态映射到彼此相近的潜状态，同时限制慢特征的影响。我们在导航任务（PointMaze）和操作任务（PushT）上评估了模型，并测试了不同的测试时背景变化和视觉干扰物。在所有基准测试中，我们的模型都能持续提升对慢特征的鲁棒性，同时运行于更小的潜空间中，其规模最多比 DINO-WM 小 10 倍。此外，我们的模型不受预训练视觉编码器选择的影响，在与 DINOv2、SimDINOv2 和 iBOT 特征结合时仍能保持鲁棒性。
12:00 arXiv cs.LG 73
arXiv:2510.24046v2 公告类型：替换 摘要：现有的表格数据生成方法主要关注匹配真实数据与合成数据之间的统计分布，往往忽视对潜在因果关系的保持。因此，生成的样本可能看起来很真实，却无法维持可靠下游分析所需的因果结构。我们提出 CA-GAN，一种面向因果关系感知的表格数据合成生成框架，将因果知识显式融入训练和生成过程。CA-GAN 首先从真实数据中提取因果图，以提供结构先验知识；随后采用图条件化的 Conditional WGAN-GP，其中的子生成器依据变量之间的因果依赖关系对变量进行建模。更重要的是，我们引入了一种基于强化学习的目标函数，将真实数据与合成数据之间的因果图差异作为奖励信号，使因果一致性在训练过程中成为明确的优化目标，而不再是采样顺序所隐含产生的结果。在 14 个合成数据集和真实世界数据集上的大量实验表明，CA-GAN 在因果关系保持方面始终优于七种先进基线方法，同时实现了较强的下游应用效用、隐私保护能力和数据质量。这些结果表明，CA-GAN 为生成高质量合成表格数据提供了一种有效且实用的解决方案，能够更好地遵循潜在的因果机制。
12:00 arXiv cs.LG 84
arXiv:2508.13408v3 发布类型：替换 摘要：化学语言模型（CLMs）正日益应用于从头药物设计，这得益于近年来模型规模、计算量和数据集规模的增长。然而，设计选择、训练动态与下游生成质量之间的关系仍缺乏充分理解。我们开展了一项计算受控的 CLMs 规模化研究，涵盖超过 30,000 项实验，涉及分子表示（SMILES、SELFIES、SAFE）、分词方式（原子级分词和字节对编码）、模型规模（0.5M–1B 参数）、经过数据泄漏控制的数据集（MOSES、ChEMBL、PubChem、ZINC-22）以及模型架构（仅解码器和编码器-解码器）。通过拟合 IsoFLOP 曲线，我们确立了预训练损失的明确规模化趋势，但发现这些改进并未转化为目标导向分子设计中同等程度的性能提升。逐层探测和稀疏自编码器分析揭示了化学表征的持续发展：化学语法较早趋于饱和，而语义属性的形成更为缓慢，并随着进一步训练和模型规模扩大而变得越来越容易获取。在所评估的协议和 oracle 预算下，这些表征能力的提升与目标导向生成性能的边际递减并存。由此得到的模型套件 NovoMolGen 取得了最先进的结果，在各项药物发现任务的目标导向分子生成中超越了以往的 CLMs 和专用生成模型。这些发现揭示了化学表征学习与下游分子设计之间的脱节，推动人们开发能够更直接学习化学语义的预训练范式。
12:00 arXiv cs.LG 72
arXiv:2410.23660v2 公告类型：替换 摘要：联邦学习（FL）是一种利用去中心化数据进行模型协同训练的学习范式。近年来，研究表明，在 FL 中使用预训练权重初始化能够有效提升模型性能。然而，当前预训练模型的复杂性不断增加，其参数量大幅增长，显著加剧了将这些模型适配到 FL 所需通信轮次方面的挑战。为了解决通信成本问题并提升预训练模型在 FL 中的适配性能，我们提出了一种创新的、基于模型插值的本地训练技术，称为“Local Superior Soups”。我们的方法通过正则化模型插值增强不同客户端上的本地训练，在较少通信轮次内推动模型探索一个连通的低损失盆地。该方法可作为预训练模型在 FL 中实现无缝适配的催化剂。我们在多个广泛使用的 FL 数据集上验证了其有效性和效率。我们的代码可在 https://github.com/ubc-tea/Local-Superior-Soups 获取。
12:00 arXiv cs.LG 77
arXiv:2307.12226v3 公告类型：替换 摘要：机器学习模型——包括知名的零样本模型——通常在这样的数据集上训练：其标签仅占更大标签空间的一小部分。这类空间通常配备了一种度量，通过标签之间的距离来描述它们之间的关系。我们提出了一种简单的方法来利用这些信息，在无需额外训练的情况下，使训练好的模型能够可靠地预测新类别；或者对于零样本预测，提高其性能。我们的方法可以直接替换标准预测规则，将 argmax 换成 Fréchet 均值。我们对该方法进行了全面的理论分析，研究了：（i）标签空间直径、样本复杂度和模型维度之间的权衡所对应的学习理论结果；（ii）能够预测任意未观测类别的全部场景的刻画；以及（iii）一种类似主动学习的最优下一类别选择过程，用于在无法预测全部未观测类别时获得最优训练类别。在实证方面，借助易于获取的外部度量，我们提出的方法 Loki 在 ImageNet 上相较于 SimCLR 实现了最高达 29.7% 的相对提升，并可扩展至数十万个类别。当不存在此类度量时，Loki 可以利用从类别嵌入中自行推导的度量，并在 CLIP 等预训练零样本模型上取得 10.5% 的提升。
12:00 arXiv cs.LG 78
arXiv:2610.02207v1 公告类型：cross 摘要：3D 高斯虚拟形象支持快速渲染，但其实时动画通常受到高成本神经网络推理的限制。我们针对这一瓶颈展开研究，发现预训练虚拟形象模型的动画可以通过与身份无关的混合形状线性组合来近似。基于这一发现，我们提出 GALA（Gaussian Animation via Linear Approximation），一种蒸馏方法，用浅层系数预测器和线性混合替代逐帧的复杂神经解码。为提升保真度并降低内存需求，我们在渲染感知度量和内存预算约束下，利用局部块 PCA 构建基底。我们训练了一个浅层 MLP 网络来预测混合形状系数，并且无需重新训练原始模型，即可应用于各种动画架构。我们通过加速三种不同虚拟形象模型的推理来验证 GALA，这些模型用于实现带有面部表情和服装动态的 3D 动画以及全身动画。在这些模型上，我们的蒸馏方法能够泛化到未参与训练的身份，并在保留大部分渲染质量的同时，将 CPU 动画成本最高降低三个数量级。该方法取得的出色结果证实了学习型虚拟形象表示中存在共享的线性结构，并支持在移动设备上以最高达 60fps 的帧率实现高效且准确的动画。项目页面：https://ramazan793.github.io/gala/
12:00 arXiv cs.LG 77
arXiv:2610.02117v1 公告类型：cross 摘要：在策略自蒸馏近期已成为提升语言模型推理能力的一种有效方法，其通过接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。然而，将其应用于多模态大语言模型（MLLMs）仍基本处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其增益仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏方法：为教师模型提供文本形式、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序生成的场景，其中自动提供物体标识和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这些空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅凭图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。重要的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型实现显著的从合成数据到真实数据的迁移，且超越后训练所使用的任务和数据分布。项目页面：https://github.com/sirkosophia/Where-OPD
12:00 arXiv cs.LG 73
arXiv:2610.02092v1 公告类型：cross 摘要：数据选择对于在大规模异构语料库上训练大型语言模型至关重要。用于训练数据选择的元学习通过根据目标验证目标学习数据权重，为启发式评分提供了一种有原则的替代方案，但现有方法在细粒度评估与向未见数据迁移之间面临权衡。一种自然的解决方案是用选择网络替代逐样本权重。然而，我们发现，将此类网络直接纳入现有的 MTS 目标会导致优化不稳定和泛化能力较差，其原因在于权重抑制以及对易学习特征的持续依赖。为解决这些问题，我们提出 Transferable Example Scoring and Selection (TESS)，这是一个基于 Pointwise Value Matching 目标（PVM）的可扩展数据选择框架。在 LLM 安全性和针对性指令微调任务上的实验表明，该方法具有很强的跨数据集迁移能力，能够从子集迁移到完整语料库，并从较小模型迁移到较大模型。
12:00 arXiv cs.LG 72
arXiv:2610.02000v1 公告类型：cross 摘要：雨、雪、雾和沙尘等恶劣条件，仍然给自动驾驶中的基于摄像头的感知带来挑战。我们研究域偏移条件下基于街景图像的多类别天气识别问题，其中大多数可用训练数据来自非街景来源，与真实驾驶场景存在显著差异。我们提出 Weather-Aware Adversarial Discriminative Domain Adaptation（WA-ADDA），根据预测的天气类别对域判别器进行条件化，从而促使模型学习同时具备域不变性和天气敏感性的特征。我们还通过将多样化的非街景天气数据集整合为源域、将真实街景图像作为目标域，构建了一个多数据集基准，并制定了以宏平均准确率为主要指标的标准化评估协议。在 ResNet-50、EfficientNet、VGG 和 DenseNet 等不同骨干网络上，WA-ADDA 均能稳定提升街景场景下的性能，并在具有挑战性的天气条件下取得较高的各类别召回率，同时保持晴好天气下的识别准确率。这些研究结果表明，域适应天气识别具有可行性，同时也凸显了我们的基准对于推进稳健的车载感知研究的价值。
12:00 arXiv cs.LG 82
arXiv:2610.01963v1 公告类型：cross 摘要：急诊科（ED）分诊是一项高风险的优先级排序任务，其中人口统计、社会经济和系统环境信息可能不恰当地影响紧急程度分配。尽管开放源代码大型语言模型（LLM）正越来越多地被考虑用于本地化且注重隐私的临床决策支持，但反事实偏差如何在不同模型系列、模型规模、医学领域模型和领域适配模型之间变化，仍不明确。我们针对十个开放源代码LLM的儿科急诊严重程度指数（ESI）预测开展了比较性反事实审计。我们以真实临床案例和手册式临床案例为基础，构建成对的反事实变体：每次仅改变一个注入的人口统计、社会经济、医疗服务可及性、行为、社会或系统环境变量，同时保持临床表现不变。模型包括Qwen2.5-7B、Qwen2.5-14B-Instruct、经过QLoRA微调的Qwen2.5-7B、MedGemma变体、MedLLaMA2-7B、GPT-OSS-20B和GPT-OSS-120B。我们测量了任何反事实变化、分诊不足、分诊过度、超过一个ESI等级的变化、平均变化幅度以及平均绝对变化幅度。反事实敏感性存在显著差异，并未随着模型规模扩大或医学领域预训练而稳定降低。经过微调的Qwen2.5-7B表现出最低的总体敏感性，其任何变化率为5.27%，平均绝对变化幅度为0.0534；相比之下，基础模型分别为16.02%和0.1706。若干规模更大或属于医学领域的模型表现出更显著的变化。分层分析和相关性分析进一步揭示了总体比率所掩盖的、具有临床重要性的变化方向和共同失效模式。这些发现表明，在临床部署之前，反事实审计可作为一种轻量且具有临床可解释性的框架，用于比较开放源代码LLM中的公平性风险。
12:00 arXiv cs.LG 80
arXiv:2610.01933v1 发布类型：cross 摘要：推理时缩放无需额外训练，即可使预训练扩散模型适应新的采样任务。现有方法主要依赖增加粒子数量的蒙特卡洛采样，但其前提是预训练模型是精确的。在实际应用中，数据和训练方面的限制会使模型并不完美，而这些方法也会继承模型的误差。增加粒子数量可以降低蒙特卡洛误差，却无法消除终点与期望目标之间的不匹配，也无法消除跟踪指定概率路径时产生的误差。我们提出能量型 Feynman-Kac 校正器（EBFKC），这是一种适用于能量型扩散模型的框架，在给定参考能量的情况下动态校正这些误差。首先，我们推导出 Feynman-Kac 动力学：即使模型并不完美，在连续时间的总体极限下，该动力学仍能精确跟踪指定路径；随后，我们利用带方差控制引导的序贯蒙特卡洛来近似这些动力学。为消除终点不匹配，我们将预训练能量用作扩散路径上的替代量，并逐步纳入所学习终端能量与目标终端能量之间的差异。在高斯混合模型、粒子系统、alanine dipeptide 和 alanine tetrapeptide 上的实验表明，在退火和奖励倾斜条件下，我们的方法能够紧密匹配目标分布和分子自由能剖面，而标准的推理时缩放基线仍保留了显著的采样误差。
12:00 arXiv cs.LG 81
arXiv:2610.01846v1 公告类型：交叉 摘要：基于语音的阿尔茨海默病（AD）评估日益依赖预训练的自监督学习（SSL）模型，这些模型直接从原始音频中学习声学表征，使模型接触到录音因素。我们探讨了这些因素是否仅仅被编码在 SSL 表征中，还是能够系统性地改变预测结果。我们使用 ADReSSo 和三个大型 SSL 主干模型，对仅包含参与者语音的音频、非语音音频以及完整录音音频施加受控的噪声和混响干预。我们结合逐层线性解码、输入空间与表征空间干预，以及几何对齐分析，以区分声学因素的可解码性与其对阿尔茨海默病预测的影响。结果表明，在三个 SSL 主干模型中，受控的声学干预都会改变阿尔茨海默病预测结果。尽管在原始数据中噪声未表现出显著的诊断组间差异，但它产生了最强的干预效应。重要的是，这些效应相对于分类器的决策方向呈现出系统性结构，在留出的测试集上得以复现，并且当表征空间中的干预方向反转时，效应也随之反转。总体而言，这些发现表明，高预测性能以及测量到的声学因素不存在显著诊断组间差异，并不足以保证模型的稳健性。我们认为，基于干预的稳健性测试应成为构建可信临床语音模型的标准做法。
12:00 arXiv cs.LG 79
arXiv:2610.01835v1 公告类型：cross 摘要：我们介绍了 Varda-single-1.0，这是一套面向阿尔卑斯地区构建的中期数据驱动天气预报系统。该系统在1 km分辨率的网格上提供逐小时确定性区域预报，并在31 km网格上提供全球预报。系统由两个独立训练的拉伸网格 Graph Transformer 模型组成，采用编码器-处理器-解码器架构，并在 Anemoi 框架中开发：一个以6小时为步长的自回归预报模型，以及一个时间降尺度模型，用于重建预报模型各时间步之间的逐小时预报。其训练流程包括：首先使用 ERA5 再分析数据进行预训练，随后使用20年的千米尺度区域再分析数据进行训练，最后使用业务化千米尺度分析资料进行微调。通过与业务化分析资料和地面站观测进行为期一年的验证，Varda-single 在大多数主要评分指标和变量上均具备竞争力，或优于 MeteoSwiss 的业务数值天气预报基线。在预报时效最长达+33小时的情况下，其总体表现与高分辨率1 km ICON-CH1-EPS 控制预报相当；在预报时效最长达+120小时的情况下，其总体表现通常优于2 km ICON-CH2-EPS 控制预报。尽管总体评分具有竞争力，Varda-single 低估了部分局地风速极值，并生成了过于平滑的对流性降水场，这与平方误差训练所导致的平滑效应一致。为深入了解模型行为，我们在总体主要评分之外研究了三个案例，发现 Varda-single 在复杂地形上对局地风场的表征尤其薄弱。Varda-single 是复杂地形高分辨率机器学习预报发展的重要一步：它通过数据驱动模型补充 MeteoSwiss 的业务区域数值天气预报模型，并为研究人员和面向用户的特定应用提供了一个预训练模型。
12:00 arXiv cs.LG 80
arXiv:2610.01578v1 公告类型：cross 摘要：为什么掩码预测能够学习到有用的表征，而无掩码重构却无法做到？我们在一个高维掩码自动编码器（MAE）模型中研究这一问题，该模型在具有共享潜在结构和异质噪声的数据上进行训练。我们证明，在某些无掩码线性重构（等价于 PCA）失效的情形下，掩码线性重构仍能以线性样本复杂度恢复潜在特征。我们还量化了掩码重采样的统计优势，这是掩码预训练中一个公认的重要组成部分。通过为每个样本引入固定的 $K$ 个掩码，我们刻画了其对特征恢复和下游性能的影响，并确定了掩码多样性更高能够降低样本复杂度的情形。受这一预测启发，我们发现，在标准图像训练流程中，随机裁剪和翻转即使在图块掩码固定时也会通过更新预测任务，掩盖掩码重采样的优势。移除这些变换后，我们在 CNN 自动编码器和视觉 Transformer 中发现，相较于静态掩码，动态掩码具有下游优势。一项互补的 BERT 试验发现，更高的掩码多样性能够提升下游语言任务的表现。我们的结果区分了掩码预测目标本身与掩码多样性所带来的收益，并展示了一个易于处理的理论如何指导实验，从而揭示被标准训练实践所隐藏的优势。
12:00 arXiv cs.LG 76
arXiv:2610.01513v1 发布类型：cross 摘要：在人工智能领域的序列决策中，长期依赖仍然是一项重大挑战：RNNs 受困于梯度消失问题以及基于向量的隐藏状态表达能力有限，而基于 Transformer 的模型则受到注意力机制二次扩展的限制。近期研究提出使用 Test-Time Training（TTT）框架来应对这一问题，该框架通过在训练时和测试时进行梯度下降，将情景记忆存储在神经网络的参数中。该方法已在自然语言处理领域取得成功，但据我们所知，它尚未应用于强化学习（RL）领域，也尚未有研究分析这种记忆在实践中的具体运作方式。本文通过为 Decision Transformer 添加 TTT 层，构建了名为 Decision Titan 的模型，研究 TTT 框架在离线 RL 中的潜力。我们在 X-Maze 环境中分析了该模型的性能和属性。X-Maze 是对 T-Maze 的扩展，旨在测试序列记忆；同时，我们通过可视化随时间变化的门控值，研究记忆机制的学习过程。我们的主要发现是：Decision Titan 能够学习范围比上下文窗口长 20 倍的长期依赖，能够泛化到训练数据长度 1.7 倍的序列；但关键在于，时间泛化取决于所使用的时间嵌入，而学习长期依赖的能力则取决于相关信息的编码方式。
12:00 arXiv cs.LG 79
arXiv:2610.01509v1 发布类型：cross 摘要：关于大语言模型（LLMs）强化学习（RL）后训练，一项新兴假设认为，后训练只是在锐化基础模型已有的行为，以牺牲解法覆盖度为代价提升单次准确率。尽管这一权衡已在数学和编程任务中得到观察，但它未必适用于智能体任务，因为多轮工具使用和交互可能需要模型在后训练期间新获得的能力。我们出人意料地发现，配备轻量级推理框架的预训练 LLMs 可以充当能力不俗的智能体。尽管其准确率（pass@1）低得多，但在拥有充足测试时预算的情况下，它们在解法覆盖度（pass@K）方面往往超过经过后训练的对应模型。我们进一步分析了其底层机制，发现后训练会将任务推向两个极端：要么总能解决，要么永远无法解决，从而以牺牲解法覆盖度为代价，提高采样效率和一致性。为衡量这一代价，我们提出 Sharpening Tax，这是一项诊断指标，用于量化后训练后测试时可扩展性的损失。在来自四个系列的 14 对基础模型/后训练模型，以及三个智能体基准测试中（总计 42 个案例），该税负在大多数设置下普遍存在，可以通过少量 rollout 进行估计，并且与其他指标具有良好的相关性。最后，我们提出后验温度调节组采样（PTGS），这是一种简单、即插即用的贝叶斯采样器，可根据估计的难度为每个提示自适应地调整采样温度。在两个智能体环境中应用于 RL 训练期间时，PTGS 相比固定温度基线承担的税负更低，在重复采样下能够解决更多任务，同时还能提升单次准确率。
12:00 arXiv cs.LG 78
arXiv:2610.01301v1 公告类型：cross 摘要：当前大多数抓取合成系统都经过离线训练，并在部署期间保持不变。当部署条件与训练数据相似时，这种方式表现良好；但当机器人遇到训练中未见过的条件（例如陌生物体）时，性能可能会下降。在本文中，我们提出了一种用于杂乱场景中平行夹爪单视角 6-DoF 抓取合成的持续学习框架。我们的方法不对大型参数化模型进行微调，而是通过学习到的嵌入空间中的记忆进行适应：抓取结果会更新未来的抓取评分，而可选的用户示范则会被召回，并作为额外的候选抓取迁移到新场景中。我们在仿真环境以及大规模真实世界实验中评估了该方法，实验包含超过 1500 次抓取试验。结果表明，即使在适应之前，我们的方法也能达到现有 6-DoF 抓取基线的性能；对于训练期间缺失或代表性不足类别中的未见物体，该方法能够在线提升性能；同时还支持遗忘有限的长时程持续学习。在真实世界实验中，仅经过 50 次在线抓取尝试后，我们的方法在多个具有挑战性的物体类别上达到了超过 90\% 的成功率。视频和代码见 https://giuschio.github.io/cl_grasping/。
12:00 arXiv cs.LG 72
arXiv:2610.01102v1 公告类型：cross 摘要：协同式多 humanoid 移动操作具有广阔前景，但由于全身控制的高维性、去中心化决策以及可扩展性等问题，仍面临诸多挑战。尽管近期的强化学习方法提升了单个 humanoid 的全身控制能力，但将其扩展到多 humanoid 场景仍然并非易事，通常需要大量的奖励工程或特定任务的设计。我们提出 MASkillBlender，一种通用的多智能体强化学习框架，用于实现去中心化的多 humanoid 全身协调。通过在可复用的预训练单 humanoid 技能之上学习共享的去中心化高层策略，MASkillBlender 仅使用任务级奖励即可实现协调行为，而无需特定任务的动作参考。为提高学习效率，我们进一步针对同质多 humanoid 系统引入了一种基于排列的数据增强策略，并从理论上证明，在同质马尔可夫博弈表述下，排列后的样本能够保留原始样本的策略梯度方向。我们在两种 humanoid 形态平台上的多个多 humanoid 协调任务中对 MASkillBlender 进行了评估。仿真结果表明，所提出的框架始终能够取得出色的任务性能，并能在不同任务和 humanoid 形态平台之间实现协调行为。
12:00 arXiv cs.LG 72
arXiv:2610.01034v1 发布类型：cross 摘要：贝叶斯推断越来越多地使用信息丰富但隐式的先验，这些先验仅由样本表示，例如历史集成、模拟器输出和预训练生成模型。在测试时引导任务（广义贝叶斯）中也存在同样的计算问题：通过显式的正权重（例如指数化奖励）对隐式先验进行倾斜。我们提出了一个源空间广义贝叶斯推断框架，将低成本的少步先验传输与后验稳定性保证相结合。具体而言，我们使用单步或少步改进的 MeanFlow（iMF）映射表示先验，并在其高斯源空间中进行后验采样。我们建立了精确后验与学习后验之间的 Wasserstein 误差界，该误差界由联合总体 iMF 和辅助速度损失决定，并进一步分解为训练次优性和模型类近似误差。在 iMF 源空间中，我们采用带预条件 Crank-Nicolson 更新的并行回火，并引入一种融合分裂 Hamiltonian Monte Carlo 的混合变体，以提高采样效率。合成实验表明，所提出的框架能够准确且高效地近似后验分布；而 CLIP 引导的 ImageNet 实验则展示了该框架将预训练的 iMF 图像先验引导至文本指定偏好的能力。
12:00 arXiv cs.LG 74
arXiv:2610.00907v1 公告类型：cross 摘要：关系基础模型（RFMs）在一组关系数据库和预测任务上进行一次预训练，随后以零样本方式应用于此前未见过的数据库和任务。为了对目标行进行预测，RFM 会采样通过外键与该行相连的行所构成的邻域，并将该邻域用作推理上下文。降低推理成本是任何基础模型的重要目标；对于 RFM 而言，这一成本会随着上下文规模的增大而增加。缩小上下文最简单的方法是丢弃部分采样行，但这忽略了数据库模式的语义，因此丢弃信息丰富行和信息不丰富行的可能性相同。我们提出了 STEER，这是一种通过将推理上下文集中于与当前预测任务最相关的表来缩小上下文的采样方法。STEER 通过提示大语言模型，根据给定任务对数据库模式中的外键边进行相关性分层，从而获取相关性信息，然后将每个层级映射为遍历过程中跟随该边的概率。由于该排序仅使用模式信息，因此每个任务只需计算一次，便可在后续所有预测中复用，从而摊销其成本。我们在三种最先进的 RFM（RT、RT-J 和 Griffin）上评估了 STEER，结果表明，在保持预测准确率、且在某些情况下提升预测准确率的同时，它平均可将推理上下文规模减少约 40%。
12:00 arXiv cs.LG 75
arXiv:2610.00899v1 公告类型：cross 摘要：自回归视觉-语言-动作模型通常将连续机器人动作表示为离散标记序列，从而能够使用标准的下一个标记预测目标进行动作预测。FAST 通过将包含多种时间频率的动作紧凑地编码为相对较少的标记，显著改进了这种表示方式。然而，尽管这种压缩减少了自回归预测所需的动作标记数量，却未必能提高从有限示范中进行策略学习的效率。具体而言，FAST 通常为每个量化动作序列分配一种确定性的标记化方式，尽管多个标记序列都可以表示并解码为相同的机器人运动。我们研究了利用这种表示冗余是否能够改进策略学习。在本文中，我们提出带随机采样的动作序列标记化（TOkenization of Action sequences with STochastic sampling，TOAST），这是一种随机动作标记化方法，在策略训练期间对同一量化动作序列的不同标记化方式进行采样。这种方法在保留底层机器人动作的同时，使离散监督更加多样化，且不需要额外的示范。在 LIBERO 上的实验表明，TOAST 始终优于其确定性对应方法；随着训练数据减少，其提升幅度进一步增大：当仅有 1/16 的训练数据可用时，成功率提升了 6.8 个百分点。在四项真实机器人操作任务中，TOAST 相较于确定性对应方法进一步将平均成功率提高了 15.8 个百分点。这些结果证明了随机动作标记化对于自回归机器人策略学习的有效性，尤其是在训练数据有限的情况下。
12:00 arXiv cs.LG 80
arXiv:2610.00812v1 公告类型：交叉 摘要：视频生成已从短时低质量片段迅速发展到具有复杂时空动态的高分辨率长时序列。尽管通过大规模预训练学习到了强大的生成先验，预训练视频模型通常仍无法可靠地遵循人类意图、保持时间连贯性，或满足物理与安全约束。与图像和文本生成相比，视频生成中的对齐面临独特挑战，包括随时间累积的误差、运动与外观的耦合、多目标权衡，以及对时间属性有限的监督。这些挑战推动了系统化后训练策略的发展，使其能够在无需从头重新训练模型的情况下对预训练模型进行适配。在本文中，我们首次全面综述视频生成模型中的后训练与对齐。我们将后训练视为一个统一框架，并根据对齐信号的施加方式，将对齐区分为隐式对齐和显式对齐。从这一视角出发，我们将现有方法归纳为四大类：监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法，以及推理时方法。该分类体系连贯地展现了对齐信号如何在训练和部署过程中塑造模型行为。除方法学进展外，我们还综述了常用数据集、基准和评估实践，并讨论了可扩展奖励设计、长时间跨度的时间一致性、稳定性与表现力之间的权衡，以及安全感知生成等开放性挑战。本综述旨在为推进可控且可靠的视频生成模型提供结构化的概念基础和实践指导。
12:00 arXiv cs.LG 78
arXiv:2610.00700v1 公告类型：cross 摘要：近期，面向科学发现的 AI 取得了长足进展，使分子理解与设计成为可能，但对于不完整化学表示的推理仍不清晰。Markush 结构通过可变的 R-基团占位符（\textit{R\textsubscript{1}}、\textit{R\textsubscript{2}}、\textit{X} 等）对分子家族进行编码，广泛存在于制药专利中，需要在分子、文本和化学信息之间建立关联。然而，现有的分子-语言基准主要关注完全明确的分子，因而基本未对 R-基团关联能力进行评估。我们提出 R-GroundBench：一个基于真实专利 Markush 结构构建的诊断基准，包含具有受控难度和模态划分的选择题（VQA）赛道，以及开放式生成赛道。结果显示，模型在识别能力与分子关联能力之间存在显著差距。尽管模型在简单 VQA 上的准确率超过 90%，但在控制捷径后，其在困难 VQA 上的表现下降至 56--66%。即使经过领域特定预训练，化学领域 VLM 仍不可靠，在困难 VQA 上的准确率仅为 25.7--46.2%。此外，大多数模型的生成精确匹配率仍低于 20%；当需要视觉输入时，该指标低于 8%。这些发现表明，当前 AI 系统在 Markush 编辑方面缺乏可靠的关联能力与执行能力，也凸显了 AI 驱动科学发现所面临的挑战。
12:00 arXiv cs.LG 80
arXiv:2610.00663v1 公告类型：cross 摘要：带后门的大语言模型（LLM）在良性输入下可以表现正常，但在隐藏触发器出现时生成攻击者指定的输出。现有防御涵盖四个阶段——预训练、训练中、训练后和推理时——并且归结为两种底层策略之一：要么抑制后门学习（通过过滤中毒数据，或在优化过程中中断后门的获取），要么先学习、再净化（在一个完整的后门模型形成后修复模型权重，或对输入进行门控）。我们提出第三种策略：学习，但分流——允许后门在训练期间形成，但将其路由到一个指定的隔离组件中，使其能够在部署时被禁用。为此，我们提出 Quarantined Expert Shutdown（QES），这是一种构建于正则化引导的类 MoE 设置中的高效遏制策略。具体而言，给定一个中毒数据集，QES 为基于 Transformer 的语言模型增添带路由的专家专属 LoRA 分支和轻量级路由器，并利用辅助路由目标，将触发器条件下的行为吸引到指定专家中，同时保留模型在其他部分的良性能力。在部署时，缓解操作简化为一个恒定时间的单步操作：将隔离专家的路由权重置零，无需筛查触发器，也无需进一步更新模型权重。在两个任务、三种攻击和四个模型系列的多数设置中，实验证明我们的方法可将攻击成功率（ASR）从 100% 降至 0–10%，同时下游效用通常得以保留，或仅受到轻微影响。这些结果确立了“学习，但分流”这一此前尚未被探索的生成式 LLM 后门遏制范式。
12:00 arXiv cs.LG 82
arXiv:2610.00571v1 公告类型：cross 摘要：大型推理模型（LRM）在解决复杂数学问题方面取得了显著进步，但通常会生成冗长、重复或错误的推理轨迹。在本文中，我们提出了一种新的可解释性框架 SLIDER，用于评估推理过程的质量。SLIDER 利用了信息论中一个新兴的研究方向——部分信息分解，将两个连续推理步骤之间关于最终答案的信息解耦为非负的组成部分：独有信息（来自前序步骤或当前步骤）、冗余信息以及协同信息。在此分解的基础上，我们提出了逐步重复推理指数（Step-RRI）这一具有理论依据的度量，用于评估当前步骤 $S_i$ 中与答案相关的信息，相对于其独有贡献和协同贡献，是否主要与过去的步骤 $S_{<i}$ 存在冗余。为评估 Step-RRI 检测重复性的有效性，我们将 SLIDER 应用于 PRMBench 数据集中的冗余类别。与基于嵌入相似度和信息增益的基线方法相比，Step-RRI 将步骤级冗余识别准确率提高了超过 $10$ 个百分点。随后，我们定义了轨迹-RRI（Trajectory-RRI），这是一种衡量单条推理轨迹重复性的聚合指标。为展示其实用价值，我们证明，在 QwQ-32B、DeepSeek-R1-Distill-Qwen-32B 和 GPT-4.1 上，平均 Trajectory-RRI 与实际推理长度具有很强的相关性，这说明它可作为提升推理效率的一种信号。最后，我们提出了由 Trajectory-RRI 引导的微调数据选择方法，结果表明，根据 Trajectory-RRI 选择训练数据，可以在基本保持任务性能的同时，提高微调模型的推理效率。
12:00 arXiv cs.LG 76
arXiv:2610.00382v1 公告类型：cross 摘要：模型量化通过降低神经网络权重和激活值的数值精度，减少存储和计算成本。模型反演攻击从模型输出或中间特征中恢复或重构敏感训练数据或推理输入，因此量化也可能改变其有效性。然而，仍有两个问题尚未解决：模型量化如何影响模型反演？数据特征如何影响这种关系？针对第一个问题，我们界定了量化导致的输入与由预测概率定义的分类变量之间互信息的变化，并区分信息层面的影响与攻击优化障碍。针对第二个问题，我们识别出特征分布和反演结果中依赖于数据的变化，并发现量化敏感性在4比特下存在显著差异。这些发现为一种注重隐私的训练后量化方法提供了指导，该方法在恢复模型效用的同时提高了对反演攻击的抵抗能力。该方法使用Fisher型任务敏感性代理指标进行预算感知的比特分配，校准激活值范围，并通过任务恢复和几何结构保持目标，以及尺度和舍入正则化，联合优化权重与激活值的缩放因子和权重舍入决策。实验涵盖多种指标、神经网络架构，以及人脸、掌纹和虹膜识别任务。在ResNet-50上，4比特的Palm将RL-MIA的严格成功率从54%降至26%，而相较于FP32，准确率从99.01%降至96.55%。我们的方法还支持输出级防御：在4.5比特的Iris上加入Stealthy Shield Defense（SSD，epsilon = 0.1）后，BREP-MI的严格成功率从63.33%降至37.33%，而相较于仅进行量化，准确率从92.8%降至87.6%。
12:00 arXiv cs.LG 82
arXiv:2610.00320v1 公告类型：cross 摘要：微调可使经过对齐的大型语言模型（LLM）适应下游任务，但仅需几十个有害示例，就可能消除它们对有害请求的拒绝行为。先前研究将与安全相关的行为定位到特定层、方向和标记上，为防护提供了目标。我们检验了：成功的定位与恢复是否能够支持经受攻击变化的防御。在来自四个模型系列的六个检查点上，攻击后，有害提示与良性提示仍保持线性可分；将完整的干净隐藏状态注入受损模型后，可在一个可复现的过渡深度恢复拒绝行为。在此前层冻结防御的基础上，我们冻结截至该深度的所有层，并重复攻击。当使用一百个有害示例时，六个检查点上的拒绝率仍接近于零，且恢复过渡点均位于冻结边界之上。在第二项研究中，在四个检查点上进行仅注意力微调后，移除更新中最大的两个奇异方向即可恢复拒绝行为。在 Llama-3.1-8B 上，常规训练变化会削弱这种修复，而将更新分散开的攻击者能够使其失效。在良性 Llama 微调数据上校准的谱检测器，会漏检该检查点上大多数修复失败案例。尽管如此，当少量有害示例意外进入训练数据时，局部冻结仍有助于保持拒绝行为。这些结果表明，攻击者可以绕过通过恢复过程识别出的区域，并击败一种在多个检查点上均有效的修复方法，从而促使我们为防御自适应微调提出五项检查。代码可见于 https://github.com/js-lee-AI/refusal-relocates】【。
12:00 arXiv cs.LG 74
arXiv:2610.00202v1 公告类型：cross 摘要：近期有多种流程通过遮蔽真实语料文本中的一个片段，并要求语言模型围绕该片段编造看似合理的错误答案，来构建 RLVR 训练数据。因此，正确选项是真实的人类文本；每个干扰项都是合成的。正确性与来源由此纠缠在一起，策略理论上可能学到的是后者，而非前者。我们在 GooseReason-0.7M 中审计了这种可能性。首先，我们考察这种不对称性是否确实可见：一个只读取五项表层统计特征（完全不理解语义）的分类器，在 315,499 个选项上取得了 0.562 的 AUROC，仅略高于随机水平。然而，整体结果掩盖了一些情况。代码数据的 AUROC 为 0.416，低于随机水平；人工检查解释了原因：代码干扰项原来是对标准答案进行单个运算符变异后得到的结果，而不是自由撰写的替代答案，因此这两个类别在构造上几乎完全相同。检测到信号并不等于证明模型会利用它，因此我们随后进行了干预实验。我们构建了一个释义匹配的对照语料库，使两组的训练集规模完全相同，并在一个固定预算下训练两个策略。利用差距并未偏向未经修改数据组：其值为 0.021，而对照组为 0.027。换言之，在我们的预算条件下，一个可检测的数据伪迹并未被利用。我们认为，对于任何整理此类语料库的人来说，这种脱钩现象以及按领域划分的构造发现都值得了解；我们还将这项审计作为一套主要仅需 CPU 的协议发布。
12:00 arXiv cs.LG 74
arXiv:2610.00106v1 公告类型：cross 摘要：深度学习和大语言模型（LLMs）正迅速应用于半导体设计，推动了对训练数据集的需求。大多数工作聚焦于硬件描述语言（HDLs），而作为构建领域专用加速器的流行方法，高层次综合（HLS）设计仍然十分稀缺。现有 HLS 数据集工作主要强调人工整理或设计参数化，很少涉及高质量的基于 LLM 的生成，也很少关注代码长度、层次结构、设计空间规模、延迟、资源利用率和应用领域方面的多样性，这可能会限制模型的泛化能力。我们提出了 SyntheticHLS，这是一个利用 LLMs 生成大规模、复杂且多样化合成 HLS 数据集的框架。该框架有两个关键思想：1）一种迭代式反馈引导变异循环，利用成对的 HLS 源代码和设计空间规范，逐步将种子设计转化为更复杂、可扩展的设计；2）用于衡量 HLS 设计复杂度和设计空间可扩展性的定量指标，这些指标可作为 LLM 引导变异的可测量目标。我们系统地交叉验证了一个 HLS 结果质量（QoR）深度学习模型，该模型在常见 HLS 基准、零样本合成设计和迭代变异合成设计上进行训练和测试。合成设计能够很好地迁移到常见基准测试集，而反向迁移则无法实现。在所研究的数据集中，SyntheticHLS 的迭代变异设计提供了泛化能力最强的训练语料。对变异过程和数据集的分析表明，指标引导的变异轨迹能够持续改善目标复杂度和可扩展性，同时不会导致非目标指标退化。与零样本生成的设计相比，变异设计覆盖了明显更广泛、更多样化的设计空间。我们的框架、数据集和评估代码均已开源：https://github.com/sharc-lab/synthetic-hls。
12:00 arXiv cs.LG 77
arXiv:2610.00006v1 公告类型：cross 摘要：预训练的 Vision Transformers 会编码两个图像块是否属于同一对象这一信息。这个 IsSameObject 信号可以从冻结的图像块嵌入中以很高的准确率解码出来，这表明对象绑定仅凭自监督预训练就会涌现。我们表明，这个单一的准确率数值掩盖了该信号的结构。绑定具有局部性：同一对象的两个图像块被解码为已绑定的概率，会随着它们之间距离的增加而单调下降，并趋于一个非零下限；这种衰减可以很好地用具有有限长度尺度的指数函数描述。无论对象大小如何、无论采用三类探针中的哪一类、在 ADE20K 和 COCO 上，还是在 DINO 和 CLIP 主干网络上，这种衰减都成立，说明它是表征本身的属性，而非解码器的属性。将绑定理解为具有有限范围的局部空间连贯性，可以解释一系列总体得分无法说明的行为：在较大对象上，绑定会减弱；对于类别相同但彼此不同的对象，绑定将它们区分开的可靠性低于区分类别不同的对象；此外，绑定还会将对象部件与其整体归为一组。相反，在控制对象大小后，遮挡不会影响绑定。我们在控制混杂因素的情况下，对每种行为进行了刻画。作为一项初步观察，在 DINOv2 和 DINOv3 中，空间范围及其下限在不同深度上形成；鉴于所探测的层数较少，且两个模型之间存在混杂因素，我们将这一结果作为提示性发现报告。
12:00 arXiv cs.LG 82
arXiv:2610.02199v1 公告类型：新 摘要：对大型语言模型（LLM）进行全参数微调会产生大量优化器状态内存开销，限制了现代 GPU 能够容纳的模型规模。现有方法要么压缩优化器状态，要么放弃一阶梯度，要么在保留稠密状态的同时改变更新几何结构。近期提出的 Muon 优化器通过矩阵值更新降低了优化器内存占用。然而，其几何结构不同于 AdamW，在对经过 AdamW 预训练的模型进行微调时可能导致性能下降。为在 LLM 微调中降低优化器内存占用且不牺牲准确率或计算效率，我们提出三值绝对最大值按列单稀疏优化器（Ternary Absolute-max Column-wise One-sparse optimizer），简称 TACO。TACO 遵循 Muon 基于算子范数的最速下降观点，并进一步推进这一几何路径：对于二维权重矩阵，TACO 在经过维度归一化的 $1\to1$ 算子范数下，通过选择每列中绝对值最大的元素的符号，计算精确的最速下降方向。该方法保留了一阶梯度，同时使优化器状态内存几乎可以忽略不计。实际使用的 TACO 优化器每列仅保留少量低精度梯度分量；在 OPT-13B 上，相较于 AdamW8bit，它将持久化优化器状态减少了 174 倍（从 27.7 GB 降至 0.16 GB），并将训练峰值内存减少了 2.9 倍（从 80.6 GB 降至 27.5 GB），同时实现了相当的准确率和运行时间。TACO 还支持在单张 80 GB H100 GPU 上，对来自多个模型系列、用于多种任务的 30B–32B 参数模型进行全参数微调。
12:00 arXiv cs.LG 76
arXiv:2610.02144v1 公告类型：新 摘要：我们推出了 Faynt，这是一系列面向 Super Smash Bros. Melee 的 1000 万参数和 7500 万参数 Transformer 策略，每个策略都能通过单个 checkpoint 控制全部 26 个角色。经过强化学习（RL）后，10M 在由十四个专精角色或多角色版本所支持的角色阵容上进行的同角色对局中赢下了 244 场中的 240 场（98.4%），并且对每个版本都保持胜绩。这些对手仍保留 21 帧或 24 帧的动作延迟；Faynt 不使用额外延迟，而我们尚未单独分析这一差异的影响。在另一项针对私下提供的零延迟 Slippi-AI 模型的评估中，10M 在两种条件设置下的全部 68 场对局中均获胜。我们研究了架构、优化、规模扩展和超参数迁移，以指导在约 840,000 场人类回放上进行预训练。后训练结合了基于排名和结果的课程学习、75M 到 10M 的知识蒸馏，以及仅限于 Fox 镜像对局的强化学习。在最初的 152 场基准测试中，监督式 10M 赢下了 69.7% 的对局，而预训练 75M 的胜率为 45.4%，尽管后者整体留出集控制器预测损失更高。用于选择监督式 checkpoint 的加权验证损失，与全部四个预训练和监督式策略的胜率排序一致。监督式后训练完成后，两个模型每分钟承受的伤害都更少，在前期建立的领先优势更大，并且在丢失第一个生命后获胜的频率更高。在记录的游戏状态上进行优化推理时，10M 在 NVIDIA T4 上每次决策平均耗时 5.2 毫秒，75M 为 8.7 毫秒，不包括模拟器执行和通信时间。我们将权重、两套基准测试以及用于自动化模型锦标赛的平台开源。
12:00 arXiv cs.LG 78
arXiv:2610.02126v1 发布类型：new 摘要：我们探讨大规模预训练模型中的灾难性遗忘问题。通过将遗忘视为每个权重矩阵输入空间中的几何问题，我们发现了一种自然的保持目标；在该目标下，基于梯度的优化器所产生的更新并非最优。基于这一观察，我们提出 Local Support Learning（LSL），一种通用框架，在无法访问先前数据的情况下，增强基于梯度的训练以保持既有能力。在新的学习阶段，LSL 将两个具有不同作用的组件结合起来：一个按照常规方式训练、以最小化损失的标准权重适配器，以及一个门控函数，该函数仅在输入激活来自其自身训练分布时启用适配器，使更新局限于该分布。关键挑战在于，该门控函数必须在训练过程中仅使用当前阶段的数据，却能够为所有学习阶段的数据进行路由。为此，我们采用基于 Gaussian Mixture Model（GMM）的门控函数；其似然度在远离训练数据时会快速衰减，因此天然倾向于对来自先前阶段的数据保持关闭。我们表明，这种训练后方法能够解决参数规模高达 70 亿的 LLMs 中的遗忘问题，在多个训练阶段中同时保留预训练和微调能力；此外，该方法在内存和计算效率方面表现良好，对超参数选择具有鲁棒性，并展现出良好的扩展潜力。
12:00 arXiv cs.LG 78
arXiv:2610.02058v1 公告类型：新摘要：尽管时间序列基础模型（TSFMs）在广泛基准测试中取得了成功，但它们内化基本时间逻辑的能力，尤其是在有外生协变量支持的场景下，仍未得到充分研究。我们推出 SimpleTimeBench，这是一个用于诊断单变量和多变量时间序列的“单元测试”套件，涵盖单调趋势、周期信号和领先指标协变量等基本模式；在这些场景中，实现近乎完美的预测本应十分简单。令人惊讶的是，知名的多变量 TSFMs（Chronos-2、Moirai 和 Toto）针对这些输入，往往无法生成理想的零样本预测。尽管对 Chronos-2 进行微调能够改善其在特定任务上的表现，但我们表明，这种适应会损害其在其他基本模式上的性能，而非增强其可泛化的基础能力。这揭示了预训练规模与基本时间推理能力之间的差距，表明当前的 TSFMs 可能缺乏捕捉简单可预测函数所需的归纳偏置。我们进一步证明，这些失败并非仅仅是合成数据中的特殊现象：在现实世界的传感器预测中，这些问题依然存在，TSFMs 始终未能充分利用观测协变量中可用的领先指标。无法捕捉简单关系的能力限制了当前多变量模型的实际效用和可靠性。
12:00 arXiv cs.LG 76
arXiv:2610.01815v1 公告类型：新 摘要：尽管扩散模型能够生成高质量图像，但它们也会再现并放大训练数据中的人口统计不平衡。在训练后针对某些敏感属性对其生成过程进行去偏，通常依赖分类器引导或显式的文本额外条件，但这会降低方法的适用性和输出多样性。相反，仅促进多样性的方法并不能确保属性得到公平表示。本文提出了一种联合处理公平性与多样性的方法，能够普遍适用于任何扩散模型和任何敏感属性。为此，我们通过一个适配器将冻结的扩散模型连接到预训练的视觉语言嵌入空间，从而无需敏感属性标注即可实现公平性与多样性引导。对于公平性，我们利用成对的文本提示定义属性方向，引导批次构成趋向特定比例。对于多样性，我们引入了一个分数，用于衡量从该表示中得到的语义估计之间的不一致程度。该方法支持无条件扩散模型和文本条件扩散模型，同时无需预先了解敏感属性，也无需相关数据。实验表明，在公平性水平相当的情况下，我们的方法能够提升质量和多样性指标。
12:00 arXiv cs.LG 78
arXiv:2610.01788v1 公告类型：新 摘要：随着机器学习日益依赖公开且不受信任的数据源，数据投毒攻击将恶意示例注入训练数据，以诱导模型错误分类所选目标，因而构成日益严重的威胁。现有防御方法要么假设完全没有关于哪些示例遭到投毒的真实标签信息，要么假设可以获得大量已验证为干净的示例。满足后一假设会产生高昂成本，因为可靠的验证可能非常耗费资源或人力。这一成本对于清洁标签攻击尤其高，因为中毒示例在视觉上与干净数据无法区分。鉴于要求提供大量经验证示例并不现实，我们提出依赖一小组同时包含干净示例和中毒示例的经验证示例，即每个示例都经过取证专家检查，确认其为干净或中毒。随后面临的挑战是：根据一组规模极小、以至于大多数分类模型都会发生过拟合的经验证示例，检测出中毒示例。为应对这一挑战，我们提出基于相似性的真实标签驱动排除方法（Similarity-based Approach for Ground-truth-driven Exclusion，SAGE）：先在一个独立数据集上训练通用特征提取器，然后利用基于经验证集合的非参数相似度加权预测，标记出中毒训练示例。在针对七种清洁标签攻击方法的标准基准测试中，我们证明，即使只能获得少量经验证的中毒示例，也能带来显著优势。我们还发现，经验证的干净示例在各类别之间的分布，比经验证示例的数量更为重要。
12:00 arXiv cs.LG 73
arXiv:2610.01712v1 公告类型：新 摘要：上下文学习（ICL）使预训练模型能够从示例中推断任务，而无需更新其参数。尽管现有理论大多聚焦于线性目标函数，本文通过比较作用于同一组单索引任务的两种单层注意力架构，研究非线性情形。核学习器首先通过固定的非线性特征映射对输入进行变换，然后应用线性注意力；而特征学习器则直接对原始输入应用注意力，随后使用学习得到的非线性读出层。我们采用复制方法推导出这两种学习器在记忆误差和泛化误差方面的预测，同时保留预训练规模、任务池多样性以及训练和推理上下文长度的影响。在广泛的条件范围内，这些预测结果与数值实验高度吻合。我们的分析给出了相图，用于刻画随着预训练数据量、任务多样性和上下文长度变化时，各种架构在何种情况下更具优势。我们还发现，两种学习器的上下文长度缩放规律存在定性差异。总体而言，这些结果阐明了架构选择如何与数据集相互作用，并决定非线性上下文学习的表现。
12:00 arXiv cs.LG 78
arXiv:2610.01692v1 公告类型：新 摘要：腕部皮肤电活动（EDA）的幅度因人而异，因此情感识别模型会在分类前对输入进行归一化。测试此类模型在留出受试者上的研究很少报告归一化统计量的来源，但使用留出受试者自身记录计算的统计量，会向模型提供设备首次佩戴时并不具备的信息。我们考察了这一选择如何改变预训练所带来的收益。我们使用43名受试者的专家伪迹标注对一个紧凑型卷积网络SAFE-EDA进行预训练，并将其与在可穿戴压力与情感检测（WESAD）数据集上从头训练的同一网络进行比较（15名受试者，留一受试者交叉验证），同时交叉考察两种归一化统计量来源和四种窗口步长。当统计量仅来自训练受试者时，预训练使macro-F1提升了0.078至0.227；当统计量来自留出用户的完整记录时，提升幅度降至0.020至0.050之间，且不再具有显著性。伪迹监督的作用远大于在相同记录上进行的自监督预训练（0.078对比0.008）。在两个数据集的13种配置中，预训练网络有12种表现更好；但在第二个数据集（26名受试者）上，逐用户归一化反而提高了增益而非降低增益，因此这种交互效应取决于数据。已发表的50项WESAD研究中，只有5项说明了用于归一化的数据。报告这一选择对于区分首次使用时的性能与校准后的性能是必要的。
12:00 arXiv cs.LG 74
arXiv:2610.01674v1 发布类型：new 摘要：构建数据集仍然是 AI 开发中最依赖人工且最脆弱的环节之一。在这份技术报告中，我们聚焦于现实世界从业者面临的最极端、同时也是最普遍的情境：零数据环境。在这种情况下，从业者手头没有任何用于学习目标能力的数据。我们推出 Invent-A-Dataset，这是一个基于提示词的系统，能够从数据集描述出发，生成真实且大规模的后训练数据集。我们将 Invent-A-Dataset 与包括 Anthropic、Google、Open AI、DeepSeek、Zai 在内的五个前沿模型 API 进行评估。在八种任务类型以及最大 20K 个样本的数据集规模上，Invent-A-Dataset 均显著胜出：不仅质量最高（相对提升 17%），同时生成的样本也最为多样（相对提升 19%）。随着训练数据集规模扩大，其多样性优势进一步扩大：从 200 个样本时的持平，提升至 20K 个样本时的相对提升 37%。这进一步转化为显著的下游训练收益，产生性能强得多的后训练模型。在不同的后训练模型架构中，Invent-A-Dataset 微调模型始终比其他生成器微调模型排名更高。
12:00 arXiv cs.LG 81
arXiv:2610.01663v1 公告类型：新 摘要：生物分子疗法通常以已知序列为起点，需要在满足严格生化约束和可制造性约束的同时，通过定向编辑改善多项性质。然而，现有生成方法无法在离散、可变长度的生物空间中，同时支持多目标优化、严格可行性和序列编辑。在本工作中，我们提出具有帕累托约束的分子编辑（pCoMole），这是一个基于离散流匹配的框架，通过引导预训练的 Edit Flow 朝向用户指定的偏好，同时确保终端可行性。pCoMole 使用增广切比雪夫效用定义一个受可行性门控的终端分布，并通过对底层编辑过程进行 Doob-h 变换，实现由此产生的偏好倾斜。为了使这一构造具有实用性，我们在候选编辑上进行短程 Monte Carlo rollout，以近似所需的调和函数，从而得到一种高效且具有可证明偏好一致性的引导式编辑器。我们通过以下任务验证了 pCoMole：在保留荧光相关性质的同时缩短 GFP；在保持 PAM 特异性的同时缩短多种 Cas9 同源蛋白；以及将肽结合剂压缩为短肽模拟物，在严格约束下优化七项药物相关性质。在湿实验测试中，两个由 pCoMole 设计的、含229个残基的 eGFP 变体在进行10次删除并分别包含1处或2处替换后，仍在 BL21 细胞中保持清晰的绿色荧光。总体而言，pCoMole 实现了在离散、可变长度空间中具有约束感知能力且与帕累托目标一致的生物分子序列编辑。
12:00 arXiv cs.LG 73
arXiv:2610.01601v1 公告类型：新增 摘要：决策模型通常会对编码在单个序列中的、大小可变的候选动作集合进行评分。这一设置与生成式系统内部的 System 1 组件日益相关，因为不同运行过程中提出的候选项或其排序可能有所不同。标准的因果交叉编码具有很强的表达能力，但可能导致某个候选项的得分取决于序列化顺序，而不是底层决策问题本身。我们提出候选项无关的分块因果注意力：该机制保留共享上下文和每个候选项内部的因果计算，同时阻断候选项之间的信息流，并重置候选项位置。我们在 Gemma 3 1B、Qwen3 1.7B 和 Qwen3 4B 主干模型上，将这一架构与标准因果注意力及互补的不变性基线进行了比较。候选项无关的注意力在保持具有竞争力的决策质量的同时，持续降低了对置换的敏感性；消融实验表明，候选项隔离是产生该效果的主要原因，而位置重置则完善了预期的对称性。一项规模更大的 Qwen3-4B 研究进一步考察了所提出架构在显著增加的训练数据下的表现。代码可在 \href{https://github.com/guyAmit/ci-decision-models}{\textcolor{blue}{项目仓库}} 中获取，\href{https://huggingface.co/Guy-Amit/qwen3-4b-ci-decision-4096-poc}{\textcolor{blue}{Qwen3-4B 模型制品}} 可在 Hugging Face 上获取。
12:00 arXiv cs.LG 79
arXiv:2610.01590v1 公告类型：new 摘要：在预训练视觉Transformer的每个块中都保留任务特定适配器的持续学习器，会使存储开销随任务数量线性增长；只在少数几个块中保留任务特定适配器可以抑制这种增长，但也引出了适配器应放置在哪里的问题。我们从两个角度研究这一问题。在算法层面，对所有连续的四块位置进行训练会得到一条倒U形曲线：最终准确率在中等深度处达到峰值，不同位置之间最多相差3.5个百分点（pp）；而基于权重谱或激活统计量的低成本判据则倾向于选择最深层的块。在神经科学层面，视觉皮层的层级组织结构和中间阶段的可塑性促使我们思考：是否可以通过在学习器之外进行测量，在无需搜索位置的情况下指导层专门化。LS-B通过一个冻结的、针对十二个人类视觉区域的fMRI编码模型观察最初的任务，并一次性将任务特定容量分配给那些相对于稳定结构而言跨任务读出变化最大的块。在三个ViT-B/16骨干网络上，LS-B都产生了稳定且因骨干网络而异的分配结果。在进行位置搜索的两个骨干网络AugReg和iBOT上，所选块与搜索确定的中等深度区域相重叠。在存储和观测预算相匹配的条件下，所选块的表现优于最浅和最深的四块配置。在Split ImageNet-R上，LS-B仅使用完整BiLoRA适配器存储量的60%，同时最终准确率仍保持在相差1.5个百分点以内。该分配过程无需标签或反向传播，运行时间开销低于0.6%，并呈现出因骨干网络而异的皮层特征。
12:00 arXiv cs.LG 73
arXiv:2610.01425v1 公告类型：新提交 摘要：训练与验证的分离，是指模型在已观测训练样本与有限的留出验证集上表现之间不断演变的差异。我们提出一种动态结构性解释，说明这一差距如何在预训练模型的适配过程中形成：持续拟合可能使更新需求从可广泛复用的支撑转向更狭窄、对留出数据迁移能力更弱的支撑。一个条件局部模型将这种转变与梯度分配异质性的增加以及训练与验证的分离联系起来。固定的训练探针使这种结构演变可以被观测，而无需将验证样本纳入读出指标；留出数据上的表现则被单独用于评估这种演变与差距的关系。在使用残差多层感知机（ResMLP）实现的一个构造层级结构中，保持四个共享特征层级之间的相对混合比例为 $1{:}2{:}3{:}4$，同时将样本私有特征的目标占比从 $p=.3$ 增至 $.5$ 再增至 $.7$，每种条件下运行五次得到的最终平均准确率差距相应从 $.185$ 增至 $.331$ 再增至 $.527$。在训练样本和验证样本上分别测得的掩码输入损失揭示了相应的迁移不对称性。自然语言处理（NLP）分析使用 RoBERTa、DeBERTa 和 Qwen，在六个数据集上开展每次 10 个训练轮次的实验（共 90 次运行）：在全部 90 次运行中，以训练探针加权的类内离散度和总体离散度这两种读出指标，其原始值和平滑值均与准确率差距呈正相关。以约一个训练轮次的间隔配对的原始变化量，分别在 86/90 和 87/90 次运行中仍呈正相关。一项持续 40 个训练轮次的 ResNet-18 研究在三个视觉数据集上检验了这两种读出指标。总体而言，受控模拟、NLP 和视觉实验在不同场景下均支持这一动态结构性解释，其中真实模型的证据通过指定的监测指标检验了该解释的可观测预测。
12:00 arXiv cs.LG 81
arXiv:2610.01318v1 公告类型：新提交 摘要：当生成模型基于早期模型生成的合成数据进行训练时，就会出现模型坍塌现象。由于其对社会和技术层面的影响，这一现象受到了广泛关注。然而，先前的研究得出了看似相互矛盾的结论：用合成数据替换真实数据会导致模型坍塌（Shumailov 等人），但将真实数据与合成数据一同累积则可以避免这一问题。对于扩散模型，我们研究了一种有限预算流水线中常见的中间情形：保留所有过去的数据集和真实数据，但每个新模型都从不断扩大的数据池中抽取固定大小的样本进行训练，因此真实数据所占比例会逐渐趋近于零，同时没有任何数据被移除。在二维螺旋数据集以及图像基准数据集（MNIST、Fashion-MNIST 和 CIFAR-10）上的实验表明，替换协议会像已有文献所述那样使数据集迅速退化，而固定预算协议只会造成部分退化，保留部分特征。通过随机递推分析的多代参数动力学线性响应模型进一步证实了这两种协议之间的差异：对于两种协议而言，一些特征较为脆弱，会在几代之内丢失；而另一些特征则较为稳健，在固定预算协议下能够在实际上无界的时间跨度内得到保留。
12:00 arXiv cs.LG 76
arXiv:2610.01269v1 公告类型：新摘要：贝叶斯优化（BO）是优化昂贵黑盒函数的强大框架，但通常需要在每个评估步骤重新拟合代理模型并最大化采集函数。基于先验数据拟合网络（Prior-data Fitted Networks，PFNs）的上下文内方法，通过在从合成先验中抽取的函数上预训练Transformer，摊销了部分成本。PFNs4BO摊销了代理模型的成本，但仍依赖于通过数值方法最大化采集函数；而FIBO则通过从学习到的密度中采样优化位置，实现完全上下文内的BO，但这会固定决策规则，且不使用代理模型。学习型采集函数使用训练好的网络为有限候选集进行评分，但由于缺乏查询的标签，它们通过在先前已解决的任务上进行强化学习来学习评分。我们提出IQS-BO，这是一种通过在合成先验上进行监督学习来学习查询决策的PFN。在单次前向传播中，IQS-BO预测每个候选点在候选集上使目标函数达到最大值的概率，并证明其目标函数的最小化解就是该事件的后验概率。该模型可以在不使用代理模型的情况下进行预训练，从而实现完全上下文内的BO；也可以将固定概率代理模型的预测作为额外输入，从而仅摊销决策步骤。我们的方法以基于采集函数的方法一小部分的成本提出查询，同时在合成和真实世界基准测试中，性能达到或超过使用高斯过程（GPs）的标准BO以及现有的上下文内方法。最后，我们提出了一种用于预训练PFNs的混合先验，将来自GPs的样本与具有输入变形、孤立狭窄最优点或平台区域的函数相结合；这些函数难以由GP代理模型中常见的平稳核建模。我们展示了在该先验上进行预训练可以带来更好的优化性能。
12:00 arXiv cs.LG 73
arXiv:2610.01204v1 发布类型：新 摘要：自回归建模通过学习根据先前观测预测未来状态，已在语言和序列任务中取得显著成功。矿产勘探钻孔为这一范式提供了一个天然但尚未得到充分探索的应用场景：随着钻进不断进行，岩性信息从浅部到深部逐层揭示，因此对更深地层的预测本质上是自回归的。然而，现有钻孔建模主要依赖空间插值与重建，或在很大程度上依赖掩码建模，使得严格意义上的自回归预测仍缺乏充分研究。我们提出了 DrillBench，这是一个包含49,671个西澳大利亚钻孔的基准，用于在分级迁移谱上进行下一层预测和自回归地层生成，该迁移谱涵盖从局部预测、空间偏移到跨地质省迁移的不同场景。对经典模型、地统计模型和神经网络模型的基准测试揭示了清晰的“迁移边界”：空间与地球化学条件约束能够带来显著的局部性能提升，但在更强的偏移下性能会急剧下降；相比之下，基于岩性序列的自回归模型具有更强的迁移鲁棒性。受此发现启发，我们开发了一种与骨干网络无关的方法，将基于历史钻孔的大规模预训练与邻近岩性的空间检索相结合。在风化覆盖层中，当局部空间连续性仍具有信息价值时，检索最为有效；而在基岩区域以及更广泛的地质偏移条件下，预训练的贡献更为显著。二者结合后，在保持较强局部性能的同时，还提升了模型在空间偏移和跨地质省偏移下的泛化能力，尤其是在距离最远的数据划分上表现最为明显。基准和代码可访问：https://github.com/yihaoding/drillbench。
12:00 arXiv cs.LG 77
arXiv:2610.01199v1 公告类型：新 摘要：我们研究低预算主动学习问题，即选择数量有限的点构成核心集，使模型仅在这些选定点上训练就能达到较高精度。当标注需要昂贵的专家介入时（例如医疗应用中），这一问题尤为重要。我们利用从预训练自监督模型中提取的特征来表示数据，并直接在该特征空间中进行核心集选择。在本文中，我们采用熵最优传输，具体而言是 Sinkhorn 散度，作为核心集选择准则。该准则首先使我们能够获得与维度无关的样本复杂度结果，其次支持计算高效的梯度评估。这为使用基于梯度的算法快速计算候选解创造了条件，并通过基于交换的局部搜索进一步改进，同时还提供解质量保证。在图像基准数据集和医疗数据集上的实验表明，在低预算设置下，我们的方法优于当前最先进的启发式方法。
12:00 arXiv cs.LG 72
arXiv:2610.01165v1 公布类型：新 摘要：层干预被广泛用于探究语言模型的内部组织结构，但大多数分析只考察单个训练检查点，尽管模型的表征和计算会在整个预训练过程中不断演化。因此，哪些依赖深度的干预响应反映了持久的组织结构，哪些只是训练过程中的暂时性结果，仍未得到解答。我们在五条已发布的训练轨迹和11种模型—领域组合上，针对固定的教师强制上下文，使用单块恒等旁路来研究这一问题。我们发现，块旁路响应保留了可辨识的深度排序，但其幅度会重新分配：相邻检查点之间的秩对应关系强于相距较远的检查点，而较大的变化集中在那些会在不同文本样本中反复出现、并能迁移到不同评估领域的位置上。进一步的受控实验表明，自然旁路效应的变化无法归结为单一的下游敏感性：在复现的 Pythia 运行中，局部缺失更新的幅度增大，而汇总后的匹配下游响应却减小；相比之下，OLMo-2 7B 呈现出不同的平衡关系。这些匹配响应还取决于扰动的强度和方向，但没有发现针对性的补偿。总体而言，我们的结果表明，纵向层敏感性具有结构性但并非静态不变；在解读单个检查点上的干预响应时，应结合底层扰动路径在训练过程中如何演化这一背景。
12:00 arXiv cs.LG 71
arXiv:2610.01143v1 公告类型：新增 摘要：尽管平均准确率很高，表格基础模型（TFMs）在子群体偏移下可能在代表性不足的群体上表现不佳；在这种情况下，训练阶段与部署阶段的群体比例会发生变化。我们提出 DR-TFM，一种无需真实群体标注的参数高效分布鲁棒适应框架。DR-TFM 通过微调现有的查询缩放网络，或添加并训练一个查询缩放网络，来调整对有标签上下文示例的注意力，同时固定所有其他参数。我们利用从训练数据中推导出的估计群体或源条件分布，基于两种鲁棒目标函数实例化了该框架。对于 TabPFN-3，适应过程仅更新预训练模型 0.016% 的参数。在五个表格基准数据集上，与预训练 TFMs 及所比较的鲁棒基线方法相比，DR-TFM 在没有真实群体标注的情况下显著提高了平均最差群体准确率，同时保持了具有竞争力的平均群体准确率。DR-TFM 还提升了 ACS Income 以及另外四个 TFM 上的平均最差群体准确率。
12:00 arXiv cs.LG 78
arXiv:2610.00978v1 公告类型：新 摘要：时间序列异常检测（TSAD）难以在不同数据集之间实现泛化，因为异质的时间动态意味着不同的正常性定义，并且适合不同的检测标准。尽管时间序列基础模型能够提供可迁移的表征，但将其与固定的异常评分机制结合，可能会忽略这种差异。这促使我们重新审视基于基础模型的 TSAD：利用基础模型来协调专门化的异常判据，而不是直接强加一个通用判据。基于这一观点，我们提出了 \textbf{TS-Router}，这是一个“通用表征、专门检测”框架，可从预训练时间表征中估计异质异常检测器的相对能力，并为每个目标序列选择合适的专门检测器。为避免依赖真实任务中的专门检测器性能标签，我们从这些检测器在带标签模拟任务上的相对性能中推导软能力监督信号。在部署时，路由过程无需目标异常标签，并且只需在目标序列上以无监督方式拟合被选中的专门检测器。我们在表征覆盖性和条件能力稳定性的假设下，对 Top-\(k\) 集合能力遗憾进行了界定。在 16 个真实世界基准数据集和四项互补评估指标上，TS-Router 取得了总体平均排名第一的成绩。使用多个冻结的 TSFM 编码器进行的受控消融实验进一步支持了利用预训练表征进行能力估计和自适应专门检测器选择。代码可在 https://anonymous.4open.science/r/TS-Router-D8FF 获取。
12:00 arXiv cs.LG 79
arXiv:2610.00903v1 公告类型：新 摘要：测试时强化学习（TTRL）利用模型自身采样所产生的监督信号，在无标签测试题目上适配语言模型。这使得检查点的“初始状态”变得至关重要：分散的策略会提供噪声更大的自监督信号，并且可能在可靠地展现其已经具备的能力之前，先花费大量有限的适配预算来集中概率质量。我们提出“初始状态锐化”：在TTRL之前进行无数据训练，将通用检查点预先调整到一种状态，使后续的无标签适配能够更高效地加以利用。该思想并不局限于某一种训练方案；不同的无数据目标可以将同一个基础模型带入不同的初始状态。我们从Qwen3-4B构建了五个无数据检查点，并在完全相同的15步TTRL协议下进行评估。结果表明，初始策略熵能够强力排序终点转换效率——这是一种从可靠性到可达性的度量（Spearman $\rho=-0.90$；控制初始可达性后为$\rho=-0.99$）。不同目标之间的差异十分显著：R-Zero的策略仍然较为分散，熵为$3.39$纳特，并且在MATH、GPQA和AMC上的6/6组配对比较中，最终表现均低于未经调优的基础模型；而SPIRAL的熵达到$0.07$纳特，在MATH和GPQA上取得了TTRL后的最高准确率，尽管其自博弈阶段没有使用任何数学训练数据。进一步的域内无标签自蒸馏干预表明，初始状态可以被有意地锐化。这些结果促使我们将检查点准备视为一个“状态控制问题”：利用无数据训练来提升TTRL就绪度，以初始熵作为无标签控制信号，并以可达能力作为约束。
12:00 arXiv cs.LG 79
arXiv:2610.00895v1 公告类型：新 摘要：基础模型仍然容易受到虚假相关性和“Clever Hans”策略的影响。可解释机器学习能够在没有元数据的情况下，为分类器发现并移除这类策略。然而，对于基础模型，目前还没有这样的解决方案。我们提出了 Disentangled Diffusion Autoencoders（DiDAE）。DiDAE 通过条件扩散解码器封装一个冻结的基础模型。一个反事实样本就是沿着解耦字典中的某个方向进行一次闭式编辑，然后执行解码。该字典可以是有监督的（Procrustes），也可以是无监督的（奇异值分解、稀疏自编码器）。由于不需要梯度，DiDAE 的速度最高可达到现有技术的 2000 倍。我们在六个数据集上进行了评估，其中两个为合成数据集，四个为真实世界数据集。在其中三个数据集上依据预期目标设计的基准测试中，DiDAE 生成的反事实样本达到或优于现有技术；此外，它们还能通过反事实知识蒸馏（Counterfactual Knowledge Distillation，CFKD）修复下游分类器，其效果优于基于元数据的校正。同样的机制还可以将一个预训练字典与一个训练好的分类器进行匹配排序。它能够返回分类器实际读取的少数几个方向，并通过能够翻转决策的反事实样本对每个方向进行因果验证；对于教师标记为虚假的方向，还能据此修复分类器。我们在随论文一同发布的开源 Peal 库中实现了即插即用的工作流。借助公开字典和预训练解码器，剩下的工作仅需对分类器进行低成本的线性蒸馏及其自身的微调。
12:00 arXiv cs.LG 81
arXiv:2610.00890v1 公告类型：新 摘要：编程智能体常常在最后一步功亏一篑：它们完成了大部分功能，却遗漏了一项要求；只测试实现已经能够处理的情况；破坏原本应保持不变的行为；或者依据未经核验的假设进行验证。我们探究了在专家构建的智能体编程任务上进行强化学习（RL）能否弥合这一差距，以及智能体所学内容能否迁移到训练分布之外。我们仅使用 RL 对 Kimi K2.7 Code 进行后训练。这是一个拥有 1T 参数（32B 激活）的开放权重混合专家模型，训练数据包含 1,700 个任务：其中 1,000 个为仓库任务，根据隐藏的 fail-to-pass 测试和针对现有行为的 pass-to-pass 测试进行评分；700 个为终端任务，根据专家编写的隐藏验证器进行评分。奖励是通过的目标检查项所占的比例；如果任一 pass-to-pass 测试失败，奖励则降为零。在三个智能体框架上进行评估时，使用秩为 32 的 LoRA 适配器执行一轮 GSPO，使六个外部基准上的 pass@1 均得到提升：SWE-Bench Pro（60.1 提升至 64.8）、DeepSWE（31.0 提升至 43.4）、Terminal-Bench 2.1（67.4 提升至 82.0）、Terminal-Bench 3（1.4 提升至 12.1）、Terminal-Bench 4（0.0 提升至 7.6）以及 SWE-Marathon（5.0 提升至 25.0）。将五个相互独立的任务集汇总后（Terminal-Bench 4 修订了 Terminal-Bench 3），提升具有统计显著性（p < 0.001）；在训练数据收集之后发布的三个任务集上，提升仍具有显著性（p = 0.004）。在训练中从未使用的两种智能体框架上，模型同样取得了提升。在 DeepSWE 和 Terminal-Bench 3 上，中位数轨迹的智能体步骤数缩短了 24%–35%。基础模型在 DeepSWE 上失败的运行大多属于差一点成功的情况；而在训练模型新解决的任务中，成对轨迹显示，它避开了上述四种失败模式中的每一种。
12:00 arXiv cs.LG 79
arXiv:2610.00888v1 公告类型：新增 摘要：多词元预测（MTP）通过使语言模型在每次前向传播中起草多个后续词元，提高自回归生成的吞吐量；同时，对起草词元进行验证可确保骨干模型的词元分布得到保留。所有已公开的 MTP 系列模型（MiMo-7B、DeepSeek-V3、Qwen3）都在数万亿词元的完整预训练过程中与骨干模型联合训练，因此在预训练阶段确定了起草器的质量。我们探究：在冻结的推理模型上，仅对目标模型生成的思维链进行一次轻量级训练后处理，是否足以达到相同的预期吞吐量加速效果；并研究如何优化基于此类检查点构建的服务时系统。我们得到三个发现。1）对于采用 $K{=}3$ 个链式 MTP 头的冻结 Qwen3-8B，我们表明，在约 $\approx\!2.5$B 个词元上使用普通交叉熵的训练后处理方案，在数学、代码和知识基准测试上达到了或超过了联合训练 MiMo-7B 的预期加速效果。与联合预训练 MiMO-7B MTP 基线相比，我们的训练后处理方案所使用的 MTP 训练词元减少了 $10^3$--$10^4$ 倍。2）我们提出了一种具备链感知能力的起草词元验证规则松弛方案，允许词元分布相对于骨干语言模型发生有界偏移。我们表明，在保持任务准确率的同时，该松弛方案使每个基准测试的预期加速提升了 $+12$ 至 $+16\%$。3）我们提出了一种自适应控制器，可在推理时动态选择启用的 MTP 头数量，并证明在固定最大 MTP 起草长度的情况下，可以恢复速度加速损失的 $11$--$14\%$。
12:00 arXiv cs.LG 73
arXiv:2610.00831v1 发布类型：新 摘要：类型化决策是在固定选项集合中进行选择，并以概率而非文本形式返回结果。如今，需要类型化决策的系统使用的是专门为此训练的模型。本报告介绍 AnyJev：它通过对预训练的指令微调语言模型进行一次预填充，读取一个类型化决策。读取过程会将答案位置处的下一个词元分布限制为选项词元。该方法存在两个缺陷：无论输入是什么，模型都会为某些标签分配更高的概率，并偏向选项列表中的某些位置。AnyJev 无需梯度更新，也无需修改参数，即可纠正这两个问题：利用无标签输入估计出的标签先验进行除法校正，并对选项列表的 K 个循环移位的对数概率取平均。在两个包含 20 个选项的任务上，循环移位将顺序翻转率分别从 0.33 降至 0.14 和从 0.33 降至 0.18，并且在两个任务中都使 11 个模型中的全部 11 个模型准确率提升。读取每个循环移位需要进行 K 次预填充。针对无标签状态、以完整循环移位决策为参照所选出的停止规则可以减少这一开销。在一个无标签划分上选择阈值，并在第二个划分上界定其不一致率后，对于四个单元格中的两个，系统在经验证的不一致率 0.008 上读取 18 个循环移位中的 10.6 个；如我们的服务运行所做的那样，在同一个划分上完成选择和界定时，系统读取 7.3 个循环移位，并在 vLLM 上每秒处理的决策数量达到 2.2 倍。代码已开源。
12:00 arXiv cs.LG 77
arXiv:2610.00814v1 公告类型：新 摘要：合成数据正日益被用于扩展 LLM 训练规模，然而，更多的合成数据并不一定能产生更好的模型。有用的合成数据必须为目标任务补充相关信息，同时不能引入抵消其收益的错误；而且，随着训练集不断扩大，一个样本的价值也可能发生变化。我们建立了一个线性理论，用于刻画这种权衡关系，并确定合成数据在何时有用、应添加多少数据，以及向现有数据集添加一个样本的边际价值。分析表明，在何种条件下仅凭输入覆盖率就已足够，以及何时还必须考虑合成错误。在这些结果的指导下，我们提出了 \emph{Training-Aware Target Coverage}（TATC），一种用于 LLM 微调的合成数据选择方法。TATC 识别出其训练效果有利于目标任务的候选样本，并从中进行选择，以扩展现有数据尚未覆盖的、与目标相关的方向。针对文本和图像数据的实验验证了线性理论。对于数学推理任务，TATC 为微调 Qwen2.5-Math-1.5B-Instruct 选择合成解答，并在不同选择预算下于 GSM8K 上优于其他合成数据选择方法。总而言之，我们通过量化并最大化合成数据对目标任务的价值，为合成数据选择提供了一种有理论依据的方法。
12:00 arXiv cs.LG 80
arXiv:2610.00767v1 发布类型：新 摘要：预训练干预对对齐研究至关重要，因为模型在预训练期间形成的信念会影响其从后续训练中进行泛化的方式。最近一种广受关注的干预技术是合成文档微调（SDF），旨在改变模型所相信的内容。理想情况下，合成文档应混入预训练或中期训练中，但对预训练语料库的任何改动，都必须在测量其效果前进行一次完整的后训练流程，这使得迭代缓慢且成本高昂。因此，通常的做法是对已经完成后训练的模型应用 SDF。已知这会留下伪影并削弱模型能力；正如我们所展示的，它还会使模型将与这些文档无关的虚构实体当作真实存在的实体，我们将这一失败称为现实漂移。我们提出了“嫁接”方法：在预训练检查点上训练 SDF 适配器，然后将所学到的权重更新添加到后训练模型中，从而在复用现有后训练成果的同时，近似忠实的实现方式。我们在多个模型系列上验证了这一方法，模型规模最高达 284B 参数，涵盖植入虚假事实、训练失对齐模型生物，以及应用宪法式中期训练干预等场景。与直接对后训练模型应用 SDF 相比，嫁接能够同样强有力地植入目标信念，同时使现实漂移和偏好一致性损失平均降低一半以上，并且更接近忠实的中期训练结果。由于嫁接不需要后训练，同一个适配器可以应用于任何后续检查点，使研究人员只需付出一次微调运行的成本，就能快速迭代预训练干预。
12:00 arXiv cs.LG 73
arXiv:2610.00722v1 发布类型：新 摘要：世界模型通过预测环境的未来状态，使智能体能够进行规划，但当测试时的动力学与训练期间所见的动力学不同时，其预测可能变得不可靠。我们提出 JEPA-TTT，在整个测试期间对预训练的、动作条件化的 Joint-Embedding Predictive Architecture 世界模型中的潜在动力学预测器进行适应。自监督更新会跨回合累积，同时视觉编码器和奖励头保持固定，从而保留预训练表示和任务目标。规划既不需要目标图像，也不需要在线环境奖励。JEPA-TTT 使用 dense replay，在每个时间偏移处构建预测窗口，将其保存在不断增长的缓冲区中，并从该缓冲区采样小批次来更新预测器。在四个连续控制环境中的八种动力学变化下，JEPA-TTT 在每一种变化上都提升了规划效果。经过 500 个测试时回合后，其将自回归潜在预测误差平均降低了 83%，并将规划性能较冻结的 JEPA 世界模型提升了 153%。这些结果表明，持久化的自监督测试时训练能够在动力学发生变化时适应预训练的潜在世界模型。
12:00 arXiv cs.LG 75
arXiv:2610.00676v1 公告类型：新 摘要：无监督技能发现已成为一种有前景的方法，可利用无奖励数据集对通用策略进行预训练。然而，现有的技能发现方法要么需要访问专家数据，要么泛化能力有限，无法有效迁移到此前未见过的布局。一个关键挑战是学习能够捕捉环境时间结构、同时对不同布局之间的变化保持鲁棒性的表示。为解决这一问题，我们提出了一种学习动作感知时间表示的目标，使其满足函数等变性，同时保留环境的局部时间结构。在此嵌入的基础上，我们进一步提出了使用双模拟的无监督技能发现方法：该方法仅根据直接影响技能执行的那部分状态特征来决定技能的行为，从而学习可迁移的技能。这促使技能在不同布局之间表现出不变的行为，使其能够有效迁移到其他配置。最后，通过全面的实证评估，我们表明，在给定环境中学习的技能可以有效应用于解决各种环境布局中的下游任务，展现出强大的分布外泛化能力。
12:00 arXiv cs.LG 76
arXiv:2610.00497v1 公告类型：新 摘要：我们提出了 Gumbel Straight Flow（GSF），一种连续流映射语言模型，它利用预训练自回归语言（AR）模型中的噪声—数据耦合。我们从理论上证明，自回归模型所诱导的 Gumbel 噪声与独热词元序列之间的耦合，会产生连接噪声与序列表示的互不相交线性路径。为进一步提升高质量的少步路径采样效果，我们采用流映射半群目标函数，其中切向量（速度）条件由 AR 教师模型直接引导。在包括预训练和下游任务在内的各类基准测试中，GSF 的表现均优于当前的少步语言生成基线方法。
12:00 arXiv cs.LG 78
arXiv:2610.00426v1 公告类型：新 摘要：我们提出了 IrekoGPT，这是一种事后方法，可将预训练大语言模型转换为可变宽度模型，使其宽度能够在推理时进行调整。在 SliceGPT 的基础上，我们保留其投影矩阵而不对其进行剪枝，使单个模型能够以不同宽度呈现嵌套子网络。我们通过在多个压缩比下对每一层进行校准来提升鲁棒性，并通过无梯度岭回归校正下游线性层。在 Llama 和 Qwen 模型上的初步结果表明，相较于基于朴素 PCA 的瘦身方法，我们的方法取得了更好的效果，并且在高压缩率下的提升最大。代码可在 https://github.com/aimagelab/IrekoGPT 获取
12:00 arXiv cs.LG 74
arXiv:2610.00417v1 公告类型：新 摘要：在模型生成的数据上反复训练，可能导致后续模型性能下降。一种可能的应对方式，是在决定复用哪些生成样本时利用其来源信息。我们同时测试了这种来源信息能否被可靠地恢复，以及它是否有助于识别更优质的训练数据。我们使用金融风险文本，首先识别生成段落的来源，然后在改写这些段落后重复测试。对原始段落进行生成器归因的准确率为98.7%，但在释义改写后降至53.1%，在风格改写后降至29.0%。相对于所测试的人类文本对照集，生成文本与人类文本的检测准确率仍接近完美。随后，我们在三轮生成与再训练过程中，比较了两种选择生成样本的方法。一种使用来源信息，另一种使用单独的参考模型给出的分数。两种规则选择出的样本不同，但预先设计的比较未能检测到所得模型性能下降存在稳定差异。结果表明，识别数据的来源与识别哪些数据对训练有用，是两个彼此独立的问题。因此，该实验区分了来源身份、面向评判标准的选择和递归训练结果：无论是来源溯源分数，还是所测试的面向评判标准的代理指标，都尚未被证明足以预测未来的递归行为。
12:00 arXiv cs.LG 74
arXiv:2610.00411v1 公布类型：新 摘要：当代基因组基础模型（GFMs）依赖于将 DNA 视为字符串的范式，并采用掩码标记预测目标进行预训练。然而，这种抽象并未显式建模对生物功能至关重要的生化、结构和物理特性。许多分子特性可以利用已有的生物物理模型从序列中估计出来，因此，它们的作用并不在于提供一种独立模态，而在于引入训练目标能够显式利用的先验。我们提出 VANDAM，一种利用 DNA 分子先验扩展 GFMs 训练的框架。在自监督训练中，VANDAM 根据池化表示预测区域分子特性。当功能标签可用且能够促使模型保留分子先验时，还会将局部特征额外注入输入。通过补充基于标记的训练目标，VANDAM 在四类架构和九项留出基因组任务中始终提升下游性能。探测实验进一步表明，使用分子先验能够推广到其他未见过的分子特性。
12:00 arXiv cs.LG 77
arXiv:2610.00395v1 公告类型：新 摘要：推理时引导使预训练扩散模型能够满足新的约束，而无需进行完整的重新训练。然而，特异性感知生成十分困难：将样本排斥出负参考分布的同时，也可能侵蚀两个分布重叠区域中的正参考分布。关键挑战在于抑制负分布质量，同时尽可能减少对正分布的扭曲。我们将这一问题表述为目标设计问题，并从基于重叠的目标函数中推导出一个目标分布。所得目标分布仅在期望参考分布相对于非期望参考分布具有足够优势的区域保留前者，从而赋予特异性一种似然比解释。为了从相应的时变目标路径中采样，我们设计了一种带有方差最小化局部提议分布的序贯蒙特卡洛采样器。我们还利用期望与非期望得分场的雅可比—向量积，引入了一种实用的固定噪声优化过程。在合成任务、类别对比生成、文生图任务以及肽-MHC（p-MHC）结合物上的实验表明，与负向引导基线方法相比，所提出的方法能够更有效地抑制非期望区域，减少模态偏移，并通过降低SMC权重坍缩来提升采样稳定性。代码可在以下地址获取：https://github.com/WangLuran/Specificity-Aware-Diffusion-Steering
12:00 arXiv cs.LG 74
arXiv:2610.00394v1 公告类型：新论文 摘要：本文研究了分叉（forking）这一在 NanoGPT 自动研究中发现的泛化失败现象。在数据回放条件下，带有过度编码 n-gram 记忆分支的模型会在训练轮次边界处出现训练损失与验证损失的明显分离，其形状类似于分叉。我们在受控的原生 NanoGPT 设置中研究了这一现象，并在采用 Engram 的 DeepSeek 风格模型中复现了该现象。从机制上看，重复更新会强化训练数据中观察到的后续内容，同时抑制未见后续内容的概率，而后者的损失会随着每次遍历而增长。n-gram 模块会产生相互作用较弱的、特定于上下文的子空间，从而放大这一效应。低频上下文对损失差距的贡献最大，而更大的训练预算和高度拥挤的表会抑制该现象。我们还在短训练预算、重复程度很高的 SFT 和类 RL 环境中观察到了分叉现象。本文有两点贡献：（1）除 grokking 和双重下降之外，分叉揭示了深度学习中的又一种奇特现象。（2）分叉是自动研究代理所提出技巧带来的一个出乎意料且令人不快的副产品。尽管这些代理会产生数量极其庞大、看似有用的结果，但我们始终应当谨慎对待它们的结果。
12:00 arXiv cs.LG 73
arXiv:2610.00391v1 公告类型：新 摘要：当真实临床数据因隐私、伦理或数据可用性限制而受限时，合成医疗表格数据生成对于开发和验证计算机医疗系统（CBMSs）已变得至关重要。现有的概率生成模型和深度生成模型通常缺乏可解释性，且无法保留具有临床意义的依赖关系，从而限制了其在安全关键型应用中的适用性。本文提出了在具有显式因果性和隐私保护能力的合成医疗表格数据生成框架中应用模糊认知图（FCMs）的一种新方法。临床特征通过语言上可解释的模糊集进行描述，特征间的依赖关系则编码为根据模糊集交集计算得到的 FCM 边权重。该方法通过将随机初始化的语言激活向量在 FCM 中传播至收敛，随后进行去模糊化，从而生成具有临床一致性的数值型合成患者记录。该方法原生支持混合数据类型以及健康记录中常见的领域约束。在 UCI 医疗基准数据集上的实验评估表明，在 Train-on-Synthetic-Test-on-Real（TSTR）协议下，该方法具有具有竞争力的性能。在 Heart Disease 数据集上，所提出的方法准确率最高达到 0.81，AUROC 最高达到 0.90，与 TVAE 和 Gaussian Copula 基线方法相当或更优，同时完全运行于 CPU 上。包括 KS Complement（最高 0.91）和 Correlation Similarity（最高 0.95）在内的保真度指标证实了其较强的统计一致性；此外，DCR Baseline Protection 得分始终高于 TVAE，证明了其能够提供充分的隐私保障。这些结果表明，以因果关系为基础的可解释模糊建模，为 CBMSs 中可信合成数据生成提供了一种计算高效且透明的深度生成模型替代方案。
12:00 arXiv cs.LG 75
arXiv:2610.00388v1 公告类型：新 摘要：强化学习使大型语言模型（LLM）智能体能够通过与环境交互学习多步骤行为。然而，在许多交互式任务中，奖励只反映最终结果，难以为哪些中间决策能够推动任务进展提供指导。成功的训练轨迹包含可为后续交互提供监督的中间状态。我们提出轨迹到步骤策略优化（T2SPO），一种利用过往交互轨迹为策略学习提供步骤级反馈的方法。T2SPO 从成功轨迹中推导剩余距离目标，并将其与沿途访问状态的表示配对。在这些示例的条件下，一个预训练的 TabPFN 回归器会估计新一轮 rollout 中每个状态距离成功的剩余距离。连续状态之间该距离估计值的变化，会与任务级监督一同为智能体步骤提供辅助信用分配信号。随着训练推进，新完成的轨迹会刷新估计器的上下文，在不更新其参数的情况下纳入新的经验。在 ALFWorld 和 WebShop 上使用 1.5B 和 7B 语言模型进行的实验表明，与 GRPO 相比，T2SPO 能够持续提升整体任务成功率。
12:00 arXiv cs.LG 75
arXiv:2610.00277v1 发布类型：new 摘要：联邦多模态图基础模型（GFM）旨在将预训练多模态模型适配到去中心化的图数据上，其中每个客户端拥有一个私有多模态图，且无法共享原始信息。这些模型通常结合多模态 Encoder（从异构模态中提取语义证据）和图神经网络（GNN）（在图结构上执行关系推理）。然而，现有的联邦 GFM 适配方法主要更新图侧模块，同时冻结多模态 Encoder，将适配限制在\emph{信息如何传播}，而固定了\emph{提取什么信息}。通过实证研究，我们发现 Encoder 与 GNN 的适配并非相互独立：Encoder 的适配会受到图关系的影响；此外，跨客户端的模块交换表明，分别参数化的 Encoder 和 GNN 更新之间存在显著的配对敏感性。受此观察启发，我们提出了 \textbf{FedCORE}，一种通过共享的低维潜在状态来表示 Encoder 和 GNN 更新的联邦适配框架。FedCORE 从多模态信号和结构信号中联合优化这一核心状态，并直接在共享状态空间中执行联邦演化，从而保持感知适配与推理适配之间的兼容性。大量实验表明，FedCORE 将 Encoder--GNN 配对差距从 $30.6$ 降至 $5.9$，相较于独立联合适配降低了 $80.7\%$。
12:00 arXiv cs.LG 74
arXiv:2610.00257v1 公告类型：新 摘要：在标准 Transformer 注意力机制中，源 token 会向每个接收方发送相同的值向量。查询决定关注的\emph{程度}，但不决定提取的\emph{内容}。本文提出\textbf{注意力流形}：已学习的二维 B 样条曲面 $S_d(q_d, k_d)$，根据查询与键之间的交互来调制每个值维度。每个曲面都是初始化为零的张量积三次 B 样条，从而保留预训练行为。在 LLaMA 3.2-1B-Instruct 和 3B-Instruct 上应用后，注意力流形仅增加 0.3\% 的参数量，就能使 WikiText-2 验证集困惑度降低 2--2.5 个点。在涵盖多种类型的 112 个提示中，曲面使其中 69\%（1B）至 83\%（3B）案例的贪心解码输出发生变化；对于含糊和多义输入，影响最为显著（变化率为 94--100\%）。曲面能够提升输出质量：纠正事实错误（\emph{“CAP 定理有三个主要组成部分”} $\to$ \emph{“不可能保证三者同时满足”}），提高精确性（\emph{“不可能知道某些属性”} $\to$ \emph{“不可能同时知道位置和动量”}），并增加具体性（将一条泛化引语变为注明出处的 Saint Augustine 引文，且在两个规模上均表现一致）。已学习的曲面还可以进行机械式编辑：反转某一层的系数会使 10 个提示中的 9 个产生不同的贪心输出（KL~0.010），为模型引导提供了一种几何机制。将曲面系数设为 $-1$ 会形成“注意力墙”，阻断值信息沿特定维度流动。在一项初步实验中，覆盖整层的注意力墙将一个爆炸装置提示从具体操作指令重定向为一般性教育内容，表明了通过塑造流形来实现面向安全的控制的可能路径。
12:00 arXiv cs.LG 75
arXiv:2610.00188v1 公告类型：新 摘要：基于体素的体积建图是三维重建的基础，但固定分辨率网格在本质上仍然效率低下——在均匀区域浪费内存，在复杂区域丢失细节。现有的自适应方法（如 MAP-ADAPT）通过根据几何结构和用户定义的语义类别列表改变分辨率，在一定程度上解决了这一问题，但这些启发式方法需要专家调参，难以泛化到未见过的物体，也没有提供显式的内存使用控制机制。我们提出了一种自适应框架，根据能够捕捉标签不确定性的语义熵，以及作为场景复杂度线索的几何曲率和纹理丰富度来细化体素，从而无需依赖语义分类体系即可实现有原则的分辨率分配。为使精度与内存之间的权衡更加明确且可由用户控制，我们进一步引入了一个强化学习智能体，使其能够在用户指定的目标内存预算下学习体素细分策略，以单一且直观的控制参数取代人工调节的阈值。在合成数据集和真实世界数据集上，与 MAP-ADAPT 和固定分辨率基线相比，最终得到的多分辨率 TSDF 实现了更高的几何精度、更好的语义一致性，以及更优的内存-精度权衡。我们的代码和模型已发布于 https://github.com/alpayozkan/UnRL。
12:00 arXiv cs.LG 82
arXiv:2610.00053v1 公告类型：new 摘要：四位浮点（FP4）Tensor Cores 可加速矩阵乘法，但尺度计算、操作数打包、布局构建以及保存的反向传播状态可能抵消这一优势。我们提出\emph{面向格式的融合}，针对每个量化生产者及其尺度域和消费者布局进行协同设计，以支持原生 \mxfp{}、全局 \nvfp{} 以及协作线程阵列本地 \nvfp{}。我们使用 bfloat16 输出投影和编译后的交叉熵，对 Llama-3 系列 8B 模型进行了 1600 亿 token 的预训练评估。在匹配的同加速器测试中，bfloat16 和 Transformer Engine \nvfp{} 的速度分别达到每 GPU 18.8K 和 27.6K tokens/s，而我们最快的自定义路径达到 37.9K。采用行梯度随机舍入和固定符号 32 值 Hadamard 权重梯度预条件的 \mxfp{} 达到每 GPU 37.2K tokens/s（bfloat16 模型 FLOP 利用率为 86.3%），最终训练损失比原始 bfloat16 训练损失终点高 2.11%。采用四个末端 bfloat16 模块的 Transformer Engine 配方达到每 GPU 27.1K tokens/s，最终结果比 bfloat16 高 0.87%。下游排名与训练损失排名存在差异，表明 FP4 的效果取决于尺度约定、操作数和执行路径的共同作用。
12:00 arXiv cs.LG 82
arXiv:2610.00049v1 发布类型：新 摘要：GPU 各代产品以不同速率扩展矩阵、特殊函数和内存流水线，因此随着硬件演进，内核瓶颈也会转移。FlashAttention-4 暴露了 NVIDIA Blackwell 注意力计算中的这种不平衡。我们测试短小的多项式程序能否加速大语言模型（LLMs）中的其他特殊函数单元（SFU）操作。首先，我们在独立的 IEEE binary16（FP16）测试中，将原生 PyTorch 计算与打包融合乘加（FMA）程序进行比较；该测试覆盖驻留于 L2 和高带宽内存（HBM）中的工作集。随后，在四项 GB200 集成任务中，我们用三阶或四阶 bfloat16（BF16）程序替换原生 sigmoid、tanh 和 sigmoid 线性单元（SiLU）：稠密 SiLU、tanh 软上限注意力、sigmoid 注意力，以及路由专家 Swish 门控线性单元（SwiGLU）。这些程序在使用它们的内核内部结合了解析对称性、目标格式舍入和打包算术。独立路径在 L2 中的性能提升为 1.19–2.19 倍，在 HBM 中为 1.00–1.70 倍。稠密 SiLU、tanh 软上限注意力和路由专家替换分别使完整训练步骤吞吐量提升 2.7%、2.9% 和 8.0%。sigmoid 注意力替换使完整注意力前向计算性能提升 7.4%，使完整 GPU 步骤性能提升 0.3%。采用相同检查点的开放权重消融实验，以及每项任务一次的配对预训练比较，将评估扩展到了模型行为。在接近 1000 亿 tokens 的常见训练时长处，四项任务中最终平滑训练损失的差异（多项式减原生）介于 $-0.107$ 和 $+0.079$ 之间。
08:00 Hugging Face Blog 67
08:00 Hugging Face Blog 85
08:00 Hugging Face Blog 78
14:25 Hugging Face Blog 67
07:00 Hugging Face Blog 67
01:23 arXiv cs.AI 77
数据选择对于在海量异构语料库上训练大型语言模型至关重要。用于训练数据选择的元学习（MTS）通过从目标验证目标中学习数据权重，为启发式评分提供了一种更为系统的方法，但现有方法在细粒度估值与向未见数据迁移之间面临权衡。一种自然的解决方案是用选择网络替代逐样本权重。然而，我们发现，将此类网络直接纳入现有的 MTS 目标会导致优化不稳定且泛化能力较差，其原因在于权重抑制以及对易学习特征的持续依赖。为解决这些问题，我们提出 Transferable Example Scoring and Selection (TESS)，这是一个基于 Pointwise Value Matching 目标（PVM）的可扩展数据选择框架。在 LLM 安全和定向指令微调任务上的实验表明，该方法在不同数据集之间具有很强的迁移能力，能够从子集迁移到完整语料库，也能从较小模型迁移到较大模型。
01:34 arXiv cs.AI 77
在策略自蒸馏近期已成为提升语言模型推理能力的有效方法，其通过让接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。在多模态大语言模型（MLLMs）中的应用却仍处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其效果仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏：向教师模型提供文本形式的、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序化生成的场景，其中自动提供物体身份和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这种空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅根据图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。值得注意的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型在后训练所使用的任务和数据分布之外实现显著的从合成数据到真实世界的迁移。项目主页：https://github.com/sirkosophia/Where-OPD
01:39 arXiv cs.AI 78
我们探讨大型预训练模型中的灾难性遗忘问题。通过将遗忘视为每个权重矩阵输入空间中的几何问题，我们发现了一种自然的保持目标；在该目标下，基于梯度的优化器所产生的更新并非最优。基于这一观察，我们提出了 Local Support Learning（LSL），一种通用框架，在无法访问先前数据的情况下增强基于梯度的训练，以保留既有能力。在新的学习阶段，LSL 将两个作用不同的组件结合起来：一个按照常规方式训练、以最小化损失的标准权重适配器，以及一个门控函数，仅在输入激活来自其自身训练分布时启用该适配器，从而使更新局部化于该分布。关键挑战在于，训练过程中只能使用当前学习阶段的数据，而该门控函数必须能够路由来自所有学习阶段的数据。为此，我们采用了基于 Gaussian Mixture Model（GMM）的门控函数；其似然值在偏离训练数据后会迅速衰减，因此天然倾向于对来自先前阶段的数据保持关闭。我们表明，这种训练后方法能够解决参数规模最高达 70 亿的 LLMs 中的遗忘问题，在多个训练阶段中同时保留预训练能力和微调能力；此外，它在内存和计算方面高效，对超参数选择具有鲁棒性，并展现出良好的扩展潜力。
01:53 arXiv cs.AI 79
视觉语言模型（VLM）和视觉语言动作模型（VLA）近年来推动了通用机器人领域的快速发展，但大多数进展都集中于单机器人场景。将这些能力扩展到多机器人系统仍然具有挑战性，因为机器人必须在保持可靠、细粒度执行的同时，协调长时域行为。我们提出了DuoMind，一种通过语义通信实现多机器人协作的分布式分层框架。每个机器人使用基于VLA的动作模型进行低层执行，并使用基于VLM的编排器进行高层推理和智能体间协调。在每个规划步骤中，每个机器人的编排器都会基于任务指令、局部观测以及从其他机器人接收的消息进行推理。随后，它为动作模型生成低层指令，并为协作机器人生成语义消息。该架构结合了预训练模型的互补优势，将VLM的语义推理能力与VLA的精确动作生成能力相结合。针对多机器人协作基准的匮乏问题，我们进一步开发了RoboPoly，这是一个包含长时域操作任务的基准，要求在分布式控制下进行协调的闭环执行。在RoboPoly和RoboTwin上的实验表明，DuoMind能够提升多机器人任务性能；消融研究进一步验证了分层编排和语义通信的贡献。更多详情请参阅我们的项目页面。
01:58 arXiv cs.AI 78
当前可控视频生成系统通常依赖 2D 运动轨迹或稀疏的拖拽信号来控制物体运动。这些控制方式存在歧义，因为同一条 2D 轨迹可能对应不同的 3D 运动，尤其是在相机和物体同时移动时。我们提出 Generative Cinematographer（GenCine），这是一个将单张图像提升为可编辑 3D 场景支架的系统，使艺术家能够共同创作相机运动和前景运动。艺术家可以指定相机路径，并使用局部 3D 运动控件移动选定的前景区域。多个控件可以独立移动主体的不同部分，在无需物理模拟器或特定类别先验的情况下，以分段刚性的方式近似非刚性运动。为了将这些控制信息传递给预训练视频模型，我们将其投影为引导图。这些图记录受控区域在每一帧中的出现位置，为每个控件在所有帧中分配固定颜色，并在与背景相同的世界坐标系中编码其受控点当前的 3D 位置。这样，即使相机发生移动，我们也能描述相对于场景的物体运动。在训练过程中，我们从真实视频中恢复运动过程中观察到的控制信息，并使用合成视频中的真实几何结构和轨迹。我们在预训练的 Wan 模型上训练了一个轻量级引导分支和 LoRA 适配器，使其能够遵循这些控制信息。实验表明，该系统能够实现一致的相机相对运动，在视点变化下提升几何一致性，并在多样化的真实场景中提供强大的可控性。
01:59 arXiv cs.AI 82
3D 高斯虚拟角色支持快速渲染，但其实时动画通常受到高成本神经网络推理的限制。我们针对这一瓶颈展开研究，发现预训练虚拟角色模型的动画可以通过与身份无关的混合形状线性组合进行高精度近似。基于这一发现，我们提出 GALA（Gaussian Animation via Linear Approximation），这是一种蒸馏方法，以浅层系数预测器和线性混合替代逐帧执行的复杂神经解码。为提升保真度并降低内存需求，我们在考虑渲染感知度量和内存预算的条件下，采用局部块 PCA 构建基底。我们训练了一个浅层 MLP 网络来预测混合形状系数，并且无需重新训练原始模型，即可应用于各种动画架构。我们通过加速三个不同虚拟角色模型的推理来验证 GALA，这些模型用于带有表情和服装动态的 3D 面部动画及全身动画。在这些模型上，我们的蒸馏方法能够泛化到未参与训练的身份，在保留大部分渲染质量的同时，将 CPU 动画成本降低最高三个数量级。我们方法取得的出色结果证实了学习到的虚拟角色表示中存在共享的线性结构，并支持在移动设备上以最高达 60fps 的帧率实现高效且精确的动画。项目主页：https://ramazan793.github.io/gala/
16:47 arXiv cs.AI 81
当生成模型使用早期模型生成的合成数据进行训练时，就会出现模型崩溃现象。由于其对社会和技术的影响，这一现象引起了广泛关注。然而，先前的研究得出了看似矛盾的结论：用合成数据替换真实数据会导致模型崩溃（Shumailov 等）；但将真实数据与合成数据一同累积则可以避免模型崩溃。对于扩散模型，我们研究了一种有限预算流程中常见的中间情形：保留所有过去的数据集和真实数据，但每个新模型都从这个不断扩大的数据池中抽取固定大小的样本进行训练，因此真实数据所占比例会逐渐趋近于零，同时没有任何数据被移除。在二维螺旋数据集以及图像基准数据集（MNIST、Fashion-MNIST 和 CIFAR-10）上的实验表明，替换方案会像相关文献中所述那样使数据集迅速退化，而固定预算方案只会造成部分退化，保留某些特征。对多代参数动态进行线性响应建模，并通过随机递推进行分析后，我们确认这两种方案存在差异：对于两种方案而言，一些特征较为脆弱，会在几代之内丢失；而另一些特征则较为稳健，在固定预算方案下能够在实际上无界的时间范围内得到保留。
17:45 arXiv cs.AI 74
要将模型行为归因于合成训练数据，必须先了解每个训练项是如何生成的，然后才能估计该训练项造成了什么影响。波形—标签对无法保留这一信息。我们提出一种生成溯源基础设施，其中合成研究对象绑定源规范、生成内容、波形、目标、事实要求、质量信号、审查谱系以及不可变的清单标识。证据意义由生成者和选择机制决定，而非由存储位置和变量名决定。我们在一个私有的日本护理交接流程中审计了该基础设施。由113个资产组成的审查总体包含跨越六类场景的1.552小时合成语音；所有条目均关联音频、转录文本、候选说明和事实核查清单，但人工证据具有选择性且因来源而异。两个仅包含忠实项的清单在场景种子上互不相交，并进行不可变版本控制；然而，由于生成器别名处于浮动状态、缺少逐片段的TTS和代码标记，以及检查提示未进行版本控制，精确的上游归因仍然受阻。我们认为，生成溯源对于行为归因是必要但不充分的：它定义了候选因果图和审计单元，而贡献性归因仍需要冻结的训练运行，以及干预证据或影响证据。本文提出了一份精简的溯源契约、一套审计协议，以及一个面向合成数据归因的有界案例研究；我们可以提供受控的研究访问权限，但不声称实现了因果训练数据归因、临床有效性或不受限制的公开发布。
00:49 arXiv cs.AI 78
通过强化学习（RL）掌握机器人操作技能，在很大程度上仍然存在样本效率低下的问题。最常见的 RL 算法依赖随机动作采样来发现新策略，导致智能体将大部分训练预算用于远离接触点的自由空间运动，而操作技能正是在这些接触中产生的。现有基于模型分歧或认识不确定性的内在动机方法，相较于各向同性噪声有所改进，但它们也可能奖励功能上无关的状态转移中的不确定性，例如自由空间中的无规律运动。在本文中，我们认为触觉反馈为探索提供了一种自然信号，并提出 TacEx：一个将触觉融入由认识不确定性驱动的探索框架。该框架通过在不同感知模态之间分解模型不确定性，将好奇心引向触觉通道。通过将好奇心锚定于触觉，TacEx 驱动机器人发现复杂的接触动力学，并在探索过程中无需任务奖励或专家示范即可学习操作和抓取物体。通过这种触觉驱动的好奇心收集的高交互密度数据集，支持离线学习后续的抓取与放置策略，而无需与环境进行额外交互。我们进一步利用触觉驱动的探索对视觉-语言-动作（VLA）模型进行后训练。尽管 VLA 最初是在没有触觉反馈的情况下进行预训练的，但使用 TacEx 进行后训练能够显著提升下游性能，同时保持极高的样本效率。
00:58 arXiv cs.AI 78
我们提出 PrefPI（Preference-Guided Policy Iteration），一种仅利用对自生成轨迹的相对偏好来引导预训练生成式机器人策略的迭代框架。不同于以往主要强化策略已表示模式的偏好学习方法，我们研究的是超越初始有效支撑集的引导问题：在初始策略下，期望的行为很少出现，甚至从未出现。我们的核心思想是将偏好学习表述为偏好条件生成建模：偏好轨迹定义了一个条件分布，该分布与更广泛行为先验之间的密度比提供了一种隐式偏好信号，并通过无分类器引导（CFG）得到放大。重复执行这一偏好条件建模与引导步骤，可以形成一种偏好引导的策略迭代，推动策略逐步改进并实现此前无法获得的行为。在仿真和真实环境中，针对扩散策略以及 PI0.5 流匹配 VLA 的实验表明，PrefPI 仅需有限反馈即可产生显著的行为变化。尤其是，在真实硬件上，仅使用 150 条带偏好标签的轨迹，PrefPI 就将物体运输高度从 10.7 厘米提升至 19.8 厘米。
01:26 arXiv cs.AI 74
World Action Models（WAMs）将视觉动力学预测与动作生成相结合，但并未明确支持在不同操作任务之间复用动作经验。此外，现有 WAMs 难以捕捉能够指导目标动作预测的跨任务底层语义关系，因为冗余的背景元素会干扰关键信息的视觉提取。为应对这些挑战，我们提出了一种新颖的 Action Experience Dictionary（AED），将历史物理动作轨迹编码为共享动作嵌入，以支持技能复用并建模跨任务关系。具体而言，我们首先聚合历史动作，使其与视觉观测对齐，并使用预训练动作分词器从 AED 中检索动作嵌入。随后，我们通过交叉注意力对池化后的嵌入进行视觉条件化，并将其置于噪声动作 token 的前面，为预测提供交互上下文和动作意图。为建模与动作相关的运动并减少对无关背景线索的依赖，我们引入了一种运动感知转移损失，在随机时间间隔上监督视觉特征变化预测。在仿真基准以及真实世界跨具身设置上的实验验证了 AED 的有效性。匿名项目网站见 \href{https://github.com/JiahuaDong/AED}{AED}。
01:26 arXiv cs.AI 81
使用强化学习（RL）训练 LLM 智能体受环境所限：环境必须提供可验证的奖励、支持长时程交互，并能够以低成本扩展。现有方法依赖昂贵的人工整理数据，或依赖由 LLM 生成的环境，而后者存在幻觉和基准测试污染的风险。我们表明，通过完全由规则生成的合成环境，可以将 LLM 训练成能力出色的搜索智能体；这类环境的生成无需 LLM，且边际成本为零。我们构建了 PhantomEnvironments——来自虚构世界的多轮 RL 环境，智能体必须搜索由模板生成的文章语料库，以回答多跳问题。尽管这些环境与现实世界没有任何事实上的交集，但这种异常简单的环境仍能训练出可迁移到现实世界多跳搜索基准测试的智能体，并且在较新的基准测试上，其表现往往优于使用现实世界训练数据训练的智能体。经过训练的智能体能够泛化到未见过的虚构宇宙；Qwen 模型还学会了使其搜索预算大致随问题难度线性扩展，这表明仅通过与环境交互就可能涌现出搜索扩展能力。对环境复杂度进行消融实验显示，跳数对迁移的影响大于约束或比较：即使是最简单的规则生成环境，也是一种出人意料地有效且免费的资源，可用于训练具有泛化能力的 LLM 智能体。
01:52 arXiv cs.AI 76
预训练机器人策略提供了有用的动作先验，但长时域操作仍需要语义推理与物理执行之间的协调。语义推理的运行时间尺度比物理交互更粗，而回合级失败只能有限地指示应当修改系统中的哪个组件。我们提出 DynaHarness，这是一种动态物理控制框架，通过共享执行契约将语义推理与物理治理相耦合，并将失败证据转化为经过验证的能力修订。具体而言，慢脑提出能力和符号参数，而快脑则对命令进行落地与监控，拒绝无法解析的动作，替换能力，并在需要时请求重新规划。物理执行契约约束每条被接受的命令，并记录分析技能、恢复技能和冻结 VLA 的执行证据。失败归因在这些记录中定位故障，并指导对可复用能力或执行机制进行有针对性的修订。成对回归检查决定是否接纳或拒绝修订，从而闭合自演化循环。在 LIBERO-Pro 上，DynaHarness 在新采样的 800 个初始状态上取得了 75.2% 的成功率，而冻结策略为 17.5%。在使用相同能力库的情况下，完整动态执行达到 74.0%，而名义上的单步重新规划仅为 63.9%。这证明了 DynaHarness 作为动态物理控制框架的价值：它能够在执行过程中管理现有能力的落地、监控与协调。我们的项目页面位于 https://denghaoyuan123.github.io/Dynaharness_page/。
01:55 arXiv cs.AI 73
材质生成不仅应产生外观，还应生成构建该外观的规则。我们提出 MatLoom，这是一种面向文本到材质生成的紧凑分层语言，可与预训练语言模型结合使用。每个程序由带有 alpha 蒙版的图层组合而成，各图层共享的空间表达式定义覆盖范围和基于物理的渲染（PBR）通道，从而明确呈现图案、颜色与凹凸之间的依赖关系。独立的解释器会将程序求值为材质贴图，同时保留源代码中的命名字段和图层参数，以便后续编辑。在无需针对特定任务进行微调的情况下，我们的流水线利用解析器引导的修复和基于预览的评议来修改材质设计，随后在保持每个候选方案其余源代码不变的情况下搜索噪声种子。在一个经过筛选、包含 141 条提示词的基准测试中，使用六个骨干模型进行评估时，我们表现最佳的配置在全部四项平面布局提示词对齐指标上的平均得分都高于三种扩散基线。仅凭初始程序，其平均 BLIPScore 就已超过三种基线，尚未进行评议或种子搜索。汇总所有骨干模型后，保留程序的中位长度为 21 行。在一项涉及 30 名参与者和 20 条提示词的盲选四方比较中，我们的渲染结果获得了 59.2% 的选择，而最受偏好的基线为 19.3%。因此，紧凑的可执行程序为生成与提示词相匹配的材质提供了一种途径，同时还能将材质的构建过程作为资产的一部分予以保留。
14:48 arXiv cs.AI 80
参数高效强化学习旨在通过为预训练模型配备紧凑的可训练接口来提升推理能力。我们提出丘脑路由器（T-Router），将适应过程集中于对已完成计算的复用。一个经过压缩且可寻址的存储库保留块变化；一个沿深度递归的控制器根据上下文决定对这些变化的选择及其相对尺度回写。这种耦合为丘脑式的依赖上下文路由赋予了具体的计算形式：学习接收层使用哪些更早的贡献，以及以多大影响力使用它们。正确性奖励用于训练该接口，同时保持骨干模型参数和层顺序不变。在一个拥有 8.95B 参数的骨干模型上，T-Router 分配了 41.73M 个参数（占骨干模型的 0.466%），在 GSM8K 强化学习后取得了 83.64 +/- 1.16 的 MathAvg；相比之下，在三轮评估中，全参数 GRPO 的结果为 73.79 +/- 1.83。在参数预算相当且重试次数匹配的情况下，它超过了 LoRA 的 77.28 +/- 1.95 MathAvg，在全部三个任务系列上均有所提升，并将 AIME 平均准确率从 48.33 提高到 60.56。容量受控的比较表明，可寻址的块变化和递归上下文更具优势；独立的搜索训练则将该接口扩展到了工具介导的推理。这些结果表明，受控的计算复用是实现参数高效推理强化学习的有效途径。
00:58 arXiv cs.AI 76
现代计算机视觉模型在大规模标注数据集上训练时能够达到较高准确率。在建筑安全监测等关键领域，数据收集成本高、具有危险性，并且受到伦理约束。本文系统研究了两种互补的数据生成范式：(1) 基于 Unity Simulation 的渲染，以及 (2) 基于 Controllable Diffusion 的生成（CIA），用于真实数据稀缺条件下的目标检测。一个统一的实验框架支持在真实、仿真和生成数据源之间进行受控的数据集混合，同时保持相同的模型和训练设置。使用 Precision、Recall、mAP 以及自定义 $Δ$-metrics 进行的定量评估表明，无论是单独使用仿真还是生成增强，都无法获得最佳迁移能力。仅使用 Unity 训练相对于真实数据的 mAP@0.5 下降了 $-50\%$，而仅使用 CIA 训练的性能退化较轻，为 $-16.5\%$。混合组成显著提升了性能，其中 90\% 真实 + 10\% Unity 的配置取得了最佳整体 mAP@0.5，达到 $62.68\%$（较基线提升 $+7.64\%$），而 90\% 真实 + 10\% CIA 的配置使 precision 达到最高，为 $74.45\%$。结果表明，有限的合成数据引入能够增强泛化能力，而过度替代会导致领域漂移。
01:58 arXiv cs.AI 75
Looped Transformers 会多次复用同一个层块：通过花费额外计算，它们能让固定规模的模型走得更远，从而更充分地利用其参数；而稀疏 mixture-of-experts（MoE）模型则会为每个 token 只激活众多专家中的少数几个。Looped MoE 将这两种设计理念连接起来，为 MoE 模型带来了更好利用专家的新潜力，但也提出了一个问题：如何循环一个 MoE？我们用 Foil 回答了这个问题。在专家参数和每个 token 的专家计算量保持固定的情况下，Foil（1）展平专家：将专家层数减半、每层专家数加倍、pass 数加倍，使每次路由决策都能从更大的池中选择；（2）解绑定注意力：让每个 pass 拥有自己的注意力参数，而专家和路由器保持共享。实验表明，Foil 明显优于未展平的循环基线：在 20B token 时，每个 Foil 模型的预训练损失都低于基线；在 100B token 时，损失会随着展平程度单调改善，在参数和计算量相同的情况下，展平程度最高的 Foil 最终比基线低 0.012 nat，下游准确率持平或更好；解绑定注意力还会在相同结构下带来更均衡且更有信心的路由。我们的消融实验分析了 Foil 为何有效，并将发现转化为 looped MoE 的设计指导：循环带来的收益与加宽专家层带来的收益会相互放大；相比负载均衡，路由置信度更能反映健康的专家使用；因此，稀疏 looped MoE 应当使用每层更多的专家和更多的 pass。代码和配置可在 https://github.com/SR-A-W/how-to-loop-moe 获取。
06:17 arXiv cs.AI 72
半结构化剪枝在保持规则稀疏结构的同时压缩大型语言模型（LLMs），但主流的 N:M 模式在每一层中固定相同的局部稀疏率。层自适应稀疏分配能够改进非结构化剪枝，但据报道在 N:M 稀疏性下效果较弱，这留下了一个开放问题：自适应分配对于半结构化剪枝总体而言价值有限，还是仅在细粒度的 N:M 模式下受限。我们通过组级稀疏性来考察这一问题：它将每个权重矩阵划分为规则的组，整体保留或剪除每个组，并允许每一层的稀疏率在全局预算下变化。我们提出 GroupMask，它使用轻量级超网络生成所有层的组选择器，通过 Gumbel-Sigmoid 参数化和直通估计器对其进行松弛，并在保持预训练权重冻结的同时，通过稀疏预算正则化和自蒸馏来学习这些选择器。在 LLaMA-2-7B 上，以 50% 稀疏率和相同的 $1\times256$ 组大小进行实验时，相比于每层均匀比例，学习得到的层自适应分配将 WikiText-2 困惑度从 10.02 降至 8.30，并将平均零样本准确率从 0.455 提高到 0.496。在五个 LLaMA 和 Qwen 模型上评估的基线中，GroupMask 在 LLaMA-2-7B 上获得了最低的 WikiText-2 困惑度，并在使用 Alpaca 校准时取得了最高的平均零样本准确率。我们的代码可在 https://github.com/ZhengaoLi/GroupMask 获取。
07:07 arXiv cs.AI 73
电子健康记录（EHR）将临床病史编码为（时间、模态、代码）元组，而预训练语言模型期望输入文本 token。将其序列化为文本会膨胀序列长度，并冗余地编码结构。我们提出 EHRAdapt，这是一种适配器，可将元组直接映射到冻结语言模型的嵌入空间中。模态使用学习得到的嵌入，时间间隔通过学习得到的注意力偏置引入，事件代码则使用专用向量。学习事件向量是核心挑战：临床词表呈长尾分布，罕见事件的观测数量过少，难以得到可靠估计。因此，EHRAdapt 将每个事件向量表示为语义先验与证据残差之和。该先验是事件临床描述的冻结嵌入，由一个在临床本体上训练的生物医学语言模型生成，并通过共享的学习投影映射到模型输入空间，因此即使观测稀少也能提供临床含义。残差是一种学习得到的低秩事件特异性校正，会随着证据积累对其进行细化。我们在约 400 万名患者的记录上，使用三个冻结的 LLM 骨干（OLMo2 1B、Llama3.2 1B 和 OLMo2 7B）进行持续预训练，仅训练适配器（占全部参数的 0.1--0.6%）。在每个骨干上的留出集下一事件预测中，完整适配器都优于所有消融版本。移除语义路径对罕见事件的损害比对最高频事件的损害大十倍以上，而移除残差会损害总体预测，但会提升最罕见事件的预测效果。在法定报告传染病和症候群下游分类任务中，EHRAdapt 优于基于文本的 LLM 和基于计数的基线，并且两条路径都能改善罕见疾病判别。因此，这两条路径发挥互补作用，只有按事件频率而非取平均来拆分结果时，这种作用才清晰可见。
23:16 Hacker News 熱門 65
大家好 HN，我是 Per，Scrimba（YC S20）的创始人。在过去十年里，我们一直用一种基于 HTML 的视频格式教人们编程。现在我们把 LLM 接入了其中，让人们可以创建关于任何内容的讲解视频。它叫做 “Scrimba Explain”。 为了向 Hacker News 演示这项技术，我们构建了 HN.watch。它就像 HN，但用讲解视频代替文章。我们会在有人第一次点击某个链接时即时创建这些视频。 虽然使用 HTML 而不是扩散模型有明显的视觉缺点，但它有三大优势：- 速度：比基于像素的视频生成快得多（从点击到播放只需几秒）- 成本：我们每个视频的成本约为 0.04 美元。（不包括某些视频会使用的图像生成；这会很快推高成本）- 易于编辑：上述优势也让 AI 辅助编辑变得便宜且快速 我们的假设是，如果视频创作从“几美元和几分钟”变成“几美分和几秒钟”，就会解锁一批新的使用场景。以下是我们已经看到的一些：- 为每一个 Pull Request 提供视频讲解（我们内部就是这样做的）- 为你的内部/外部文档中的每个页面配一个视频 - 在约 4 秒内把一篇复杂文章变成视频（通过我们的 Chrome 扩展）- 课程创作者可以在录制正式内容前快速起草课程 - 人们还会创作很多个人内容，比如给孩子的故事、婚礼邀请、生日等 这个技术栈基于一种开源编程语言（Imba），由我们的 CTO Sindre Aarsæther 创建。它会编译成 JavaScript，因此能与 npm + node 生态系统完全互操作。你可以在这里了解更多： https://imba.io/ 我们还构建了自己的同步引擎（OP），以及一个用于代理的上下文管理系统（Q）。我们原本担心这会让 LLM 在为我们写代码时遇到困难，因为这两者都不在它们的训练数据中（其中 Imba 的数据也很少）。然而，我们惊喜地发现 LLM 实际上非常擅长我们的技术栈。这可能是因为这个技术栈极其紧凑。Imba 很简洁，OP 也是如此，一个声明就能设置存储、同步、权限、UI，以及 AI 能看到的内容。这意味着前端、API、数据库和 JSON 之间不需要相互转换，模型也就不容易混淆和出错。 简单来说，我们没有使用 React.js、Express、Supabase 和 LangChain，而是从零开始全部自己构建。绝对是深受“非我发明”综合征之苦，哈哈！至于模型，我们使用 Gemini、GPTs、Inworld、ElevenLabs 以及其他一些模型。 如果你想试试，可以任选一种：- Web UI（scrimba.com/explain）- MCP（添加到你的编码代理中）- ChatGPT Plugin - Chrome Extension 你可以在我们的文档中找到以上所有内容的链接： https://docs.scrimba.com/explain/introduction 最后，这是该工具的一个真正基于像素的视频： https://www.youtube.com/watch?v=k6rbHmBxSEs 很想听听你的反馈，也想知道是否有人对其他使用场景有想法。 PS：考虑到 HN 群体有多偏爱文本，我预计这次发布会在 HN 上遇到相当多的反对意见。这类工具并不适合所有人。但如今确实有很多人更喜欢视频而不是文本，尤其是年轻一代。 评论 URL： https://news.ycombinator.com/item?id=49879401 积分：18 评论数：8
00:23 arXiv cs.AI 80
语言建模的进步一直得益于在越来越多的数据上扩展预训练。然而，训练数据仍主要是由人类替模型整理的。更通用的预训练方法应当让模型学会生成对自身改进最有用的数据。这样便能提供一个实际上不受限的训练数据来源，其上限取决于计算量，而非人类知识。我们提出了零数据自博弈预训练，这是实现这一愿景的初步概念验证。我们的方法借鉴 Solomonoff induction，将合成数据生成视为在所有可计算结构空间中的搜索。从随机初始化开始，两个模型协同学习：生成器提出由通用图灵机解释的程序，并生成字节序列；学习器则自回归地预测这些字节序列。学习器采用标准交叉熵进行训练，而生成器采用强化学习进行训练，以生成处于学习器能力前沿的序列，从而形成自适应课程。通用图灵机为我们提供了一个涵盖所有可计算数据生成过程的搜索空间，同时几乎不施加特定领域结构；自博弈则在这一空间中搜索有用的训练数据。我们测试了自然数据上的零样本性能是否会随着自博弈计算量的增加而呈现可预测的改善；由于生成器和学习器都没有在自然数据上训练，这为迁移能力提供了一个干净的测试。在多个自然数据集上，零样本损失都表现出随计算量变化的可预测缩放规律。这些模型还表现出上下文学习能力，并在训练过程中发现了可辨认的数学序列。
00:39 arXiv cs.AI 80
大型语言模型日益广泛地作为持久化助手运行于面向用户、共享会话和工具增强型环境中。当用户在进行中的对话中披露敏感信息时，即使对话随后转向无关主题，这些信息仍可能通过后续提示在行为层面被恢复。我们提出 \textbf{PrivDrift}，这是一个用于审计用户披露的秘密在对话发生主题漂移及基于说服的探测后是否仍可被恢复的基准。PrivDrift 包含 1{,}000 个受控的多轮对话，其中设有预置秘密、内容密集型漂移轮次以及标准化提取探针。在三个具有扩展上下文窗口的 LLM 上，跨对话级别的混合泄漏仍然十分显著，比例介于 38.7\% 和 54.6\% 之间，并且会因模型、秘密类型和说服强度的不同而有明显差异。在所测试的漂移窗口内，进一步的主题漂移并不能可靠地降低泄漏，这表明主动 LLM 上下文中的隐私风险应被评估为一种持久性的行为失效模式，而不应仅被视为训练数据记忆或即时越狱行为。
01:37 arXiv cs.AI 77
科学发现始于已知问题的尽头。在那里，AI 系统必须开展探索：提出假设、设计实验，并根据结果反复迭代。然而，评估这种能力十分困难：（1）如何验证一个真正全新的假设是否成立；（2）如何确定系统是通过探索发现了该假设，还是仅仅回忆起了预训练数据中的相关知识。为此，我们推出了 ExplorationBench，将评估科学探索这一棘手问题转化为一个具体且易于处理的框架，该框架建立在可验证的异星世界之上：它们的规则是可执行的，因此每个答案都能被精确检验；同时，这些规则与熟悉的知识相冲突，因此仅凭回忆无法完成任务。该基准包含两个沙盒：AlienCode（31 个发现目标、70 项任务）和 AlienLogic（24 个发现目标、70 项任务）。每个沙盒都提供一份有缺陷的手册、针对任务的环境反馈，以及专用的工具调用模式。系统利用这些资源探索沙盒，然后解决留出的任务。我们评估了 10 个 AI 系统，发现其中最强的系统能够习得并应用陌生规则，但不同探索轨迹之间的表现差异很大，持续探索还可能停滞，或使先前取得的进展倒退。ExplorationBench 朝着这样的 AI 系统迈出了一步：它们能够在未知环境中通过探索获取并应用真正全新的知识。
20:57 arXiv cs.AI 79
目的：由于合并症负担沉重、患者群体老龄化以及频繁住院，心力衰竭（HF）带来了医疗保健方面的挑战。远程监测通过早期发现健康状况恶化，为管理 HF 患者提供了一种前景良好的方法。开发能够从远程监测数据中自主检测病情恶化迹象的系统，有助于减轻医务人员的工作负担。方法：我们提出了 TRACER 模型，即一种采用对比事件表示的 Transformer，旨在从低分辨率且采样不规则的远程监测数据中预测通向罕见住院事件的时间线。TRACER 为每种生物标志物引入时间感知嵌入，通过对比预训练利用表示学习增强异常检测能力，并采用相互独立的二元分类器进行检测。我们使用了 276 名 HF 患者的测量数据，其中包含远程记录的生物标志物序列；依据时间规则将数据分割为相互重叠的窗口，并根据窗口末端是否发生与 HF 相关的住院事件对窗口进行标注。结果：在高度不平衡的真实世界数据集中，TRACER 能够正确预测 66.7% 的通向 HF 住院的时间线，过度估计率为 7.9%。将 TRACER 的训练重新定义为事件检测问题，相较于直接基于预测窗口进行训练，提高了预测性能，从而能够更有效地利用有限的住院事件。结论：与其他受测试模型相比，TRACER 在真实世界远程监测数据中检测病情恶化迹象方面展现出更优的性能。意义：TRACER 在识别临床状况恶化迹象方面显示出良好前景，可据此生成警报，为 HF 患者提供应对性治疗。
21:30 arXiv cs.AI 81
我们提出了 TimeBraid，这是一系列统一的时间序列与语言模型，通过交错的全局残差注意力层，将预训练语言模型与预训练时间序列基础模型对齐。每个模型从一方继承知识、指令遵循能力和推理能力，从另一方继承连续信号感知能力与零样本预测能力，并在一个共享表示空间中融合二者，使两种模态都能够被理解和生成。我们研究了实现此类统一建模的设计选择：应在何处对齐两个表示空间、如何将语言置于时间结构之中、如何平衡理解与生成，以及如何保持联合优化的稳定性。最终形成的方法结合了适用于多样时间序列和文本任务的统一提示方案、稳定的联合训练，以及来自 2.2M 个精选序列—文本对和 4.9M 个指令微调样本的监督。在涵盖时间序列感知、理解、推理，以及借助上下文和单模态预测的各类基准测试中，TimeBraid 即使面对规模大得多的通用模型和特定任务模型，仍保持了具有竞争力的表现。
21:37 arXiv cs.AI 82
多中心临床研究和生物医学研究合作日益寻求利用跨中心数据来构建能够泛化到单个中心之外的模型。这带来了两个不同的挑战：数据保护法规可能限制机构之间共享原始患者数据，而各中心可能在不同协议下仅收集部分重叠的特征集合。联邦学习能够在不集中原始数据的情况下进行协作式模型训练。然而，现有的联邦插补方法很少评估特征级缺失，即某些中心完全未观测到整个特征。为应对这一情形，我们将掩码自编码器 ReMasker 适配到联邦学习中（Fed-ReMasker），使各中心能够借助从协作中心学习到的知识，对本地从未观测到的特征进行插补。我们在一项基准测试中评估了 Fed-ReMasker，该测试涵盖具有线性和非线性关系的合成数据集以及包括临床数据在内的真实世界表格数据集。该基准测试改变了中心数量、缺失比例和客户端异质性。在同质基准测试中，Fed-ReMasker 在 93.2% 的值级场景和 96.7% 的特征级场景中取得了最低的插补误差。在使用简单联邦平均的情况下，它对客户端异质性也保持稳健：在全部 36 个值级场景中均优于所有基线方法，并且在 36 个特征级场景中的至少 35 个场景中优于每个基线方法；与基于汇总数据训练的集中式模型相比，其平均性能差距不超过 3.0%。
01:17 arXiv cs.AI 75
在冻结的自监督潜空间中整合流的潜在世界模型，训练稳定且成本低廉，却会悄然丧失操控最依赖的属性：运动。预训练流从不移动被操控的物体；使用仅潜空间损失重新训练它，也只会将静止替换为类似瞬移的运动。我们追溯发现，失败源于训练信号而非表征：稀疏锚点、仅潜空间的监督从未说明变化应在时间跨度中的哪个位置发生。借助解码增强的滚动训练（DART），这一问题得以修复，同时保持表征冻结，仅使用解码路径监督重新训练流。在完整评测协议下，DART 的表现优于其仅使用潜空间的基础模型，恢复了运动的时间结构，并使预测运动重新与场景耦合；在更大规模下，它进一步提升了预测质量，弥合了与基于预言信息的插值参考之间剩余差距的近一半。最后，我们报告了一个出人意料的评测发现：仅使用像素误差会奖励静止不动的预测。
16:09 arXiv cs.AI 84
现代大型语言模型在海量数据集上进行预训练，因此很难防止基准数据进入其训练集，从而削弱评估结果的可靠性。对于基础模型而言，可靠评估尤其具有挑战性，因为其有限的指令遵循能力使基于任务的评估变得复杂。我们提出 Uncheatable Eval，这是一个动态基准，会定期收集新近发布的文本，用于评估基础语言模型并降低数据污染风险。基于模型预测能力与其无损压缩数据能力之间的关系，我们使用压缩率来评估模型预测新文本的能力。我们在 14 个文本类别上评估了 80 个模型，研究压缩如何随上下文长度变化，并考察压缩率与零样本 MMLU 准确率之间的相关性。结果得出三个主要发现：（1）压缩性能随模型规模呈现一致的缩放趋势；（2）基于注意力的模型、混合模型和循环模型在可用上下文增加时，其压缩性能的变化方式不同；（3）更低的压缩率与更高的零样本 MMLU 准确率高度相关。代码可在 https://github.com/Jellyfish042/uncheatable_eval 获取。
16:41 arXiv cs.AI 74
多模态学习正成为面向物理的 AI（AI4Physics）中的一种强大范式，其中对物理系统的预测需要联合解释异构观测、测量数据和领域知识。然而，现有方法通常将物理量和控制方程表示为通用的数值或文本 token，忽视了决定其时空相互作用的物理约束。为解决这一局限，我们引入了 \textbf{物理场模态}，并提出 \textbf{PhyMo}，这是一个以物理为基础的多模态框架，通过与 PDE 相关联的算子来组织异构测量数据。PhyMo 遵循三阶段学习流程：首先在 PDE 残差监督下通过场重建对物理场编码器进行预训练；随后将其表示与视觉嵌入对齐到共享潜在空间中；最后由相应的下游预测头处理融合后的多模态表示。在涵盖多种物理环境的五个数据集上的实验表明，与每个数据集上最强的基线相比，PhyMo 达到了最先进的性能，证明了 PhyMo 在 AI4Physics 多模态表示学习中的优越性。
17:08 arXiv cs.AI 75
现有的机器学习（ML）Scaling Laws 将预测损失与计算量、模型参数和数据联系起来。然而，随着模型越来越多地通过智能体框架进行部署，仅凭损失已不足以刻画下游性能：损失相近的模型在推理、检索、规划和适应能力方面可能表现不同。然而，目前尚无统一框架能够将这些能力与整个 ML 生命周期中可用的耦合资源联系起来。为弥合这一缺口，我们引入了能力流形，这是一种多维框架，通过有界缩放函数将下游能力映射到预训练、后训练和测试时资源。解析雅可比矩阵量化了能力对资源变化及其相互作用的敏感性。作为初步应用，我们将 Kaplan- 和 Chinchilla- 类型的 Scaling Laws 以及测试时计算纳入该框架，展示了如何将现有的缩放关系统一为共同能力流形上的轨迹。
17:21 arXiv cs.AI 79
上下文学习（ICL）已成为现代 LLM 部署的基石。然而，现有的 ICL 后训练方法存在一个关键盲点：它们擅长从示例中提取模式，却往往忽视上下文权威性，即判断上下文信息是否应当主导最终答案的能力。为评估这一能力，我们引入了 FakeContextBench，其中包含涵盖七个领域的伪科学论断。我们对商用和开源模型的评估表明，仅依靠大规模预训练不足以可靠地区分上下文权威性。此外，普遍采用的 ICL 微调方法可能会提高模型对误导性上下文的易感性，使现实准确率相较于基础模型最高降低 14.95 个百分点。为解决这一权衡问题，我们提出 Jurisdiction In-Context Learning（J-ICL），一种将上下文验证纳入训练目标的后训练框架。在四种模型骨干上，J-ICL 相较于对应的基础模型，平均将 ICLEval 提高 5.84 个百分点，并将现实准确率提高 9.20 个百分点。与 MetaICL 和 Symbol Tuning 相比，它还使 Reality Rate 平均提高 18.09 个百分点。这些结果表明，ICL 能力与抵抗欺骗性上下文的能力可以同时得到提升。该基准可在 https://github.com/peilin717/FakeContext-Bench 获取。
20:00 arXiv cs.AI 74
AI 辅助教育材料生成的激增速度已经超出了我们验证其教学质量的能力。使用 Bloom Classifier 模型进行自动化评估，是大规模评估教育材料的一种有前景的方法。这些模型在分布内数据集（IID Dataset）上表现出很高的准确率。然而，将同一模型应用于新的分布外（OOD）数据集（例如 AI 辅助生成的问题）时，性能可能会下降。为了识别能够应对数据集分布变化的稳健分类器，我们在布卢姆层级分类任务上评估了传统机器学习（ML）、transformer 和大语言模型。我们还探索了结合 NLP 指标的特征工程策略、将学习目标附加为输入的一部分，以及文本拼接，以稳定模型在 OOD 数据上的性能。基线测试显示，与 BERT（0.55）和 LLMs（0.79）相比，TFPOS-IDF ML 模型在 OOD 数据上的表现较差（宏 F1 分数为 0.48）。文本拼接提升了 ML 和 BERT 模型的宏 F1 分数表现，分别达到 0.59 和 0.62。将学习目标附加到输入中，提高了模型在特定数据集上的性能。重新训练模型为各模型和数据集带来了最大的提升。总体而言，这些发现凸显了在新型 AI 辅助教育问题中使用预训练模型所面临的权衡，也表明有策略地增强特征有助于弥补性能损失。
16:55 arXiv cs.AI 76
基于 AI 的自主智能体通常托管于数据中心，必须从机器人或边缘设备获取状态信息，才能做出有依据的控制决策。在安全关键型场景中，管理状态不确定性尤为重要，因为仅有平均情形下的保证是不够的。在此背景下，我们研究一种序贯决策过程：决策者在能够访问任意状态预测模型的情况下，联合决定采取哪些行动以及何时进行探测。我们提出在线保形状态探测（OCSP），这是一种行动与探测策略，无需依赖分布假设即可保证最坏情况下的可靠性水平。OCSP 旨在严格控制漏查询误差（MQE），即在进行探测本可带来益处的实例中未进行探测的比例，同时最小化探测率。OCSP 可应用于现有的预训练基于价值的控制策略，无需重新训练或微调。我们通过数值模拟验证 OCSP 的理论保证，并评估状态预测器校准程度变化所带来的性能权衡。
20:53 arXiv cs.AI 80
专业领域中非英语语言数据的匮乏，严重限制了高效自然语言处理（NLP）工具的发展。我们提出了 TransBERT，这是一种仅使用合成翻译文本对语言模型进行预训练的新型框架，并推出了可扩展的翻译工具包 TransCorpus。我们以法语生命科学领域为重点，研究结果表明，仅利用合成翻译数据，也能在各种下游任务中取得当前最先进的性能。我们发布了 TransCorpus 工具包、TransCorpus-bio-fr 语料库（包含 36.4GB 的法语生命科学文本）、TransBERT-bio-fr 及其配套的预训练语言模型，以及用于预训练和微调的可复现代码。我们的结果凸显了在资源丰富的翻译方向上利用合成翻译，为低资源语言/领域组合构建高质量 NLP 资源的可行性。
01:55 arXiv cs.AI 79
灵巧操作依赖于接触动力学，而仅凭视觉通常只能部分观测到这些动力学。近期的 World-Action Models（WAMs）将预测式视频世界建模与动作生成相结合，但仍主要以视觉为中心，因此无法直接建模这些接触动力学。我们提出 DexTacWAM，这是一种视觉-触觉 WAM，能够分别编码每个指尖，通过具备手指与姿态感知能力的触觉压缩器聚合所得特征，并将触觉潜变量注入视频扩散世界模型，以进行联合视觉-触觉世界建模。在一个具有 22-DoF 双手平台上的六项接触密集型灵巧操作任务中，DexTacWAM 在每项任务上都取得了最高分，平均得分为 70.6，而最强基线为 38.0。消融实验表明，性能提升源于将接触演化作为预测世界状态的一部分进行建模，而不仅仅是进行触觉条件控制：在保持相同触觉特征和动作专家的情况下，移除触觉世界建模会使四项任务的平均得分从 74.7 降至 26.6。借助冻结的预训练视觉 VAE，我们在进行了四小时触觉编码器适配后，实现了持续的视觉到触觉学习：无需进行触觉中期训练，仅使用每项任务约 100 个示范，就能将预训练视频模型扩展到触觉领域，同时保持视觉预测质量，与仅视觉模型的对应版本相差不超过 0.5 dB。该压缩器在实现训练速度提升 2.26 倍、推理速度提升 1.29 倍的同时，保留了融合前接触召回率的 89.4%。总体而言，这些结果表明，预训练视频先验能够以高数据效率和计算效率的方式扩展到分布式多指接触动力学。
20:19 arXiv cs.AI 77
在医疗保健领域部署大型语言模型（LLMs）需要在两个互补维度上具备稳健的性能——诊断推理：一项收敛性的、以证据为驱动的任务，即根据临床数据推断患者状况并作出诊断；以及临床医疗推理：一种更广泛的导航式判断能力，用于在多轮临床交互中进行沟通、制定计划并作出调整，因为这类交互可能不存在唯一正确答案。近期的 HealthBench 和 MedXpertQA 等基准测试揭示了这两个方面持续存在的不足，暴露出模型在复杂诊断场景中的失败，以及在具备上下文意识、以患者为中心的对话方面的局限。我们提出了一种顺序训练框架，利用合成数据和基于评分标准的强化学习来针对性提升这两类能力。首先，我们使用源自 MedBullets 的问题，并通过规则和评分标准指导的强化学习（RL）来提升诊断推理能力。随后，我们通过生成 5.3k 个合成多轮场景，将重点转向临床推理；每个场景都配有多维评分标准，以全面评估模型响应。该方法使 MedXpertQA 的表现提升了超过 10%；我们的 30B 模型在 HealthBench-Hard 上达到了 50.1% 的准确率，超过了包括 GPT-5 (thinking) 在内的专有基线模型。结果表明，针对性合成数据集和基于评分标准的训练能够系统性地提升医学 LLMs 的诊断推理能力与交互式临床推理能力。
01:09 arXiv cs.AI 75
大多数医疗视觉-语言模型（VLM）擅长开放式报告生成和视觉问答（VQA），但在统一界面内对结构化、细粒度临床感知的支持有限。我们提出 QwenVLConnector，这是一种基于 Qwen2.5-VL 的医疗聊天机器人，在单一的下一个词元目标下统一了分类、多标签分类、文本化检测、计数、回归和自由形式报告生成。其关键组件是一个轻量级的密集多层 Connector，用于聚合低层和高层视觉特征，通过预训练的视觉 Merger 对其进行对齐，并在不增加序列长度的情况下将其与最终视觉表示融合。该设计在保持效率的同时，用互补的空间和语义线索丰富视觉词元。在 FLARE-2D 上，相比 Qwen2.5-VL 基线，QwenVLConnector 将检测 F1 从 0.55 提升到 0.85，将单标签分类从 0.37 提升到 0.51，并使报告生成的 GREEN 最高提升 18.3 分。我们进一步探索了用于报告生成的多模态上下文学习，显示出无需更新模型参数即可获得额外改进。总体而言，QwenVLConnector 为将结构化医疗感知与开放式临床文本生成相结合提供了一个统一且高效的框架。我们的代码可在 https://github.com/plnguyen2908/QwenConnector 获取。
01:40 arXiv cs.AI 76
近期提出的自监督音频编码器能够学习强大的通用声景表示，但它们缺乏空间感知能力。为补充声景中缺失的空间表示，我们引入 Bearings。Bearings 是一个自监督框架，可从未标注的一阶 Ambisonics 中学习声场嵌入。我们预训练了一个掩码自编码器，并搭配一个解码器，该解码器以来自现成单通道音频编码器的冻结声学嵌入为条件。我们的结果表明，所得声场嵌入形成了一条可复用的流，可通过轻量级可训练融合头连接到冻结的声学编码器。在声音事件定位与检测任务中，将我们的声场嵌入与声学表示拼接，可以提供缺失的空间信息并实现联合检测与定位，使位置相关的 F 分数在 TAU-NIGENS 2021 上从低于 4 提升到 50，在 STARSS23 上提升到 39。据我们所知，Bearings 是首个其嵌入可接入冻结声学编码器且无需重新训练任一模型的自监督声场编码器。
08:29 arXiv cs.AI 72
潜意识学习（SL）是一种最近发现的现象：学生模型通过匹配教师模型看似无关的辅助输出，获得下游任务能力，尽管它从未观察到任务标签、特定于任务的输出或原始训练数据。尽管近期研究已经确定了潜意识信号可能存在的位置，但这一现象背后的优化机制仍缺乏充分理解。在本文中，我们从学习动态的角度出发，对SL进行了机制层面的阐释。具体而言，我们推导出一种链式跨任务核，通过共享的骨干表示，明确建立幽灵输出监督与任务预测变化之间的联系。我们的统一分析框架为SL中的三个核心经验性难题提供了严格的数学解释：（i）在共享初始化的条件下，迁移算子形成严格的半正定（PSD）结构，从而保证幽灵输出优化能够使学生模型与教师模型的真实任务目标对齐，而无需显式接触标签；（ii）幽灵输出的维度充当一个明确的秩瓶颈，决定与任务相关特征的迁移；（iii）合成的高熵输入充当宽带探针，能够最大化跨任务核重叠，从而解释了为什么对于潜意识迁移，随机噪声始终优于结构化数据。在经典的幽灵输出设置上进行的实验验证了这三项理论预测，为幽灵输出监督如何产生潜意识学习提供了首个基于学习动态的理论解释。
22:58 arXiv cs.AI 73
现代深度学习模型通过过参数化实现了令人印象深刻的泛化能力，但这一范式在小样本场景下往往难以避免过拟合与记忆。Neural Cellular Automata（NCAs）提供了一种参数效率极高的替代方案，但现有研究主要关注其输出，而其内部隐藏通道的作用在很大程度上仍未得到探索。本文研究了 NCA 隐藏通道的内部动态，并提出了一种新颖的迁移学习机制：将预训练教师模型的隐藏状态注入学生模型，以引导早期优化。在小样本和尺度变化的 MNIST 基准测试中，NCAs 的表现优于具有可比性的循环架构和前馈架构，仅使用极少的参数预算（约 9,800 个参数）便展现出更强的泛化能力。机制分析表明，隐藏通道通过吸收形态复杂性并收敛到彼此正交的状态，将特征提取与统一的分类共识解耦。此外，我们证明这些隐藏通道捕捉的是通用的、尺度不变的拓扑基元，而非特定类别的模板。这使得学生模型能够利用从仅在数字子集（0-5）上训练的教师模型中迁移的特征，在未见过的类别上实现出色的小样本性能。我们的研究凸显了利用隐藏状态动态作为一种稳健、去中心化的计算基底，用于参数高效迁移学习的潜力。
23:16 arXiv cs.AI 77
检测大型语言模型中的预训练数据颇具挑战，因为较高的似然既可能反映模型接触过相应训练数据，也可能源于较强的泛化能力。在预测损失与预测熵构成的联合空间中，仅依赖似然的检测器使用水平边界，可能会将易于预测的非成员误判为成员。受此启发，我们引入了一种倾斜边界，根据预测熵对预测损失进行相对评估。我们的分析表明，熵校正能够在保留预期成员信号的同时降低其方差，从而提升标准化的成员与非成员分离度。进一步地，我们将均值—方差分析扩展到熵差均值非零的更一般情形。有趣的是，这一熵调整后的得分具有 Helmholtz 自由能的解释，由此形成 Energy Transfer Detection（ETD），从宏观剩余自由能转移的视角审视预训练数据检测问题。大量实验表明，ETD 取得了最佳的平均检测性能，使平均 AUROC 提升最高达 3.5%，TPR@5%FPR 提升最高达 5.1%，同时在多种设置下保持稳健。
19:56 arXiv cs.AI 72
视觉-语言-动作（VLA）策略可通过不同的动作接口解决同一操控任务，但仅凭任务成功并不能确定它们的物理执行是否一致。我们基于四种策略的15,000次闭环 LIBERO rollout，研究跨策略的末端执行器几何。主要的无干扰条件分析构成了3,600对配置匹配、因而相互依赖的策略对。两者均成功的策略对，其归一化动态时间规整距离的中位数为0.0120米；而恰有一个策略成功时，该数值为0.0380米。这一排序在每个任务、每个策略对以及九种采样和带限表示中均成立；不过，不同表示下的比值相差数倍，因此我们报告其方向，而不是给出一个固定倍数。两者均失败的策略对之间的差异更大，但这类结果的样本支持量少且分布不均，因此我们将其作为探索性结果报告。在成功执行中，更换搭档所产生的差异在不同任务之间大于不同初始状态之间。匹配基线仍显示出可测量且具有异质性的策略残余差异，因此跨策略距离较小并不意味着策略可以互换。成功执行与同任务示范之间的距离，大致与这些示范彼此之间的距离相当；这与任务相关几何相一致，但无法将训练数据重叠与任务约束区分开来。统一的72动作窗口保留了这一排序，但减小了其幅度；端点和时长调整同样保留了相对于两者均成功策略对的正向混合结果系数，不过其大小取决于具体设定。在复合视觉压力下，策略排名和策略对构成会同时发生变化。
21:18 arXiv cs.AI 74
熵最小化是测试时适配（TTA）的标准目标，但在不平衡二值分割中可能失效。不同于图像分类，密集分割会聚合数千个像素预测，使预测数量较大的类别主导更新，将少数类预测拉向自身，并在预测逐渐饱和、熵梯度消失时产生退化掩码。我们在共享偏移模型中从理论上证明了这种坍塌现象。该分析促成了 Balanced-Anchor Prompt Adaptation（BAPA），它结合了两个互补模块。Class-Balanced Anchors（CBA）模块分别从每个预测类别中选择高置信度锚点，并赋予前景和背景相等的总损失权重，从而防止较大区域主导更新。Dynamic Prompt Adaptation（DPA）在每次预测更新后刷新这些锚点，并且仅优化文本侧提示残差，同时冻结视觉-语言编码器。这种仅更新提示的方式能够细化前景与背景之间的决策边界，而不会改变预训练的密集视觉表征。在来自四个领域的实验中，BAPA 在所评估的方法中取得了最高的平均 Dice。因子化消融实验进一步验证了 CBA 和 DPA 的互补作用，表明平衡提示适配是测试时二值分割中熵最小化的一种有效替代方案。
23:52 Hacker News 熱門 66
Hello HN！我们是来自 Cua 的 Dillon 和 Francesco。 我们一直在想，有多少计算机使用任务实际上需要一个完整的通用 LLM（例如 gpt-6-astra、claude-opus-5 等）来思考它们的所有决策和步骤。有些任务需要思考计划、探索不同路径、从失败中恢复。另一些任务则是做出局部决策的问题，比如这个值应该填进这个框，或者我是否应该勾选这个复选框，或者这个元素应该被忽略。 我们想知道，如果训练一个小模型只做这类决策，能走多远。 我们的灵感来自 Typesafe 的 Jev 及其 System One Model 的框架。这是在致敬 Daniel Kahneman 所描述的二分法：快速、自动、直觉式思考（系统 1）与缓慢、分析式思考（系统 2）。 对我们来说，有趣的问题是：如果给模型一个包含当前上下文的接口，以及一组可能的选择，并要求它为每个选择返回一个概率，会发生什么？这类模型不像大多数 LLM 那样逐 token 生成输出，而是对你给它的选项打分；你可以检查、信任并使用这些分数来驱动你的应用行为。 CUA-S1 是我们面向计算机使用场景中狭窄、专用决策模型的答案。我们的第一个发布版本是 CUA-S1-FORMS。我们基于 jevlike 中的想法和代码构建了它，然后训练了第二个模型，专门处理表单交互。它有 706k 个参数，原始 checkpoint 为 2.8 MB。 第一次训练迭代在合成数据上耗时不到 30 分钟。给定一组从文档中提取的结构化元素和值，它会为每个元素预测是否使用给定值、CHECK、CLICK 或 SKIP。它不会为文本字段预测新值，也不会考虑截图。元素决策会一起打分，你的代码可以对操作进行排序，而 Cua Driver 会逐一执行它们。 该专用模型与托管版 Jev 在我们的表单任务上的首次评估结果： - 对整个决策集：99.7% 正确 vs 83.6%。 - 对需要执行操作的步骤子集：100% 正确 vs 96%。 - 对只是保持已填写字段不变的步骤子集：100% 正确 vs 74%。 该专用模型是专门针对这个任务和约定（对已经填好的框直接按 skip）训练的，而托管版 Jev 并未为此进行微调，因此这是一次关于限定范围专业化的实验。 我们测得在本地为一个表单打分需要 7-9 ms，而调用托管版 Jev 每次需要 260-280 ms（包括网络延迟），不过这些样本测量的是不同内容，并不是端到端的表单完成时间。 我们在这里感兴趣的是介于脆弱脚本和通用 agent 循环之间的空间。表单字段的内容和布局变化足够大，以至于脚本会变得难以维护，但可用决策集合可以保持狭窄且边界清晰。我们想探索这样一种可能性：通用 agent 遇到新颖情况，并把已被充分理解的决策交给这样的专用模型处理。 这是我们正在研究的方向。当前发布版本仅用于表单。我们已将合成数据生成、训练、评估和 Driver 集成以 MIT 许可证开源在 libs/cua-s1 下。 欢迎评论！尤其是如果你正在构建计算机使用 agent，并且遇到过某种反复出现的决策：它太多变以至于难以脚本化，但又太狭窄以至于不值得调用另一个 LLM。 评论 URL： https://news.ycombinator.com/item?id=49767564 点数：4 评论数：0
23:07 arXiv cs.AI 77
深度学习预测性维护模型在不同机器和运行条件之间的迁移能力较差，尤其是在标注数据稀缺且信号采样频率跨越五个数量级（1 Hz 至约 100 kHz）的情况下。我们提出了 FreqCondNorm，一种基于 Transformer 的架构，引入 FiLM 风格的频率条件化归一化层，以在单一模型中统一异构时间序列。该架构基于五个公开的预测性维护数据集（CWRU、MFPT、UOC18、PRONOSTIA、CMAPSS）进行预训练，采用掩码自编码和对比学习，并结合均衡的领域采样。在故障诊断任务中，该模型在 CWRU 上达到 99.2% 的准确率（较 CNN 高 6.4 个百分点），并在 MFPT 上实现 82.1% 的零样本准确率，展示了跨采样频率的强大迁移能力。然而，该方法并未改善剩余使用寿命预测，表明预训练目标与 RUL 目标之间存在不匹配，值得未来进一步研究。
19:49 arXiv cs.AI 76
自我演化方法使使用工具的智能体能够生成自己的训练数据，从而减少对人工标注轨迹的需求。然而，现有方法通常将轨迹生成与评估分离，依赖无法适应新出现的失败模式的静态验证器，或依赖可能强化多个轨迹中共同错误的自洽性信号。联合调整规划、执行和评估提供了一种有前景的替代方案，但也带来了一个根本性的协调挑战：每个组件都在持续改变用于训练其他组件的数据或反馈。我们通过 \textbf{UnifiedPlayers} 应对这一挑战。这是一个协作框架，由负责生成任务的规划玩家、通过 Python 工具调用生成多轮轨迹的执行玩家，以及构建可执行验证器的评估玩家组成。我们设计了角色特定的奖励，在 GRPO 下协调三个玩家，使其共同实现一个学习目标。在两种模型骨干和十二个推理基准上，UnifiedPlayers 相比最强的既有基线，在数学推理任务上至少提升 3.5%，在通用推理任务上至少提升 3.9%。此外，学习得到的验证器达到了 84.2% 的对抗性检测准确率，其奖励信号的单题方差是自洽性基线的 2.03 倍，从而提供了更具区分性的验证结果。这些结果表明，专门化玩家之间的协作是实现自我增强型工具集成智能体的一条有前景的路径。
20:23 arXiv cs.AI 79
大型语言模型（LLM）的部署时安全方法主要采用监督式方法，并假设能够获取不安全训练数据。然而，新的攻击方式和危害类别不断出现，经过此类监督方式训练的模型无法涵盖这些情况。另一种方法是从异常检测的角度来看待这一问题，即仅对安全数据进行建模，并标记分布外输入。然而，LLM 的激活值位于高维空间中，这引发了人们对异常检测在统计学上是否可行的担忧。我们证明，在线性表征假设（LRH）下，这一问题确实可能存在解决希望。在通常通过稀疏自编码器（SAE）恢复的 LRH 概念空间中，邻近点共享一个较小的共同活跃支持集。基于这一局部稀疏性洞见，我们提出了一种基于局部掩码 SAE 的异常检测框架，并为其提供了理论依据。我们在多种架构和数据集上对该方法进行了验证，其中包括能力测试数据集和专门的安全数据集。最后，当允许算法使用 1% 的分布外数据进行校准时，局部稀疏方法达到了接近最优的性能，表明其能够仅使用 1–2% 的 SAE 神经元进行计算，同时捕捉有意义的安全信息。
20:47 arXiv cs.AI 72
各个领域中无处不在的时间序列数据，为交通系统、电力网络等领域的关键应用提供了支持。近年来，在海量数据集上训练基础模型，以实现精准的零样本预测，已成为研究重点。然而，当前研究大多侧重于架构创新，却未能充分解决数据多样性问题，往往依赖简单的数据采样策略，难以有效管理复杂的数据分布，导致训练数据利用效率低下和性能不佳。为此，我们提出了大规模时间序列语料库均衡框架 QUALS。QUALS 显著提升了数据效率，即仅使用原始训练数据中的一小部分，就能使现有模型取得更优性能。具体而言，QUALS 通过两种核心机制实现这一目标。首先，模式量化框架通过向量量化和均匀分箱，从混合语料库中系统地解码异构模式。其次，可学习性同步框架校准异构模式的采样权重，弥合简单模式与复杂模式之间的优化差距，从而最大化整体训练效率。大量基准测试表明，在 QUALS 上进行预训练能够持续取得更优的零样本性能，即使训练预算大幅减少也是如此。
21:21 arXiv cs.AI 78
人工智能模型与高性能计算系统的协同扩展不断为二者的协同发展带来算法挑战。基础模型（FMs）就是一个典型例子：其训练通常需要数月时间，并使用数千块尖端 GPU。分片数据并行（DP）通过将数据和模型拆分到多块 GPU 上，是加速此类计算的主流策略。然而，在大规模部署时，尤其是在具有异构性能的多层互连网络上，该策略会产生难以承受的通信开销。受联邦学习（FL）高效通信原则的启发，本文提出了两种混合算法——FL+FSDP 和 FL+HSDP，将分片 DP 与 FedAvg 风格的聚合交错结合。这类方法将大规模 DP 部署解耦为更小、松耦合的联邦组，仅需极少的组间通信，同时使全局批量大小受联邦组规模限制。通信成本的形式化分析与实验验证证明了它们的可扩展性和灵活性。在 512 块 A100 GPU 上进行的 Llama3.1 8B 预训练表明，在超参数完全相同的情况下，FL+FSDP 和 FL+HSDP 的数据处理速度最高可提升 8.04 倍，评估困惑度最高可降低 4.48 倍，展现出更高的计算效率和更优的模型质量。这些特性源于通信开销的降低，以及全局批量大小相对于联邦组规模的受限增长。
18:56 arXiv cs.AI 75
FastWAM 风格的世界动作模型支持高效的仅动作推理，但在视觉分布偏移下泛化能力较差。其面向重建的表征强调与外观相关的细节，限制了模型向未见过的场景和物体进行泛化。在缺少观测历史的情况下，模型还缺乏用于在陌生视觉条件下稳健识别与任务相关的状态变化和运动的时间证据。为解决这些局限，我们提出 Causal Semantic World Action Model (CSWAM)，在 FastWAM 的基础上加入了一个构建于 V-JEPA 2.1 之上的因果语义专家。V-JEPA 提供了具有时间依据的语义状态变化与运动表征，并降低了对外观相关细节的依赖。该专家从当前及过去观测构成的稀疏历史中学习这些因素的未来演化，并通过因果注意力将基于历史得到的上下文共享给视频流和动作流。在推理时，CSWAM 根据当前视频状态和观测到的语义历史对动作去噪进行条件化，同时保留高效的仅动作推理能力。我们开展了仿真和真实机器人实验，以评估模型在分布偏移下的泛化能力。在具身预训练条件下，CSWAM 在 RoboTwin 2.0 的 Clean-to-Randomized 迁移任务中将 Randomized 成功率从 10.16% 提升至 45.18%，相较 FastWAM 提高了 35.02 个百分点。在两个真实机器人任务和三个 OOD 难度等级上，CSWAM 的平均成功率较 FastWAM 提高了 42.5 个百分点，从 27.5% 提升至 70.0%。
19:33 arXiv cs.AI 77
网络安全融合了高风险分析与复杂的技术语言，使其成为对 LLM 而言影响重大且颇具挑战性的领域。我们提出 MiST（Mid-trained Security Transformer），这是一套包含 8B 和 32B 模型的模型系列，在公开网络安全基准测试中取得了出色表现。我们将中期训练用作通用预训练与网络安全训练之间的中间适配阶段。我们没有在海量原始领域文本上进行持续预训练，而是整理出一份规模紧凑、经专家审核的种子语料库，并将其转化为高质量的领域特定合成训练数据。最终的 MiST 检查点模型相较于对应的 Qwen 基线，在 8B 和 32B 模型上的网络安全平均准确率分别提升了绝对值 13.1 和 8.6 个百分点，对应的相对增益分别为 27.0% 和 15.8%。消融实验结果进一步表明，这些网络安全能力的提升源于中期训练和监督微调阶段合成数据生成流程的协同作用。此外，我们还表明，MiST 能够为下游特定任务的微调适配与强化学习提供更强的初始化。
23:47 arXiv cs.AI 77
为了回答超出预训练数据范围的问题，大型语言模型（LLMs）需要访问新信息，而这些信息可以作为文档呈现在上下文窗口中、编码到模型参数中，或注入为潜在表示。然而，每种方法都伴随着不同的效率、成本和性能权衡，没有哪一种方法能够全面胜出。我们在五个知识密集型基准测试上，对基于表示（基于 KV-cache）和基于参数（基于微调）的适应方法进行了受控比较。我们发现，在 oracle 设置下，Cartridges（KV）在几乎所有存储预算下都是最准确的信息注入方法，比基于参数的方法高出 10 个百分点。只有在较低压缩率下，Compaction（KV）的表现才能与 Cartridges 相当；当压缩率高于 $50\times$ 时，其表现落后于基于参数的方法 10 个百分点。在更现实的多文档检索场景中，只有 Cartridges 能够达到上下文学习（ICL）的水平，领先基于参数的方法 29 个百分点，领先 Compaction 15 个百分点。尽管如此，除了完整微调和大型 MLP 适配器之外，Cartridges 也是唯一会遭受灾难性遗忘的方法，即在控制基准测试上的性能下降 6%，在编码任务上下降 13%。
01:30 arXiv cs.AI 75
我们介绍了 LimiX-2，这是 LimiX 系列的新模型，依据我们此前建立的扩展定律，通过模型扩展与数据扩展开发而成。LimiX-2 采用 Contextual Mechanism Networks（CMNs）范式，并通过 Context-Conditional Masked Modeling（CCMM）进行预训练。CMNs 将上下文学习的组织原则从以目标为中心的预测转变为面向机制的联合建模。不同于传统表格型 PFNs 以 $p(y \mid x, D_{\mathrm{context}})$ 为目标来构建网络，LimiX-2 围绕学习 $p(x, y \mid D_{\mathrm{context}})$ 进行设计，即学习一种依赖上下文的表示，用于刻画数据生成背后的联合结构。预训练采用由结构因果模型（SCMs）生成的合成数据集，这些数据集涵盖多样的图结构、函数机制和观测过程。在 TabArena、TALENT 和 BCCO 上的评测表明，LimiX-2 的表现优于当前针对特定数据集的模型和表格基础模型。除预测性能外，CMN 范式还提升了 LimiX-2 的因果感知能力：其特征注意力编码了直接因果关系，从而能够准确恢复因果骨架。
23:32 arXiv cs.AI 73
脑信号分析对于神经科学研究和临床诊断都至关重要，但当前方法面临着诸多关键限制。端到端模型需要针对具体任务重新训练，且泛化能力有限；预训练模型则缺乏语义深度，仍然依赖大量微调。与此同时，通用多模态基础模型虽然在其他领域表现强大，但由于表征不匹配以及缺乏领域知识，难以解读脑信号。本研究通过统一的语言—信号对齐框架，提出了一种用于零样本和多任务脑信号分析的多模态基础模型（METIS）。METIS在迄今规模最大、种类最丰富的脑信号语料库上进行预训练，该语料库包含来自20个数据集、超过11,000名受试者的70,000多个小时的记录。在涵盖12个数据集的综合零样本评估中，METIS的平均准确率比领先的通用模型高出20.9%以上。值得注意的是，在完全不进行微调的情况下，METIS的性能达到或超过了有监督的任务专用模型。此外，METIS还展现出卓越的数据效率和强大的泛化能力：在少样本设置下，其平均AUROC优势超过16.0%；在跨数据集迁移任务中，优势达到15.9%。这项工作为通用脑信号分析确立了新范式，为下一代神经技术的发展铺平了道路。
23:55 arXiv cs.AI 75
包容性住户调查的进展加强了关于被迫流离失所人口的社会经济证据，为生活条件和福利提供了不可或缺的基准。然而，这些调查仍然资源密集且具有周期性，而在两轮调查之间，条件可能发生变化，尤其是在受脆弱性、冲突和暴力影响的情境中。因此，需要更新更频繁、空间粒度更细的补充证据，以识别两轮调查之间社会经济条件可能发生变化的地点，并为行动优先排序提供信息。地球观测和机器学习提供了一种可扩展的、具有明确空间属性的社会经济信息来源。然而，面向一般人口开发的工具尚未在被迫流离失所情境中得到系统性适配和评估，而在这些情境下，生活条件、定居模式和流离失所影响可能存在显著差异。我们通过将一个多模态时空视觉 Transformer 适配到南苏丹、喀麦隆和赞比亚的被迫流离失所者及收容社区情境中来弥合这一空白；该模型已基于来自 36 个非洲国家约 120 万个住户的 Demographic and Health Survey 数据进行了预训练。我们使用由 UNHCR FDS 和 RMS 数据推导出的社会经济指数来开发和评估更新后的适配模型。结果显示，在与营地相交的网格中，卫星衍生的地理空间协变量可解释社会经济结果变异的最高 66%，平均绝对误差（MAE）为 4.37 个指数点；在不与营地相交的区域中，可解释 41%，MAE 为 5.41。该框架通过以定期更新的、基于模型的社会经济估计填补关键的空间和时间数据空白，对周期性住户调查形成补充并增加价值。这些估计能够在两轮调查之间维持洞察，并支持及时的人道主义优先排序和实地核查。
00:01 arXiv cs.AI 78
预训练世界模型是一类学习得到的模拟器，它将观测编码为潜在状态，并预测该状态在动作作用下如何演化；如今，它们正开始像预训练编码器和语言模型一样，被作为现成的动力学骨干用于控制。我们表明，这种复用会打开一个供应链后门：只控制已发布 checkpoint 的攻击者可以劫持下游控制器，即使受害者完全在干净数据上训练和评估，并且从未见过触发器。该攻击并不编码显式的触发器到动作规则。相反，被投毒的模型会将带有触发器的观测路由到选定的潜在区域，并重塑该处的局部动力学，使受害者自身的优化过程（Dreamer 风格的想象中 actor 训练，或基于预测未来的 MPC/CEM 规划）自行重新发现攻击者的目标动作。在多个控制任务和触发器族上，触发器会将控制器的动作引向攻击者的目标，控制每一个动作维度，并在最强设置下劫持 100\% 的触发步骤。该 checkpoint 仍能通过受害者在部署前会运行的干净数据诊断，干净任务成功率至少保持在 $\sim$75\%。这种效果具有时间门控性：它只在触发器存在时出现，并在触发器移除后消失。触发器盲修复取决于预算：适度的干净微调可以在保留干净效用的同时使触发失败保持不变，而足够激进的适配只有在显著降低干净控制性能之后才能将其移除。因此，世界模型骨干本身正成为控制领域一个新兴且研究不足的攻击面。完整代码和制品可在我们的 repository 中获取。
00:51 arXiv cs.AI 73
从能够预测未来结局的纵向数据中提取信息丰富的表示，仍然是医学领域的一项关键挑战。医学数据集具有固有的异质性，由大量来自不同来源、以不同时间间隔采样并代表人类健康状况不同方面的变量组成。这要求识别具有预测价值的变量、处理纵向信息，并整合多个变量进行结局预测。在此，我们提出一种新颖的基于智能体的方法 LongAgent，该方法能够自主搜索变量集合、时间窗口和纵向聚合函数的组合，并识别出具有良好预测性能的候选方案。LongAgent 利用以往搜索的历史记忆和数值证据来指导后续探索。在合成数据上，LongAgent 达到 1.7376 的平均预测 RMSE，相较于最强的非智能体基线提升了 0.0151（95%置信区间：[0.0045, 0.0260]；p=0.0273）。在真实临床数据集上，其表现与最佳基线相当。
22:42 arXiv cs.AI 75
大规模多标签文本分类需要从包含数千或数万个候选标签的词表中，为每篇文档分配一小部分相关标签。尽管预训练语言模型提升了文本的语义表示能力，但大多数基于表示的方法都将其预测流程集中于一个主编码器，或在单个排序器中融合辅助特征。因此，异构语言模型之间的互补性仍未得到充分探索。我们提出了 DualMLC，这是一种双分支框架，通过自回归的仅解码器语言模型和双向编码器分别处理同一篇文档。每个分支都保留独立的表示路径，并在共享标签空间上独立估计相关性分数。DualMLC 通过后期 logit 融合结合两个分支的分数向量，使共享证据能够强化相关标签，同时使分支特有的证据能够弥补另一分支表示的局限性。DualMLC 在三个广泛使用的大规模多标签文本分类基准数据集上取得了当前最优的结果。消融实验结果进一步证实，融合异构预测器所产生的排序优于任一单独分支。源代码已公开发布于 https://github.com/huiyegit/DualMLC。
23:25 arXiv cs.AI 77
基于文本的行人搜索（TBPS）旨在根据给定的自然语言描述，从大规模图像库中检索目标人物的图像。现有大多数方法依赖于使用人工标注的图像-文本对进行监督学习。本文探索仅使用无标注图像的无监督TBPS。我们提出了GTR+，一种先生成后检索的两阶段框架。在生成阶段，我们引入了一种分层描述生成框架，通过三级顺序处理生成细粒度且风格多样的文本描述：基础层利用自动问答机制生成基本的视觉属性描述；中间层通过样本间对比机制增强细粒度细节；高级层则通过风格化扩展机制进一步丰富文本多样性。在检索阶段，为减轻噪声伪文本的影响，我们设计了一种自适应置信度加权检索学习框架。我们使用Gaussian Mixture Model将图像-文本对建模为干净样本或噪声样本，并结合实时图像-文本相似度以及前一阶段生成的静态文本概率进行校准，从而在训练过程中获得自适应的样本权重。此外，我们还贡献了LargeFine-Person，这是一个大规模TBPS数据集，包含高质量、细粒度且多样化的文本标注，可在无监督设置下为实际应用和具备泛化能力的TBPS预训练提供基准。多个TBPS基准上的实验表明，GTR+和LargeFine-Person均具有良好的有效性和泛化能力。代码地址：https://github.com/Flame-Chasers/GTR】【。
00:39 arXiv cs.AI 74
动态生存分析（DSA）的深度学习模型通过整合患者的纵向数据，取得了出色的预测性能，但其黑盒特性限制了临床信任与应用。现有的可解释性方法无法同时处理纵向、不规则输入和函数形式的生存输出，因而限制了其在 DSA 中的实用性。我们提出了专为动态生存分析设计的 SHAP 框架 DynSHAP。该框架将时间—特征对视为 Shapley 博弈中的参与者，从而将常见的边际 SHAP 估计方法扩展到这一场景。我们进一步提出 Temporal DynSHAP，通过学习特征随时间变化的线性依赖关系，并采用条件采样在解释中处理这些依赖关系。在具有已知真实归因的合成数据上应用时，对于给定的当前最先进模型，Temporal DynSHAP 比边际估计方法更准确地找回具有时间依赖性的特征。在两个真实世界临床数据集和两种 DSA 架构上的应用结果表明，DynSHAP 生成的归因忠实于模型的学习过程，使医学专家能够了解哪些患者信息驱动了预测，以及这些信息在何时发挥了作用。
00:49 arXiv cs.AI 82
视觉目标和动力学预测可以为语言条件机器人策略同时提供目标结果和动作相关场景变化的表示。我们通过共享轨迹模型，将这些预测引入动作生成与选择。Dynin-Robotics 在 Dynin-Omni 上实现了这一构想；Dynin-Omni 是一种全模态掩码扩散骨干网络，将语言、视觉观测、目标和动作表示为离散词元。通过改变条件输入和目标跨度，同一模型可以学习动作预测、动作条件的下一时刻观测预测、终止目标状态预测，以及从轨迹重构指令。这些接口通过目标预测、动作候选评估以及动作与未来状态预测的联合细化，支持测试时扩展。我们在来自 48 个 Open X-Embodiment 数据集的约 133 万条轨迹上持续预训练该模型，并分别将其适配到下游领域。在两个 VLABench 任务上，在固定的 Stage-2 步数预算内，机器人预训练能够提升适配效果；在相同的耦合解码器下，完整目标混合相较于 Policy-only 后训练能够提升指令偏移情况下的成功率。将目标引导与动作—下一状态联合去噪相结合，相比仅动作解码能够进一步提升指令偏移情况下的成功率；其收益取决于预测的组合方式。Dynin-Robotics 在 LIBERO 和零样本 LIBERO-Plus 上取得了具有竞争力的性能，并在 Franka Research 3 机器人上的四种操作条件下实现了 78.4% 的平均成功率。在所报告的性能分析配置下，优化的块并行实现相较于基础实现，能够将模型侧动作解码速度提升最多 29.2 倍。这些结果表明，共享轨迹建模可以作为学习互补机器人目标并在控制过程中组合其预测的通用接口。
01:09 arXiv cs.AI 73
近年来，基于 LLM 的系统及其在问题解决和编程方面能力的突破，推动了“AI for Science”范式的发展，并有望取代人类在机器学习（ML）研究中的角色。然而，尽管已有多个全自主端到端 ML 研究框架被提出，但它们的成功实现通常局限于搜索空间狭窄的问题，例如语言建模或生物医学 ML 基准测试。本文通过研究一个案例——电信工单检索——探讨如何将自主研究应用于解决开放式、工业级 ML 问题。电信工单检索是一项开放式任务，在表征、架构和训练数据生成方面具有较大的自由度。我们发现，使用商业和开源智能体开展开放式问题的自主研究既展现出潜力，也存在局限：自主研究能够在狭窄的超参数优化任务中表现出色，但缺乏类似人类的直觉和创造力，并且需要额外的运营开销。即使仅接受最低限度的人类监督，自主研究也能以适中的成本（每次 Cursor 运行最高 200 美元），在远短于人类研究所需的时间内（10 周，而非人类工作的 10 个月）达到当前最先进水平性能的 90%（Recall@1 为 0.34，而非 0.38）。我们的实证证据表明，在 ML 研究中，人类研究人员与自主研究框架协同工作才能取得最佳效果。
00:08 arXiv cs.AI 76
对于工业内容风险控制而言，真正的部署约束不是平均准确率，而是在高精度和秒级延迟下能够自动处理多少风险。我们提出 SIRF（规范内化风险基础模型），通过 EntiGraph、MAGA 改写和账号级思维链（CoT）合成平台复杂策略，无需额外人工标注，再通过持续预训练（CPT）将其内化进模型权重，使模型能够在超低延迟、仅输出裁决结果的部署模式下以高精度执行规则。受控的同源对比实验（Qwen3-8B-SFT 对比 SIRF-8B-SFT；策略注入方式和仅输出裁决结果的形式完全相同，唯一差异在于基于策略的 CPT）表明，性能提升源于策略内化：SIRF-8B-SFT 的 Black Recall@P95 达到 71.3%，较基线提升 15.1 个百分点，仅使用约 7000 万个 CPT token，且未损害通用能力；在纳入对比且可通过该接口获取 logprob 的模型中，其性能达到或超过了规模大得多的系统。SIRF 已作为树模型裁决层部署，使被误处罚的样本恢复量提升 20%；迁移到冻结场景时成本也较低，使误处罚率相对降低约 70%。
01:30 arXiv cs.AI 82
扩散与流匹配调度控制信号系数和噪声系数，沿仿射概率路径将数据与噪声混合。最小化定义在系数路径上的动力学作用量受最优传输启发，有助于解释强基线方法，但它与模型无关，也忽略了预测误差。本文提出一种基于逐纤维最优传输的模型感知调度构造。在概率路径上的固定时间和状态处，兼容的信号/噪声分解构成一个仿射纤维。我们通过在这些纤维内对真实分解与预测器诱导分解之间的最优传输代价取平均，定义逐纤维预测风险。在固定系数曲线上，将该风险与系数路径动力学作用量结合，可得到闭式最优时间分配。该构造可扩展到一般线性预测目标，并且风险曲线可以利用早期基线检查点进行估计。我们在不同预测目标、训练配置、风险估计检查点、数据集和架构下评估 DDPMs 与流匹配。在所有实验中，我们的模型感知调度均稳定优于强基线；例如，在 CIFAR-10 上进行 16 次函数评估时，流匹配的 FID 相对降低了 38.6%。每个与模型无关的动力学基线都会确定其自身的动力学参考坐标。在这些坐标中，不同设置下独立训练的模型所得到的逐纤维风险曲线，在归一化为单位面积后高度吻合。训练中使用的调度变形也呈现出一致性，这表明在所评估的模型和设置之间存在经验上的普适性。基于预训练检查点的诊断进一步表明，这种归一化风险的一致性也适用于更大型的条件潜变量扩散模型和 2-RF 模型。一个固定的解析分配模板无需进一步进行风险估计或针对具体模型拟合，便可保留大部分模型感知改进效果。
01:45 arXiv cs.AI 81
大语言模型能够生成流畅的文本，但其中可能包含不忠实的陈述——这一现象称为幻觉。我们提出了一种多信号检测流程，将经过微调的 DeBERTa-v3 分类、Monte Carlo (MC) Dropout 不确定性量化以及温度缩放校准相结合，用于响应级幻觉检测。在 HaluEval 基准测试中，该流程在通用领域任务上取得了 F1=0.915 和 AUROC=0.977 的成绩，各任务的 F1 分数分别为：0.97（问答）、0.96（摘要）和 0.82（对话）。MC Dropout 推理进一步将准确率提升至 93.2%。上下文消融研究证实，该模型执行的是真正的蕴含推理，而不是利用表面模式；移除知识上下文后，摘要任务的 F1 分数下降了 24%。学习曲线分析表明，使用 25% 的训练数据即可达到完整数据训练效果的 77%。除检测之外，我们还对 Qwen2.5-0.5B 生成模型应用了 Direct Preference Optimization (DPO)，根据我们的检测器测量结果，将其幻觉率从 85.5% 降至 37.7%，相对降低 55.9%。在 SciFact 生物医学基准测试上的跨领域评估显示，通用领域训练的迁移效果较差（F1=0.52），这说明有必要进行领域特定微调。在 SciFact 上进行微调的 PubMedBERT 达到 F1=0.63 和 AUROC=0.81，表明领域匹配的预训练是最有效的适应策略。代码和模型可在 https://github.com/varunteja99/hallucination-detection-nlp 获取
01:57 arXiv cs.AI 82
相机陷阱通常在野外依靠连接受限或完全没有网络连接的边缘硬件运行，因此，小型、可本地部署的视觉语言模型（VLM）——而非前沿规模模型——才是评估物种识别能力时具有实际意义的模型类别。我们测试了处于这一部署相关的2--8B规模范围内的模型是否具备真正的分类学知识：在一个包含96个物种的任务中，将四种此类VLM（Qwen3-VL 2B/4B/8B、Gemma3 4B）与领域专用模型BioCLIP（3亿参数）进行比较；同时，在两个独立采样的评估集上，对比清晰的iNaturalist照片与来自6个LILA.science数据集的相机陷阱图像。所有模型的物种识别准确率都显著高于随机水平，但每个模型——无论是通用模型还是专用模型——在野外图像上的性能都大幅下降（领域差距为9.6--26.6个百分点，在不同分类学层级和两个评估集上均保持一致），这表明性能下降反映的是图像整体可辨识性的降低，而不是细粒度判别能力的失效。在针对每个模型扩展至200张图像的样本中，BioCLIP的表现显著优于所有受测VLM（高出33.2--59.2个百分点），尽管其规模小得多，这说明差距源于专门化训练数据，而非模型规模；然而，BioCLIP自身的领域差距为18.0个百分点，与最佳VLM的22.3个百分点在统计上无法区分，这表明从清晰图像到野外图像的性能下降本身是图像质量变化的特性，而不是通用模型的弱点。在开放集提示条件下，有5.9--9.6%的响应在语法上有效，但所给出的物种名称在分类学上并不存在；不同模型之间虚构率的相对排名在两个评估集上完全复现，这一发现比任何单一的点估计都更稳健。
21:22 arXiv cs.AI 72
本文研究平面设计模板创建问题：根据输入文本生成背景图像以及覆盖在背景上的前景元素布局，从而形成和谐的构图。以往的平面设计生成工作大多采用顺序式范式，即依次生成设计元素。我们认为，这种顺序式方案难以忠实捕捉背景与布局之间的依赖关系（以及由此形成的联合图像—布局分布），从而限制了生成设计模板的质量。为克服这一局限，我们提出了模型 InterIL，在单一生成过程中联合生成背景图像和布局两种模态。我们联合模型的新颖设计通过可学习的通信模块连接预训练图像扩散模型和布局扩散模型的骨干网络，从而显式建模双向的图像—布局交互。在训练过程中，图像和布局骨干网络保持冻结，以保留并利用丰富的预训练单模态先验知识；同时仅更新通信模块，使模型能够专注于学习图像—布局交互，进而更好地捕捉联合图像—布局分布，提升构图和谐性。我们的模型不包含特定于设计的归纳偏置，因此能够更好地保留真实设计的原有特征。我们还进一步提出了一种测试时引导策略，使用户能够对生成结果施加特定偏好。实验表明，与以往方法相比，我们的模型在图像、布局以及图像—布局协调性方面均能生成显著更优的结果，输出更接近真实样本。我们还展示了模型在推理阶段强制施加用户偏好的灵活性，且无需重新训练。
21:40 arXiv cs.AI 84
大型语言模型（LLM）训练是现代数据中心电力需求增长最快的来源之一，而电力可用性是 AI 基础设施持续发展的主要瓶颈。使这类工作负载的功耗具备灵活性，可以为 AI 的发展释放额外电力，限制电价上涨，并提高现有电网基础设施的利用率。然而，要实现这种灵活性，我们首先必须了解降低 GPU 功率时训练工作负载的性能如何变化。 本文首次系统性地刻画了 LLM 训练中的作业功率弹性（即吞吐量对功率降低的敏感度）。为量化这种弹性，我们提出了功率灵活性指数（Power Flexibility Index，PFI）这一归一化指标，用于量化降低功率所带来的性能代价，并为满足 SLA 感知的功率灵活性提供控制原语。 我们收集了 H200 上 131 次 LLM 训练运行的数据（另包括 24 次 H200 验证运行和 34 次匹配的 H100 运行），涵盖稠密模型和混合专家模型、预训练和微调任务，以及最多使用 32 个 GPU 的配置。我们发现，LLM 训练作业表现出显著但存在差异的功率弹性，并确定了能够在运行时预测 PFI 的遥测信号。最后，我们证明，在功率约束下，考虑 PFI 的功率分配能够最大化总 tokens/s 吞吐量。在降低 30% 功率的情况下，考虑 PFI 的功率分配可使每个作业恢复约 1.5k tokens/s 的吞吐量，相当于弥合等权重分配方案与拥有完美信息的理想方案之间性能差距的 63%。我们的研究确立了功率弹性是训练作业的一项可测量属性，并为功率感知、响应电网需求的 AI 基础设施奠定了基础。
22:40 arXiv cs.AI 72
在本工作中，我们开发了一个逆向物理信息神经网络（PINN）框架，用于推断刮削层（SOL）垂直热传导率对等离子体密度和温度的依赖关系，即 $κ_\perp(n,T)$。该方法将电子密度和温度的径向剖面测量与一个简化的一维 SOL 输运方程的残差相结合，从而使推断得到的传导率同时受到测量数据和基础输运模型的约束。我们同时训练了三个神经网络：其中两个网络将温度和密度剖面重构为径向坐标和输运功率的函数，第三个网络则将有效传导率表示为局部密度和温度的函数。首先，我们使用由预设传导率函数生成的合成数据对该框架进行验证，从而可以将推断得到的 $κ_\perp(n,T)$ 与真实值直接比较。在数据约束区域内，该模型以低于 $10~\%$ 的误差恢复了预设的函数依赖关系。结果表明，自助法重采样能够为预测的可靠性和一致性提供一种实用指标。通过扫描用于训练的等离子体剖面数量以及每个剖面中的径向测量位置数量，我们确定了重构精度与数据可获得性之间的实际权衡。最后，我们将该方法应用于利用氦束诊断获得的 TJ-II 仿星器实验数据集。该探索性应用为有效 SOL 传导率提供了初步估计，并展示了逆向 PINN 从等离子体边缘测量中提取输运信息的潜力。
01:53 arXiv cs.AI 79
基础视觉语言模型（VLM）展现出对现实世界的广泛智能，但如何将这种智能转化为机器人控制仍然充满挑战。我们提出了 Show-Harness，这是一种具身控制框架，通过连接意图与动作的紧凑语义接口，使 VLM 能够“操控”机器人。Show-Harness 提供了离散的语义动作单元，VLM 可以自然地对其进行推理；与此同时，针对不同具身形态的解释器会将这些动作单元确定性地落地为机器人在本地执行的动作，从而使 VLM 直接负责细粒度的物理决策。借助同一接口，Show-Harness 展示了以下两种应用的可行性：（1）直接解锁闭源前沿 VLM，实现零样本机器人控制；（2）仅需数个 GPU 小时的微调，即可适配小规模开源 VLM，实现低成本部署。我们进一步开发了 GUMI（GUI Manipulation Interface），将同一语义动作空间扩展到基于 GUI 的演示数据采集，使人类和智能体无需专用遥操作硬件，即可跨不同具身形态“操控”机器人。大量实验表明，配备 Show-Harness 的 VLM 智能体能够在不同任务、具身形态和环境之间实现稳健泛化，性能优于具有代表性的智能体范式和 VLA 范式。这些结果表明，合适的接口可以从基础 VLM 中释放出可观的具身能力，而无需增加模型容量，也无需进行代价高昂的具身专属预训练。
19:32 arXiv cs.AI 75
鲁棒的语音转文本系统应能在多样的声学条件下可靠运行，但实际工作流缺乏可控工具来系统地探索不同环境。大型语音模型仍然容易受到未见过的声学条件影响，因为训练数据很少覆盖真实环境的全部范围。我们提出 NOPEHYPE，这是一种结构化训练工作流，将可控环境模拟器、基于功率谱密度（PSD）模板的覆盖率最优环境缩减，以及针对模拟器控制参数的小规模可解释超参数搜索相结合。我们表明，在 Whisper 和 SeamlessM4T 模型上，模拟器生成的噪声能够达到与均衡真实噪声训练相当的性能；同时，我们提供了具有原则性的环境原型集合，并通过结构化的 27 次运行超参数扫描确定了实用的模拟器默认配置。
23:46 arXiv cs.AI 83
如今，银行体系依赖少数几家共享的人工智能供应商来执行欺诈筛查、信贷决策、反洗钱分流、客户分析和内部决策支持。本文研究了其中一家供应商内部遭到入侵后，如何沿着运营、信息和金融关联链条传播，最终引发从外部看起来类似于传统银行危机的损失。我们构建了一个四层异构网络，将 AI 供应商、金融机构、银行间敞口和客户账户联系起来，并提出了在该网络上运行的随机流行病—清算模型 CFC-Prop。在包含 60 家供应商、220 家银行、约 2,500 条供应商—银行服务连接和 1,400 项银行间敞口的合成数据集上，CFC-Prop 再现了与既有网络金融证据一致的重尾损失分布，以及损失对修补延迟的显著依赖性。我们还训练了一个早期预警模型 CFC-GNN，该模型利用供应商侧的事件遥测数据和图结构，在影响发生之前标记具有高级联风险的供应商。在四个基线模型的比较中，所提出的模型达到了 0.82 的 AUROC 和 0.60 的 AUPRC，同时将校准误差控制在有限范围内。我们公开了完整代码、合成数据和可复现实验脚本。研究结果表明，AI 供应商之间的网络安全集中度是一个一阶金融稳定性问题，并为监管机构提供了一个用于定量分析这一问题的具体工具。
23:56 arXiv cs.AI 74
临床诊断通常需要同时评估医学影像和患者记录。然而，标准机器学习算法无法对这两类数据进行联合分析。同时，遵守 HIPAA 和 GDPR 可能会限制对敏感患者数据进行集中式聚合。这造成了一个关键空缺：如何在相互远离的网络之间安全融合视觉与文本语境。因此，我们提出 OmniMed-FL，这是一项针对多模态联邦学习的受控系统研究，用于五分类临床状况分类（正常、肺炎、COVID-19、胸腔积液、心脏扩大）。我们的代理语料库将 3,000 张公开胸部 X 光片与 3,000 条按类别条件生成的合成记录配对，这些配对按类别匹配，而非按患者匹配。该框架在 3 至 20 个医院客户端、采用非独立同分布 Dirichlet 划分的条件下，对八种融合策略、三种初始化方法、四种缺失文本插补规则以及相匹配的联邦基线进行了基准测试。由于所有记录均为合成数据，且配对并非患者级别，因此这些结果只是描述性的代理比较，并非对诊断性能或部署就绪度的估计。在这些限制条件下，当客户端数为 $K=5$ 且数据严重偏斜（$α=0.1$）时，仅本地训练取得 0.297 的宏 F1 分数，FedAvg 达到 $0.662\pm0.074$，FedProx 达到 $0.737\pm0.085$，相匹配的 FedMME 风格单次集成为 $0.647\pm0.080$，而我们的 SCAFFOLD-AdamW 改进方法为 $0.070\pm0.015$；FedProx 与 FedAvg 之间 0.075 的差距处于两个双随机种子标准差中较大者的范围内。在一个 $4\times3$ 的网格实验中，标签偏斜带来的 F1 损失最高达 0.27，而客户端数量接近增加七倍所带来的损失最多为 0.10；与此同时，双向通信量随客户端数线性增长，在 $K=20$ 时达到 183.5 GiB。多模态融合在两个语料库上均表现最佳：在合成语料库上得分为 0.956，而文本和图像分别为 0.934 和 0.664；在 X 光片语料库上则为 0.906，而文本和图像分别为 0.880 和 0.737，其模型状态大小是仅使用文本时的 $2.3\times$。
23:06 arXiv cs.AI 79
机器学习仿真器已成为加速高成本地球系统模拟的关键工具，但现有大多数方法仍然是被动预测器：它们在给定外部强迫条件下复现模拟器的演化轨迹，却没有为用户指定的干预措施提供明确的交互机制。这限制了它们在交互式科学工作流和地球系统数字孪生中的应用，因为用户通常需要探索：如果改变选定的状态分量，系统将如何响应。我们提出了一种面向地球系统仿真的动作条件世界建模框架，将模拟器轨迹重新表述为可控状态转移学习的监督信号。其核心思想是转移—动作预训练：将自然观测到的状态变化视为无需标签的动作监督，使模型能够在无需人工标注干预的情况下，同时学习给定外部强迫下的动力学和动作条件响应。我们进一步引入掩码响应学习，以便在仅对部分状态进行编辑时推断未观测变量，并学习耦合系统中的依赖关系。我们在六个全球区域和多个林分年龄条件下的生态系统动态上测试了该框架。实验表明，该模型在保持具有竞争力的长期仿真精度的同时，还能实现可控的结构干预，并使耦合生态系统循环变量产生协调一致的响应。这些结果表明，从被动式地球系统仿真器迈向具备交互能力和干预感知能力的科学代理模型，是一条切实可行的路径。
00:25 arXiv cs.AI 75
越来越多的研究表明，大语言模型并非只是统计记忆器，而是具备上下文内学习能力：仅使用提示词中提供的示例、无需更新任何参数，就能在测试时执行推断。此前的理论研究已表明，这种能力可以扩展到线性回归等监督学习任务。我们证明，上下文内学习还可以进一步扩展到\emph{数据生成}：冻结的 Transformer 能够根据上下文内的样本模拟迭代式生成采样器。我们首先表明，Transformer 可以实现闭式扩散采样器和经过平滑的闭式扩散采样器。该构造揭示了 softmax 注意力的一种具体生成作用：它计算责任权重和加权经验平均，而前馈层则实现欧拉更新。 为了在经验上将这些构造与预训练语言模型联系起来，我们研究了\emph{语义主题采样}：提示词由来自同一语义类别的词语组成，例如动物、食物或城市。在 Transformer 的各层中，归一化隐藏状态呈现出两阶段几何结构：它们在中间层逐渐趋向一个均匀的球面参考表示，随后在接近输出的层中回归到具有结构化、依赖主题的表示。我们进一步在这些隐藏状态构成的点云上测量相互作用粒子能量，并观察到相同的 U 形模式。随后，我们证明 Transformer 可以近似一种基于能量的采样器，并在各层中构造出相同的 U 形能量。
01:10 arXiv cs.AI 76
任务向量通过识别权重空间中具有语义意义的方向，实现训练后模型编辑；通常的计算方式是取微调模型与其预训练初始化之间的差值。然而，这种对微调的依赖使得此类方向的发现成本高昂，也限制了训练后模型编辑的实用性。为解决这一局限，我们提出 Training-Free Task Vectors（TFTVs），一种无需微调即可计算类似任务向量方向的新方法。我们的方法仅利用前向传播统计量，将激活引导向量映射为秩一权重空间编辑，同时满足一系列算术性质，从而直接支持通过加法实现学习、通过减法实现遗忘，以及组合多项编辑。通过实证评估，我们在大语言模型行为控制任务上测试了 TFTVs，结果表明，它能够在保留通用知识和问题解决能力的同时，持续增强、抑制并组合目标行为。我们还将该方法与其他编辑和引导基线进行了比较，实验表明，TFTVs 能够实现更强的特征控制，并在实用性保持方面表现更佳或具有竞争力。我们希望这项工作能为训练后模型编辑以及更广泛的免训练模型控制开辟新的研究方向。代码已发布于项目网站：tftv-llm.github.io。
01:31 arXiv cs.AI 77
中期训练是预训练与对齐之间的阶段，模型逐领域的数据构成通常由数据可获得性决定，而非依据原则进行设计。我们考察这种决策带来了什么，以及后续的对齐过程能否消除其影响。在受控的逻辑推理环境中（Qwen3-8B-Base，并以 4B 进行复现；五个语义上规则不相交的 KOR-Bench 领域），我们训练了覆盖五领域单纯形的 30 种分配方案：其中 24 种为扫描配置，另有 6 种未纳入拟合；每种配置使用 5 个随机种子。我们得到三个发现。第一，每个领域都存在一个内部覆盖最优点：对全部五个领域而言，适度区间（$10\%$-$40\%$）表现最佳；经校准的二次曲线内部最优性置换检验给出 $P\approx0.010$。仅使用中期训练数据拟合的曲线在 8B 上的峰值位于 $9.9\%$ 到 $35.1\%$ 之间，能够复现曲线形状，但无法复现峰值位置。第二，在固定预算的对齐过程中，这些差距依然存在：补偿性 SFT 提升了 116/120 个单元格的表现（平均提升 $+4.32\%$），但在 $5\%$ 阈值下弥合了 $0/240$ 对差距，在 $10\%$ 比率下弥合了 $30/240$ 对差距；等预算的均匀控制表现几乎相同，而置换零假设预计会弥合 $13.8\pm3.3$ 对和 $77.9\pm8.5$ 对差距（$P<0.001$）。第三，覆盖率为零会导致仅经中期训练的准确率崩溃，不过仅使用 FineWeb-Edu 的控制实验表明，这种崩溃与一般性漂移交织在一起。探索性的 $θ^*$ 分配实现了完整流程中最大的增益（$+4.36\%$，相比之下为 $+0.80\%$/$+0.64\%\,pp$），但根据 Welch 检验，其结果处于边缘显著水平。
10:27 arXiv cs.AI 75
线性代数为现代人工智能在神经网络中编码、压缩和传播信息提供了概念框架，包括矩阵秩、奇异值分解（SVD）和特征分解。本文整合了十四项独立的同行评审研究，分析这些技术在基于 Transformer 的基础模型研究中的应用，重点关注三个方面：自注意力矩阵输出秩的推导与性质、有意利用这一现象的压缩方法，以及低秩键值（KV）缓存投影及其与线性注意力和状态空间结构化模型之间的半可分矩阵对偶关系。我们开展这项工作的动机，源于观察到该领域中存在一个尚未解决的问题：上述压缩方法与网络自然秩坍缩之间的相互作用。本文报告了一项原创发现：对注意力投影使用 SVD 压缩，实际上会对网络的秩坍缩产生相反的影响——在初始化时，它会强烈抑制秩坍缩；而在预训练模型上（GPT-2 124M、GPT-2 Medium 355M 和 Pythia-160M），它却会加速秩坍缩，同时出现对象混叠伪影的风险极低（已在所有压缩比下得到验证），且这一现象在四种秩估计方法中均保持一致。在这两种情形下，对该效应进行的受控因果分解表明，这种行为的原因，与其说在于 SVD 所实现的算子范数降低，不如说在于 SVD 压缩矩阵时所选择的子空间；前者约能解释初始化时该效应的 76%，以及预训练权重上该效应的 83%。这一结果细化了校准感知压缩的观点，并解释了其为何优于朴素的 SVD 截断。
16:49 arXiv cs.AI 80
连续环境中的视觉语言导航（VLN-CE）要求具身智能体遵循自然语言指令，在未见过的环境中进行导航。当前的零样本 VLN-CE 方法要么依赖预训练的航点预测器，要么需要在每个步骤中多次查询大型模型。为了解决推理延迟高和计算开销大的问题，我们提出了 O2C-Nav，这是一种高效的零样本导航框架，每个决策步骤仅调用一次大型模型。我们的方法引入了一种无需训练的结构化航点生成器，以及一种新颖的抽象表示，将稀疏且具备历史感知能力的候选航点直接投影到 RGB 图像上，作为视觉标记。MLLM 在每个步骤中选择一个航点，或生成一个备用目标边界框；随后，低层 Fast Marching Method（FMM）规划器将所选目标转换为一条可执行且无碰撞的路径。该范式为模型提供了具体的空间感知能力和显式记忆，同时显著降低了视觉处理负担。在 R2R-CE 和 RxR-CE 基准上的大量评测表明，O2C-Nav 超越了当前最先进的零样本方法，展现出在实时机器人部署中的巨大潜力。代码见 https://github.com/kkpsq/O2C-Nav-Code。
17:06 arXiv cs.AI 75
递归超分辨率（SR）通过将预测结果反复反馈给同一模型，将固定尺度的超分辨率扩展到极端放大，类似于反复缩放图像。然而，在每个尺度，尤其是深层尺度上获取真实值仍然具有挑战性，因为所需的源分辨率呈几何级数增长，导致更深层的预测缺乏监督。我们提出了 OracleZoom，这是一种受在策略蒸馏启发、受参考约束的框架，在自身轨迹上进行训练，同时将最后的真实值证据延伸到监督边界之外。直接监督和跨尺度监督约束可验证内容，而无参考质量目标则引导尚未解析的细粒度细节。受 KL 约束的预训练潜变量先验限制由质量驱动的偏移，而 EMA 一致性则稳定监督边界。在七个数据集上，OracleZoom 在各种放大尺度上均实现了最先进的超分辨率质量，CLIPIQA 平均达到 0.713，并且在更深层尺度上取得更大提升，同时显著减少了幻觉。代码、数据和模型可在 https://dipta007.github.io/OracleZoom/ 获取。
01:27 arXiv cs.AI 74
视觉运动模仿策略在分布内的视觉条件下可以取得很高性能，但当引入视觉上相似的物体或容器时就会失败。我们将这种行为视为一个条件视觉锚定问题：成功控制所需的视觉目标会随操作阶段变化，而在更复杂的任务中，还会随所观察到的任务状态变化。借助 Action Chunking with Transformers (ACT)，我们系统地引入在颜色和形状相似性上可控的干扰物体和容器，并将失败定位到抓取和放置环节。我们发现，对干扰物的敏感性同时取决于视觉相似性的类型和操作阶段。基于这一诊断，我们评估了干扰物增强、阶段依赖的注意力正则化以及基于外观的视觉提示，作为相互补充的干预方法，以在保留控制所需空间信息的同时改进目标选择。这些干预显著提升了仿真环境和实体 UR3e 上的鲁棒性。我们进一步在一个预训练的视觉-语言-动作策略上考察了相同的失败模式，该策略应用于一个状态条件化的器械处理任务，其中医疗器械的可观察状态决定正确的目的地。综合来看，这些结果表明，即使底层操作技能仍然完好，视觉干扰物也会导致错误的物体或目的地选择；而显式改进目标选择，能够在不同的视觉运动策略学习范式中显著恢复性能。
22:32 arXiv cs.AI 79
On-Policy Distillation (OPD) 已成为一种广泛采用的后训练范式，用于提升大语言模型在推理领域的能力。然而，OPD 中以数据为中心的机制仍相对缺乏研究。本文对 OPD 中的数据效率和数据选择进行了实证研究。我们首先考察一个极端设置：仅用一个样本训练 OPD，即 1-shot OPD。令人惊讶的是，我们发现 1-shot OPD 在所有采样训练样本上都持续有效，而且更难的样本往往带来更大的性能提升。接着，我们研究训练数据中究竟是什么驱动了学生模型的改进。我们的分析表明，这种提升并不是由高词元熵驱动的，而是由更长的 CoT 路径驱动的，而难题天然会生成更长的 CoT。对更长 CoT 的训练有助于在较长的推理过程中保持与教师更紧密的一致，并学习通常在较短 CoT 中缺失的关键思维模式，例如反思（如“Alternatively”）。基于这些发现，我们提出了一种简单的数据选择方法，仅选择困难样本进行训练，即使是那些完全超出教师能力的“不可解”样本也能成功用于训练。我们在 1.5B 到 7B 的四个模型上进行的实验表明，仅用 8 个选出的困难样本训练学生模型，其性能就能达到 17K 数据集基线。
23:30 arXiv cs.AI 83
层 Dropout（又称 stochastic depth）已被证明能够在语言和视觉 Transformer 中实现更快的训练、更高的准确率，以及对零样本层剪枝的鲁棒性。然而，随着模型和数据集规模不断扩大，Dropout——尤其是层 Dropout——在大语言模型（LLM）的预训练配方中基本消失了。尽管一些先前工作报告称 Dropout 可能会降低准确率，但尚无系统性研究对这一影响进行量化，更不用说缓解了。在本研究中，我们表明在最先进的 LLM 训练中应当使用层 Dropout，并为训练及后训练收益建立了最佳实践和扩展性分析。具体而言，在最优的层分布、时间调度和优化器超参数下，我们观察到在相同训练 FLOPs 下，层 Dropout 会带来更低的损失。对于给定的训练步数，LLM 可以在节省最高 25% 训练 FLOPs 的同时，实现更低或相近的验证损失。此外，层 Dropout 还能带来显著的后训练优化，例如提前退出、中间层跳过以及 self-speculative decoding，在几乎不损失准确率的情况下实现最高 1.5 倍的推理加速。通过超过 2400 次训练实验，覆盖从 271M 到 8.2B 参数的模型以及最高 160B tokens 的数据集，我们证明这些发现能够可靠地扩展到大规模训练场景。所有预训练实验均在 Cerebras CS-3 系统上完成。
00:43 arXiv cs.AI 73
病理基础模型提升了组织病理学中的可迁移表征学习，但近期的性能提升往往依赖于具有数亿参数且推理成本高昂的编码器。我们提出 TAP-Path，这是一种任务自适应压缩框架，它直接重构预训练的 Virchow2 编码器，而不是将其蒸馏为单独的学生模型。TAP-Path 结合了基于验证集的 transformer-block 选择、冗余 block 的物理移除、输入自适应的 patch-token 剪枝、多层深度特征恢复以及轻量门控任务头。最终模型在剪枝后保留了 32 个 transformer blocks 中的 24 个和 70% 的 patch tokens，将编码器参数减少了 24.96%（631.24M 降至 473.70M），并将编码器的分析计算量降低了 35.20%（340.13G 降至 220.40G FLOPs）。在三个任务头优化随机种子下，TAP-Path 在一个 32 类组织病理学基准上取得了 $87.98 \pm 0.067%$ 的测试准确率、$81.26 \pm 0.49%$ 的平衡准确率和 $82.38 \pm 0.48%$ 的宏平均 F1，相比之下，完整 Virchow2 为 86.89%，UNI2-h 为 87.67%。TAP-Path 取得了 $0.1800 \pm 0.0005$ 的 Brier 分数和 $0.9047 \pm 0.0060$ 的失效检测 AUROC。仅基于验证集的 rare-aware 目标在二级运行分析中提升了稀有类别的平衡准确率。对 433 个 CPTAC 样本进行冻结式外部评估得到 $91.22 \pm 0.83%$ 的准确率和 $91.10 \pm 0.81%$ 的平衡准确率。这些结果表明，任务自适应的结构与 token 稀疏化能够在内部和外部评估中保持可靠性的同时，改善大型病理基础模型的准确率-效率权衡。
01:40 arXiv cs.AI 73
本文提出一个用于迷你 Ackermann 车辆端到端自动驾驶研究的低成本开放实验平台。该平台结合了实体车辆、打印的城市赛道、数据采集工具、轨迹标定以及 Webots 数字孪生，从而支持将基于仿真的自动驾驶方法与真实世界执行相衔接的受控实验。作为第一个基线，我们实现了命令条件化的行为克隆，其中一个神经策略接收车载相机图像和高层导航指令，并输出转向和速度。该系统在实体车辆和仿真中都进行了评估。在真实闭环实验中，所学策略能够沿车道行驶并执行指令转向，相对于参考路线的平均横向偏差达到 6.1 厘米，接近人类示范中的 4.7 厘米。在数字孪生中，摄像头视场对性能有显著影响，当视场角从 58 度扩大到 120 度时，平均横向偏差从 35.6 厘米降至 3.3 厘米。我们进一步利用数字孪生生成合成驾驶数据，并使用学习得到的 sim-to-real 图像翻译器缩小外观差距，结果表明：在这种合成数据上结合真实示范训练的容量更大的策略，是唯一能够在闭环中完成全部四条赛道路线的配置；而紧凑型基线以及仅用真实数据训练的同一网络完成的路线更少。这些结果表明，该开放平台是开展 sim-to-real 研究的实用测试平台，并提供了一个初始的命令条件化模仿学习基线；我们将其开源，以支持可复现研究。
01:54 arXiv cs.AI 76
在策略蒸馏（OPD）将学生模型生成的 rollout 与来自教师模型的密集 token 级监督相结合。现有工作主要研究了其算法行为，而训练数据所起的作用仍不明确。我们通过仅在单个查询上训练，在数据极小的极限下考察这一作用。一次性 OPD 在数百个步骤内持续改进，并在不同任务领域和模型家族中恢复了全数据 OPD 大部分增益。我们通过训练期间访问的状态以及学生模型与教师模型对齐的速率来解释这一结果。我们衡量“状态覆盖率”，即全数据 OPD 访问的状态中，一个查询集的 rollout 能到达的比例。单个查询已经达到 \(71.5\%\)，其中大部分在前 100 步内完成。加入语义上不同的查询会同时提高覆盖率和验证准确率，直到 16 个查询达到 \(98.9\%\) 并匹配全数据训练。然而，无论 OPD 是在一个查询上还是在整个数据集上训练，对齐都会以相似的速度变慢，甚至一个固定的状态集合也需要数百步才能被吸收。因此，OPD 是数据过剩但算法不足。它的 rollout 能迅速暴露广泛的监督，而学生模型吸收这些监督的速度却越来越慢。状态覆盖率结果也扩展到多教师 OPD，其中每个领域 16 个语义多样的查询即可匹配全数据 MOPD。作为进一步的压力测试，内容较少的模板和域外 WildChat 查询也接近真实查询基线。因此，任务内容和诱导出的状态覆盖率可以相互分离。我们希望这些发现能引导未来工作关注 OPD 的步骤效率，并促使人们重新审视其在前沿后训练近期成功背后的数据与机制。
01:57 arXiv cs.AI 79
我们对大型语言模型（LLMs）在预训练期间如何获取知识的理解仍然存在空白。我们提出，辅助视图——即对知识的改写——在因果上有助于学习。我们设计了受控实验来分离这一因素。首先，我们确认重复对于获取是必要的，并澄清改写只在较小的批大小下才有帮助。其次，在固定 token 预算的情况下，将 token 从文档重复分配给辅助视图会提升学习效果，这反直觉地甚至对事实回忆也有益。第三，辅助视图的有效性并不取决于生成它们的教师模型有多强。第四，我们识别出两类知识形式：上下文性知识和基础性知识，它们能在先验知识缺口存在时促进学习。最后，我们考察这些效应如何通过逐层偏置和压缩在机制上体现出来。总之，我们的发现表明，在大型预训练语料中自然出现的知识辅助表征，是预训练成功的关键因素，并为数据多样性为何重要提供了一个合理解释。
01:59 arXiv cs.AI 88
语言模型评审器如今把关训练数据、为生成结果打分，并推动排行榜。因此，评审器就是一种测量仪器，它依赖于一个很少被明说的假设：同一个请求，发送到同一个模型名称，明天读数仍然相同。我们在两轮预注册活动中审计了这一假设，所有阈值都事先固定；两轮都未能通过对其测量仪器的验证。在 52,988 次经审计的请求尝试中，同一时间窗口内的重复排名一致性为 Spearman 0.400，低于要求的 0.90；字节完全相同的次日重放一致性为 0.78，低于要求的 0.99，而每次执行记录都达到上限。三个机制解释了这一差距：标签到含义的映射对读数产生的偏置与信号本身一样强；候选项之间的差距比仪器自身的噪声底低七个数量级；以及字节完全相同的输入会返回不同排名，这种噪声会被精确排列读数进一步放大。在测试网格上，无论替换指标还是采样都未能修复这一问题。预注册的后续实验界定了问题边界：在采样的那些天里，等待没有帮助（0.805 对 0.800，并在之后五天进一步复现）；切换提供商没有帮助（四家提供商共享这一下限，中位数为 0.74 到 0.88，且它们公开的 metadata 字段均无法预测）；在批处理不变内核上自托管只在服务器空闲时有帮助；而在具有已知差距的构造错误上，读数的区分度跟随错误类型，而非错误大小。我们将证据提炼为一个三级快照身份阶梯、八条设计规则和一份报告清单；一个调用量约为本研究 2% 的试点本可提前暴露这两个无法达到的门槛。所有结果都涉及在共享服务基础设施上的外部测量行为。在共享端点上，模型名称并不是一台冻结的仪器；预注册评估必须先测量其仪器，然后才能在其上冻结任何门槛。
22:15 arXiv cs.AI 73
低秩适配（LoRA）已成为参数高效微调（PEFT）的事实标准，但由于低秩分解带来的信息瓶颈，其性能对初始化高度敏感。现有方法试图利用预训练权重、激活值或梯度的主成分来构建高质量的 LoRA 初始化。然而，这些方法并未直接考虑全秩模型的训练动态。本文提出训练感知低秩适配初始化（TaRA），该方法对 LoRA 进行初始化，使低秩因子所诱导的梯度能够紧密近似相应全秩权重矩阵的梯度。TaRA 由数学形式化推导而来，能够在训练初期提升梯度保真度，同时带来可忽略的计算开销。在多种具有挑战性的微调任务上，TaRA 始终优于此前最先进的方法，提供了一种简单、鲁棒且可扩展的有效 LoRA 初始化方案。
22:53 arXiv cs.AI 72
RAG 已成为将新的、特定语料库知识纳入遵循指令的 LLM（Instruct LLM）的事实标准方法。尽管基于 RAG 的提示能提升事实依据性，但当检索结果不正确或不完整时，它会失效，从而导致幻觉。RAFT 和 PA-RAG 等微调方法通过将新知识注入模型参数来增强 RAG，但需要生成大量覆盖整个语料库的合成 QA。对文本语料库进行 Extended Pre-Training（EPT）可以避免全面生成合成数据的需要，但会削弱 Instruct LLM 的指令跟随能力，因此需要在预训练后进行 instruction fine-tuning（IFT）。然而，IFT 成本高昂，并且由于指令微调语料库不可用，可能根本无法实施。在这项工作中，我们提出 DKL——用于指令微调语言模型的解耦知识学习。DKL 不对 Instruct LLM 进行 EPT，而是对其对应的 base LLM 进行 EPT，以注入新知识。随后将这些注入了知识的权重与 Instruct LLM 合并，在不影响其指令跟随能力的情况下赋予其新知识。DKL 是一种轻量级方法，避免了昂贵的 instruction fine-tuning，并依赖模型合并将新知识注入 Instruct LLM，而不会破坏其指令跟随能力。实证结果表明，在检索失败案例中，DKL 将 RAG 准确率从 54.17 提升到 79.26，同时以显著更少的训练数据优于先前方法。
23:41 arXiv cs.AI 82
最优超参数缩放定律描述了用于训练大型语言模型（LLM）的最佳超参数如何随模型规模和数据规模变化，从而使实践者能够在无需昂贵的大规模调参的情况下预测生产规模下的最优配置。然而，传统上估计这些缩放定律需要在数千次训练运行上进行穷尽式网格搜索，消耗巨大的计算资源。我们提出幂律熵搜索（Power-Law Entropy Search，PLES），这是一种具有计算成本感知的采集函数，基于多保真贝叶斯优化，通过自适应实验高效估计最优超参数缩放定律。PLES 的一项关键创新在于，它搜索的是能够降低缩放定律估计整体不确定性的候选项，而不是优化单一目标函数。在每次迭代中，PLES 会选择在单位计算成本下最大限度降低缩放定律估计不确定性的候选配置，自然地偏向于信息量更高的小规模实验。我们在合成基准、拟合真实 LLM 训练数据的代理模型，以及实际的 LLM 预训练运行上评估了 PLES。结果表明，在所有设置中，PLES 仅用传统网格搜索和其他基线所需计算预算的不到十分之一，就收敛到了准确的最优超参数缩放定律。
01:21 arXiv cs.AI 73
我们提出 H3-World，一个高效框架，可将 33B MiniMax-H3 视频生成器转化为交互式世界模型。我们的关键发现是，随着大型视频生成器能力不断增强，语言正成为一种自然的控制接口。例如，MiniMax-H3 已经支持通过自然语言指令对角色行为和摄像机运动进行零样本控制。在此基础上，H3-World 将这一粗粒度语言接口转化为精确、具备时间对齐的世界控制，而无需引入专门的动作模块。具体而言，我们将每个动作表示为角色和摄像机指令的结构化组合，并将其与对应的时间视频潜变量对齐。为了使控制在时间上更加精确，我们进一步引入时间注意力路由，将每条指令限制在其预期的时间区间内，并减少不同动作之间的控制泄漏。重要的是，H3-World 直接复用大规模视频预训练中学到的语义表示，只需要轻量级适配。仅使用 8,000 个游戏样本、10,000 步 LoRA 优化，以及 0.199% 的可训练参数，H3-World 就能实现有效的角色和摄像机控制，同时保持较强的生成质量。它也能泛化到未见过的场景。这些结果表明，大型视频生成器中涌现出的控制能力可以被高效地转化为交互式世界控制。
01:31 arXiv cs.AI 72
大型语言模型（LLMs）难以将文本分类到包含大量语义相近标签的分类体系中，因为这些区分通常具有领域特定性，且未被预训练所覆盖。为处理大规模标签空间，一种常见方法是通过嵌入相似度检索出 top-$K$ 个候选标签，并提示 LLM 在其中进行选择。然而，top-$K$ 检索虽然减少了候选数量，却并不能帮助模型区分彼此相似的标签。当两个相似标签同时作为候选出现时，模型缺乏在它们之间做出正确选择的信号。我们提出一个框架，它能够：(1) 识别模型难以区分的标签对，(2) 扩展候选集以包含易混淆标签，(3) 生成有针对性的规则来区分相似候选。该框架无需微调，且生成的规则可迁移到更小、更便宜的模型上。在三个基准数据集（WOS、Flipkart、LEDGAR）上，我们的方法相较于检索基线将 Macro F1 最高提升 10.0 个百分点，而较小模型（2B--20B）通过跨模型迁移最高提升 11.5 个百分点。
18:39 arXiv cs.AI 78
我们提出 ViTAMINS，一种将合成困难负样本整合到无监督视觉 Transformer 预训练中的方法，以提升表征质量。我们在 ImageNet 以及迁移学习、图像检索、拷贝检测、图像和视频分割任务上对该方法进行了全面基准评测。值得注意的是，我们提出的负样本带来了涌现性质，使学得的表示包含图像语义内容的显式信息，并可作为出色的分类器（相比基线最高提升 +11.3%）。ViTAMINS 通过对现有对比学习框架进行简单修改即可实现这些收益，并且在更高资源效率下优于竞争方法，例如，我们的 ViT-B 超越了使用 ViT-L 的 V-JEPA。我们的发现促使人们重新审视对比学习，将其视为一种比主导性的生成式和自蒸馏方法更简单但同样强大的替代方案。
18:53 arXiv cs.AI 72
用户表示预训练已成为缓解下游个性化任务中数据稀疏性的基础范式。然而，现有研究主要聚焦于单应用或应用级行为，忽视了用户在移动设备上本质上的跨源和多粒度活动特征。在设备层面，用户意图源于异构行为来源与层级化动作结构之间的复杂交互，这带来了传统以应用为中心的建模方法无法解决的挑战。为解决这一问题，我们提出了 CM-PTM，一种面向移动游戏用户表示学习、适用于设备级行为日志的全新跨多源行为预训练模型。CM-PTM 采用层级式级联的先遮蔽后预测代理任务，先推断下一行为的来源，再逐步细化到应用-动作层面的预测。这一设计使得在单一预训练范式下即可统一建模跨源依赖关系与细粒度行为动态。在大规模真实移动数据集上的大量实验表明，CM-PTM 能有效捕捉用户的内生兴趣，并在下游移动游戏推荐任务中持续带来显著的性能提升。
23:01 arXiv cs.AI 76
流式学习通常通过预测性能和对概念漂移的适应能力来评估。然而，流学习器的持续运行还要求即使在长流上也能保持可预测且有界的资源使用。当学习从服务器转移到靠近传感器的嵌入式系统时，这一要求变得更加关键，因为内存和处理能力都是稀缺资源。然而，在当前最先进的流式学习中，我们观察到对概念漂移适应的强烈关注，而资源使用往往只是评估中的附带产物。为弥合这一差距，我们在模型大小预算从 128\,KiB 到约 8\,MiB 的条件下，对 13 个真实和合成数据流上的 7 种代表性流分类器进行了基准测试。我们的基准测试总计包含 6,463 次实验。我们测量了考虑失败的准确率、模型峰值大小、耗尽预算所需时间，以及预测加更新延迟。结果揭示了两种不同的资源失效模式。自适应集成方法可能由于其初始占用空间而几乎立即超出小预算，即使其后大小保持稳定。增量树最初可以适配，但会在长数据流过程中持续增长，其中 HoeffdingTrees (HT) 和 Extremely Fast Decision Trees (EFDT) 的中位增长倍数分别达到 7.37 和 5.87。显式紧凑的方法仍然是最小预算下唯一可行的选择，但随着更大预算使自适应集成方法变得具有竞争力，它们通常会被超越。因此，许多最先进的方法在嵌入式系统中或长时间运行的系统中只能部分适用。我们因此呼吁流式学习社区将有界资源使用与漂移适应一样，作为同等重要的设计目标，并提出朝这一目标迈进的具体步骤，包括提供一个 API，使流学习器能够显式暴露并遵守资源预算。
23:08 arXiv cs.AI 73
具身导航要求智能体将异构目标和视觉观测转化为跨任务、跨环境以及跨机器人具身形态的动作。现代 vision-language models（VLMs）已经为视觉定位、空间推理和指向编码了空间先验，但这些能力很少被直接用于机器人控制。现有导航系统反而依赖任务或具身形态特定的组件，割裂了感知、推理和动作，同时泛化能力有限。本文提出 LightNav-0，一种紧凑的通用具身导航模型，它激发预训练 VLM 的空间智能并使其与导航对齐，而无需任务特定的预测头。LightNav-0 通过统一的 token 接口表示多样的导航任务：双通道指向表达与任务、场景和具身形态无关的空间意图，而残差向量量化动作 tokenizer 将该意图映射为精确的、与具身形态相关的轨迹。结合具备时间感知的视觉历史压缩、ER mid-training、监督微调和强化学习，这一形式化方法在单一模型中同时支持指令遵循、开放词汇目标导航和视觉跟踪。导航训练语料涵盖 2K+ 个场景和 4K+ 小时的具身导航数据。用于初始化 LightNav-0 的具身推理检查点 LightNav-ER 在 8 个具身推理基准上取得了最高的完整集合平均分，而 LightNav-0 在全部 10 个公开导航模拟设置中实现了最先进的单目成功率。真实世界评估进一步展示了其在不同机器人具身形态、多样场景以及静态和动态目标上的零样本泛化能力。这些结果确立了紧凑 VLM 作为通用具身导航统一且可迁移骨干的地位。
23:36 arXiv cs.AI 74
心脏磁共振成像（CMR）产生丰富的序列数据，例如时间上的cine视频和空间上的LGE/mapping堆栈，但大多数深度学习方法只处理单独的2D切片，忽略了这些上下文。我们提出MR-JEPA，这是一种用于CMR的自监督视频基础模型，它通过tubelet tokenization、时空掩码增强以及从2D CMR基础模型初始化，将LeJEPA扩展到3D时空输入。与以往仅限于cine数据的CMR视频模型不同，MR-JEPA在来自两个中心的10,505名患者的多序列数据（cine、LGE、mapping）上进行预训练，且未使用标注。我们使用统一的多视角门控注意力架构，在六个下游任务上评估冻结的编码器：左心室射血分数、右心室射血分数、三种心肌应变（GLS、GCS、GRS）以及四分类疾病检测。MR-JEPA在全部五个回归任务上都优于其他比较方法，包括一个在更多数据上并结合文本监督预训练的领域特定CMR模型，以及一个自然视频基础模型；其LV EF MAE达到4.79%（r=0.764），GLS MAE达到1.87（r=0.805），在应变任务上相较基线的MAE降低了21-27%。在疾病检测方面，MR-JEPA取得了0.868的宏平均AUG，尽管采用完全自监督的预训练目标，仍然与领域特定基线保持竞争力。这些结果表明，统一的视频编码器在临床心脏定量和诊断中，能够稳健地、多视角地利用多样化的CMR序列，具有潜力。
23:37 arXiv cs.AI 73
我们研究自我建模：即 LLM 回答关于其自身行为问题的能力。我们关注可验证的行为问题，例如某个 prompt 编辑是否会改变模型的最终答案。为了衡量这一能力，我们提出了一个基准，用于测试多种类型的自我建模问题。当前模型表现出非平凡但有限的自我建模能力，并且在有关自身行为的简单反事实问题上会出现系统性错误。为了提升自我建模能力，我们开发了一个可扩展的合成数据流水线来生成自我建模训练数据，并展示了 reinforcement-learning 可以在三个开源模型家族上提升整体自我建模能力，并对留出任务带来一定迁移。然而，这些提升似乎并不总是意味着内省：改进后的自我建模未必源于对模型内部决策过程的特权访问。
17:38 arXiv cs.AI 76
大型语言模型（LLMs）由词元表示、权重、适配更新、缓存和激活值等结构化高维对象构成，而传统以矩阵为中心的视角并未充分利用其多线性结构。张量分解和张量网络为这种结构提供了一种有原则的代数语言，但现有文献常将它们视为彼此孤立的压缩机制。本综述通过两个互补视角组织 LLMs 的张量方法：一个覆盖词元化、嵌入、预训练、适配、压缩、推理和可解释性的七阶段生命周期分类，另一个覆盖嵌入、注意力和前馈网络的组件视角。我们提供统一的记号和理论基础，分析单个 Transformer 组件的张量化策略，并比较各生命周期阶段的方法，同时明确评估协议和模型规模方面的差异。我们进一步将张量方法与相邻的高效技术以及概率张量网络联系起来。最后，我们综合开放挑战并引入 $ρ_{\rm gap}$，这是一种用于衡量理论内存降低与实测系统级加速之间压缩-落地差距的指标。通过将张量化视为一种通用的结构原则，本综述为张量化语言模型提供了一个结构化的入口，并阐明了参数节省在何种情况下有望转化为内存效率、计算效率或可解释性。本文专用的 GitHub 页面可通过 \href{https://github.com/ma-tt-a/awesome-tensor-methods-for-llms}{this https URL} 访问。
18:42 arXiv cs.AI 73
我们提出 Turing-20B-A2B，这是一种拥有 20B 参数的混合专家语言模型，每个 token 约激活 2B 参数，面向长上下文和对延迟敏感的物理 AI 应用设计。该模型在动态 top-k 配置下采用 Quantile Routing，实现 token 自适应的专家分配，同时保持专家利用均衡和受控的平均计算预算。在部署阶段，我们进一步将容量约束路由应用于提示预填充，以实现更规整且高效的专家执行，而在预训练期间则保留 dropless routing。Turing-20B-A2B 还采用了混合注意力架构，将 Lightning Attention 与少量全注意力层相结合，以实现高效的长上下文建模。该模型通过渐进式三阶段课程进行预训练，并通过继续预训练将原生上下文长度扩展到 128K，随后又使用 YaRN 在推理时进一步扩展到 512K。尽管其激活参数预算较为紧凑，Turing-20B-A2B 在基础模型阶段的整体通用能力超过 Qwen3-8B Base，并接近 Qwen3.5-9B Base，同时保持了强劲的长上下文表现和良好的 prefill 延迟扩展性。这些结果表明，该模型在模型能力、长上下文可扩展性和实际推理效率之间实现了有效平衡。
19:28 arXiv cs.AI 75
合成数据正越来越多地用于训练大型语言模型（LLMs），但其安全影响仍未被充分理解。先前关于隐性学习的研究表明，模型可能会从看似无关的训练数据中继承行为特征。在这项工作中，我们研究这类机制是否可被利用，通过语义上无害的合成数据向对齐模型注入定向社会偏见。我们构建了一个流程，其中一个未对齐的教师模型在创意写作和代码生成等领域生成经过筛选的合成数据集，随后这些数据集被用于对齐学生模型的微调。我们的实验表明，看似无害的合成数据可以作为传递定向偏见的隐蔽通道，同时在很大程度上保留学生模型的一般任务能力。这些结果揭示了合成数据驱动的 LLM 训练流程中一个此前未被充分探索的安全风险，并凸显了改进防护措施的必要性。作为朝这一目标迈出的一个可能步骤，我们建议，基于对数线性的评分可能为筛查看似无害的合成数据提供有用信号。
14:19 arXiv cs.AI 80
文本到图像（T2I）安全护栏未能公平地泛化到非标准方言。我们在五种英语方言上评估了 23,080 对配对提示词，并将这一失败形式化为方言惩罚：过滤器是依据语言表层特征而非语义意图触发的。文本级过滤器在两个相反方向上都失效：NSFW-T 会对无害的方言提示词过度标记，而 LatentGuard 会对有毒提示词过度标记（偏差差距最高达 +28.29 个百分点），与此同时 OpenAI Moderation API 则对它们漏检。受控的拼写错误消融实验确认，这种惩罚源于对方言特征的标记，而非一般性的分布外敏感性。像素级生成器在很大程度上不受方言影响；惩罚是在文本处理阶段引入的，并不均匀地级联到事后护栏。我们表明，这种偏差与训练数据不平衡相关，并且可通过组平衡再训练加以缓解；消融实验将这一收益归因于平衡暴露，而非 GroupDRO（group distributionally robust optimization）的最差组目标。当前管线系统性地对方言使用者失效，这是一种被平均准确率基准所掩盖的公平性失败。我们的官方代码和数据集已公开，见 https://github.com/minguinho26/dialect-penalty-t2i。 内容警告：本文包含冒犯性、有毒或令人不安的文本提示和生成图像。
01:25 arXiv cs.AI 77
近期用于几何估计的生成式方法会适配预训练的图像扩散模型，并将该任务视为以图像为条件的生成。借助现成的图像扩散模型，它们要么 (i) 分别训练面向特定任务的几何模型（用于深度和表面法线估计），从而失去探索这些几何目标内在相关性的机会；要么 (ii) 联合微调经过修改的图像扩散主干网络（例如改动自注意力），而这通常需要大量标注数据。为以一种原则性方式克服这些局限，我们将预训练的视频生成模型重新用于几何估计，构建为一个统一且数据高效的框架，并创新性地将其表述为下一帧预测任务。我们的方法 GeoNeXt 自然继承了视频模型中结构化的知识和更丰富的先验，同时进一步将其适配到图像与几何目标的联合建模（image <-> geometry），从而实现更高效、更有效的几何学习。大量实验验证了我们的方法在多个数据集上的零样本单目深度和表面法线估计能力，在使用显著更少训练数据的情况下，优于以往的特定任务方法和统一生成式方法。值得注意的是，我们的方法可与训练时使用超过 100 倍更多数据的判别式最先进方法相媲美，并且在多个基准上表现突出。
21:16 arXiv cs.AI 75
我们研究了在以英文为主的语料库上预训练稠密大语言模型时，学习率和批大小的扩展行为。除了对学习率和批大小的联合最优值进行扩展分析外，我们还研究了它们随模型容量和数据规模变化的边际演化，并构建了一个能够刻画这些关系的模型。由于我们采用了 Warmup-Stable-Decay 学习率调度，我们进一步考察了在广泛的超参数设置、模型和数据预算范围内，学习率退火所带来的收益，以及最优学习率和批大小是否会在稳定阶段与衰减阶段之间迁移。最后，我们刻画了损失对模型容量和数据集大小的依赖关系，评估了近期提出的、显式建模二者相互作用的扩展形式。我们发现，这些方法在我们的实验中对于同时捕捉欠训练和过训练两种情形尤为有效。这项研究为未来 OpenEuroLLM 模型的开发建立了首个基线和扩展流程。我们已将本研究使用的全部预训练运行结果开源。
21:36 arXiv cs.AI 75
实践者通过叠加防御来保护大型语言模型（LLMs），并假设这些层会相互叠加。一个堆栈就是一个集成，而集成只有在 LLM 安全文献建议却从未测量的一种条件下才会叠加增强：各成员必须在不同输入上失败。 两种工具使这种关系可测。Adversary Access-Tier Model (AATM) 按攻击者所拥有的访问权限对其分级，从仅系统访问（A0）到可影响训练数据（A4）。一种成本模型把防御分为五类推理时开销；由于其中两类需要训练权重或读取激活值，它就像 AATM 对攻击者分层那样，也对防御方分层。基于这些，我们推导出堆栈的行为，而防御者关心的量会分化：覆盖率在同一层级内趋于饱和，成本按类别上升，误拒作为并集累积，残余攻击成功率只有在独立性成立时才会乘性下降。 我们测量了这种独立性。在一个七层堆栈上运行单个自适应攻击者时，十五个可测配对的失败相关性均为正（φ 从 0.30 到 0.75），且联合残余值比乘性预测最高多出 0.172。按行为难度分层后，大部分关联消失，因此这种依赖主要源于共同原因，但它在置换推断、多数投票评分器标签以及外部校准阈值下仍然存在。同一套堆栈会拒绝五个良性提示中的四个，同时其表现与最强的单层防御在统计上无显著差异。 这种依赖是架构性的，而非基于采样的：各成员通过它们共同包裹的模型相关联，因此扩大成员池也无法削弱它。因而，多样性只能用于选择堆栈成员，却不能预测组装后的堆栈会交付什么结果；这一点必须端到端测量。
23:00 arXiv cs.AI 77
提示注入攻击在真实世界应用中对大型语言模型构成了严重的安全风险。然而，现有的提示注入基准主要关注短上下文输入，使得长上下文场景下的攻击与防御在很大程度上仍未被探索。这一缺口导致当前防御效果被显著高估。本文通过引入 LongPIBench 弥合这一差距：这是一个用于提示注入的长上下文基准，涵盖4种真实应用场景：论文同行评审、简历筛选、代码审查和邮件摘要。对于每种场景，我们都构建了一个合成数据集和一个真实世界数据集，上下文长度从数千到数万 token 不等。LongPIBench 上的评估结果揭示了提示注入防御在长上下文设置下的严重脆弱性：即使是简单的启发式提示注入攻击也能取得很高的成功率，并且经常绕过最先进的防御。我们希望 LongPIBench 能够作为一个实用基准，用于系统评估真实长上下文场景中的提示注入防御。
23:35 arXiv cs.AI 76
当前的大型语言模型（LLM）越来越受益于外部工具集成，尤其是在需要可靠计算和验证的任务中。受此启发，我们研究了在 Countdown 任务中通过调用计算器工具来提升数学推理能力。我们首先分析推理失败案例，发现计算错误占相当大一部分错误回答。随后，我们构建了监督微调数据集，用于教会模型有用的工具使用模式，以及如何解释返回的输出。在这一工具格式化策略的基础上，我们采用多种基于在策略的强化学习方法，包括 RLOO、RLOO++、GRPO 和 DAPO，并使用可自动验证的最终答案奖励。为了实现更可靠的评估，我们构建了一个全新的、包含 1,024 个问题的留出 Countdown 基准，与训练数据没有精确重叠。结果表明，计算器工具集成在 SFT 和 RL 基线之上都能持续提升性能，在 pass@k 上带来约 10 个百分点的提升。在这些 RL 方法中，Tool-DAPO 表现最强，将 pass@1 从 Tool-SFT 的 35.8% 提升到 66.0%。进一步分析表明，即使只提供最终答案奖励，RL 也会促使模型更有效地使用工具。这些发现说明，工具集成减少了算术和验证错误，而 RL 提高了生成正确推理轨迹的概率。
01:23 arXiv cs.AI 82
LLMs 越来越能够回答关于企业级文档集合的复杂问题。但评估很困难：公司不愿共享内部通信，而合成数据集又过于简单。我们提出 CorporateBench（CB），这是一个经过人工验证的多任务问答基准，其规模接近 LLMs 在企业通信网络中遇到的条件，评估语料超过 230,000 份文档。CB 通过四个合成生成的公司在两个维度（信息抽取和知识库查询）上评估 LLMs，这些公司规模从 12 名员工到 10,000 名员工不等。每个语料库都从一个随时间演化的知识库中采样，该知识库描述了一个一致的世界，即使跨越数十万份文档也能保证跨文档的逻辑一致性。我们在 CB 上评估了五个 LLM，结果显示，随着输入规模接近现实尺度，性能会越来越差。CB 为 LLM 开发者提供了一个用于企业通信推理的指标，填补了基准测试生态中的一个关键空白。
01:26 arXiv cs.AI 74
视频承载着物理世界的时间结构，但从中学习表征一直计算代价高昂：当前主流的自监督方法要么通过结构上的不对称性，结合指数移动平均目标编码器、停止梯度和容量受限的预测器来防止表征坍塌，要么通过在像素空间重建被遮蔽的内容来规避这一问题。我们提出 LeVJEPA，这是首个在 LeJEPA 的无坍塌目标下训练的视频编码器，同时摆脱了这两种做法。我们使用一个单一编码器，在一个视频片段的全局视图和局部视图上以不变性损失进行训练，并用 SIGReg 进行正则化，后者通过可证明的保证排除了坍塌。该架构简化为一个编码器和一个投影器，目标函数也只需一个超参数。该形式带来两个性质。首先，预训练成本由编码器所观察到的 token 数量决定；对 token 进行均匀随机丢弃会使这一数量变小，同时还能提升下游精度。在相同数据上、相同 epoch 数下，LeVJEPA 在 ViT-S/B/L 上以低 5.6 倍至 20.8 倍的预训练计算量达到或超过 V-JEPA 2，并且在总 FLOPs 相当时，其结果比最强的视频基线高出 7.6 个百分点，达到 ImageNet-1K，同时在以运动为中心的基准上保持竞争力。其次，由于分支之间不需要不对称性，编码器可以使用块因果注意力训练而不会带来可测的精度损失：时间顺序成为编码器自身的属性。与在同一批视频帧上训练、且计算量相当的 DINOv2 相比，LeVJEPA 在以外观为中心的评估上接近图像预训练编码器，同时以运动为中心的准确率几乎翻倍。这些结果表明，一旦去除其计算开销，视频就成为一种可行的、在若干方面甚至更优的通用视觉预训练载体。
01:30 arXiv cs.AI 73
大语言模型（LLMs）如何组织道德知识？模型可以广泛地检测到道德内容，但检测只是最低门槛。我们进一步询问，它们是否还会做得更多：将不同的道德基础彼此区分开来，并在几何上组织这些基础之间的关系。 我们在开权重语言模型上训练了六个相互独立的线性探针，每个探针对应道德基础理论（MFT）的一个类别（关怀/伤害、公平/欺骗、自由/压迫、忠诚/背叛、权威/颠覆、神圣/堕落），并考察由此得到的方向在表示空间中的相互关系。我们发现，这些方向既没有塌缩为单一的道德检测器，也没有彼此完全分离。相反，它们在共享一个正公共分量的同时，几乎跨越了最大数量的独立维度。这个共享分量是整合的特征；相对于采用相同方式构建的匹配非道德概念组，它具有道德特异性（平均两两余弦相似度为 0.26，而后者为 0.013）。 这种几何结构在不同架构和规模下都一致，并且在预训练早期就达到了整合状态，远早于探针准确率饱和。模型所发现的结构并不支持道德基础理论所预测的个体化/约束性区分（这是一个检验力不足的测试：只有 20 种候选划分），而是反映了语料统计特征。扩展到道德困境时，每个困境方向都部分由其组成基础维度构成，强于错配配对基线的 2.7 倍，而其大部分方差编码的是特定于冲突的结构。模型表征的是道德张力本身，而不是预先定下的判断。
01:58 arXiv cs.AI 75
为提升大型语言模型解决现实世界软件问题的能力，先前工作主要集中于构建大规模智能体轨迹数据集，并对成功轨迹进行监督微调（SFT）。然而，任务成功并不保证高质量监督：成功轨迹仍可能包含低效、冗余或有风险的步骤。直接使用此类轨迹进行 SFT 可能引入噪声监督，并促使模型模仿不良的问题解决行为。因此，我们提出 SWE-Prime，这是一种多粒度、两阶段的 SFT 数据选择方法，可在轨迹和片段层面逐步筛选训练数据。具体而言，第一阶段基于过程质量、结果质量和数据代表性进行轨迹级筛选，选择一个高质量且具有代表性的成功轨迹子集。第二阶段通过将连续步骤分组成语义片段，并根据每个片段对最终解决方案的贡献、可学习性以及潜在风险进行评估，来执行片段级选择。在 SFT 期间，所有片段都保留在序列中以保持上下文，而只有被选中的片段参与损失计算。在 SWE-Bench Pro 和 SWE-Bench Verified 上的实验表明，使用 SWE-Prime 选出的 10% 轨迹子集进行训练，优于使用完整已解决数据集进行训练，分别带来最高 12.2% 和 24.2% 的相对性能提升。
00:34 arXiv cs.AI 79
子群体性能差异是医学影像中公平性偏差的标准证据，而通常的应对方式是移除模型所编码的人口统计信息。这里我们提出 Fair-model Reference And Mechanism Evaluation（FRAME），这是一种用于审计此类主张的两步框架。第一步推导出 fair-model reference，即在观测到的子群体规模下、在严格公平条件下差异的分布。第二步，我们用两个在表征空间中作用的算子检验剩余部分。其中一个算子按构造不能改变组内排序。在 702,206 张图像和 36 个编码器上，reference 解释了已报告种族差异中位数 41% 和年龄差异中位数 22%。注入可解码的人口统计信息后，剩余部分保持不变；而将组信息与疾病方向纠缠后，种族差异从 0.077 增至 0.118。我们测试的任何干预，都没有比随机种子变化更显著地改变剩余部分。这些干预会降低操作点上的差异，并使组内排序差异的中位数保持在 0.000。将 FRAME 应用于 6 种医学影像模态中 9 篇已发表研究的 89 个差异时，reference 解释了速率差异中位数的 25% 以及受试者工作特征曲线下面积差异的 70%。相比之下，图像-文本预训练会将最差组性能提高约 0.05。在选择干预之前应用 FRAME，可以区分需要机制解释的差异与在当前队列规模下与抽样波动相容的差异。
01:25 arXiv cs.AI 75
选择低秩适配（LoRA）更新的秩通常是一个经验性任务。本文针对 Transformer attention 中每个 LoRA 秩所能达到的近似误差，给出了一个与任务相关的理论。我们固定一个预训练的 attention head、一个目标 attention 函数，以及来自下游任务的输入分布，并对由 rank-$r$ 的 query LoRA 更新所能达到的最小期望 Kullback--Leibler（KL）误差给出上界。当目标 attention 概率远离 0 时，我们证明了一个下界，其误差与 $ψ(\|d\|_2)$ 成正比，其中 $d$ 是候选 attention 分数与目标 attention 分数之差，且 $ψ(t)=\min\{t^2,t\}$。我们还证明了一个无条件上界 $\min\{\|d\|_2^2/4,\sqrt2\|d\|_2\}$。在显式可实现性、几何和矩条件下，我们进一步将最佳 rank-$r$ 误差界定在一个显式常数倍的 $ψ(\sqrt{T_r})$ 与 $\min\{T_r/4,\sqrt{2T_r}\}$ 之间，其中 $T_r$ 是目标更新的下游加权尾能量。我们还在候选分数保持在目标分数固定范围内时给出了 target-Fisher 界，并在一部分 token 承载了大部分概率质量时给出了一个无约束下界。这些谱界描述了有限分数近似。随后我们构造了显式族，在其中 softmax 饱和使得匹配 attention 函数所需的秩严格小于匹配有限 logits 所需的秩。最后，我们将分析扩展到 fused multi-head LoRA 和联合 query/key 更新，揭示了秩共享和 query/key 因子分解约束的影响。
01:47 arXiv cs.AI 77
深度神经网络常常利用训练数据中的虚假关联，这种失效被称为捷径学习。基于概念的可解释性方法通过测试诸如患者性别或扫描仪设置等概念能否从网络层中被解码出来，来筛查捷径。由于每个概念都是单独评估的，这些方法可能会把概念之间的相关性误判为模型使用它们的证据。我们提出 ICON decomposition，它不再单独考察各个概念，而是在考虑所有其他概念和结果之后，量化每个概念能够解释某一层方差的多少。在具有已知真实值的合成数据上，ICON 比七种替代基线方法更准确地恢复了概念重要性。在皮肤病灶和脑成像模型上，它能够分离出模型真正依赖的概念，量化任何给定概念都无法解释的表征部分，并产生稀疏解释；我们通过重新训练和分布外测试验证了这些解释。
01:53 arXiv cs.AI 75
我们提出了基于稀疏自编码器的机制可解释性在粒子物理中的首次应用。我们研究了一个在 IceCube 数据上预训练、并针对方向重建进行微调的中微子基础模型，使用严格的验证协议（包括留出测试、匹配的干扰控制，以及跨独立字典训练的复现）在模型表示中识别出一份经过验证的物理概念图谱。因果干预表明，方向头几乎没有利用这份图谱中的信息。受这些未被充分利用的信息启发，我们在同样的事件级表示上训练了一个不确定性头，用于预测模型的角重建误差。与方向头不同，它在因果上依赖于图谱中的质量和亮度特征。在 $20\%$ 的选择效率下，这一可解释估计器将中位角分辨率从 $20.2^\circ$ 提高到 $3.2^\circ$。这些结果表明，机制可解释性能够揭示模型内部表示中编码的已学习潜在物理，并帮助设计利用这些信息的下游任务。
20:10 arXiv cs.AI 73
获取医学图像分割所需的像素级标注是一个严重瓶颈。传统 U-Net 架构虽然有效，但主要学习局部纹理模式，缺乏对全局解剖结构的感知，因而在低数据条件下容易出现边界勾勒失败。本文提出利用无监督 Denoising Diffusion Probabilistic Models (DDPMs) 提取解剖特征。我们在 21 例未标注的腹部 CT 扫描上训练了一个 DDPM，以学习结构表征，并将编码器权重迁移到下游分割任务中，在 BTCV 多器官数据集上进行评估。扩散预训练显著提升了肝脏分割性能：Dice 从 $0.75\pm0.36$ 提升到 $0.93\pm0.16$（$p < 5.33\times10^{-26}$，0.529 Cohen's d），Average Surface Distance (ASD) 降低了 66%，95th-percentile Hausdorff Distance (HD95) 降低了 45%。对于肾脏分割，Dice 从 $0.90\pm0.19$ 提升到 $0.95\pm0.10$（$p < 4.01\times10^{-11}$）。多器官汇总性能显示方差降低了 68%，边界精度提高了 74%（Dice $0.95\pm0.07$）。关键的是，冻结编码器模型在未接触分割标签的情况下仍保留了超过 80% 的微调性能，证明了所学习到的解剖先验的存在。在低数据场景下，仅使用 50%（Dice：肝脏 0.92、肾脏 0.94）、25%，甚至 10%（Dice：肝脏 0.89、肾脏 0.71）的标注数据时，扩散预训练模型仍保持了稳健性能。利用未标注图像进行基于扩散的预训练，能够在人工监督之前成功嵌入稳健的解剖特征，将 U-Nets 转变为具备解剖感知能力的系统。
20:50 arXiv cs.AI 72
脉冲神经网络（SNNs）正越来越多地以预训练 checkpoint 的形式分发，并被复用于新的任务。然而，当前的 SNN 水印主要是针对模型输出进行验证。因此，用户只需替换输出头，就可以保留原始网络的大部分，同时移除用于验证的证据。我们提出 MeMark，这是一种面向 checkpoint 复用场景的水印。MeMark 不将水印存储在输出头中，而是将一个多比特标识嵌入到所选 Leaky Integrate-and-Fire（LIF）神经元的内部膜电位状态中。一个秘密输入会驱动每个被选中的神经元到其自身发放阈值的指定一侧，随后使用同一阈值来恢复秘密比特，因此验证者不需要学习型解码器。我们在循环、卷积、残差和 transformer SNN 上评估了 MeMark。在一个 215.4M 参数的 SpikeGPT checkpoint 上，20 个相互独立的 64 比特密钥全部通过了固定的 51/64 验证规则；而当在全部 20 个受保护 checkpoint 以及干净模型上测试时，$30\,000$ 个新生成的随机密钥没有一个通过。经过微调、90% 剪枝、int8 量化以及输出头替换后，这 20 个真实密钥也都仍然高于阈值。在我们所述的威胁模型下，自适应攻击可以削弱水印，但并不能在我们测试的场景中移除所有权证据。此外，我们还研究了虚假所有权声明、感知密钥与无感知密钥的移除、部分密钥泄露、回滚，以及向学生模型中的提取。结果表明，MeMark 能够为 checkpoint 的衍生关系提供证据，同时对对手的攻击和完整的输出头替换具有鲁棒性。
21:12 arXiv cs.AI 73
土耳其语编码器模型已经采用了现代架构，但预训练目标仍固定为掩码语言建模。本文介绍 MoganBert-TR，一个参数量为 149M 的土耳其语编码器基础模型，它在经过语言特定过滤的语料库上从零开始训练，同时还衍生出一个嵌入模型（MoganBert-Embed）。 MoganBert-TR 在 237.3B 个 token 上采用两阶段 CLM-to-MLM 课程进行训练：先进行因果语言建模，剩余阶段再进行掩码语言建模，并且在 WSD 调度的稳定阶段内完成切换。在相同步数预算下的受控消融实验中，这一设计在土耳其语 MS MARCO 检索任务上比纯 MLM 高出 2.7-3.7 倍；测得的机制体现在嵌入几何结构上，即在纯 MLM 下，单一方向吸收了 28.1% 的方差，而在该课程下仅为 11.9%。随后，将长上下文扩展和学习率衰减在共享前缀之后拆分为两个分支：在 1024 上下文下运行衰减的最后一部分，使 TrGLUE 平均分在五组配对随机种子下提升 0.49 +/- 0.26 分（p = 0.013），并以约 4.3% 的额外成本，比一种 model-soup 方案高出 0.75 分。 MoganBert-TR 在 TrGLUE 上取得 78.41 分，在所比较的土耳其语 ModernBERT 模型中最佳；在 TabiBench 上取得 77.73 分，在八个类别中有两个类别领先，并且在代码检索上优势最大（比 TabiBERT 高 3.62 分）。MoganBert-Embed 通过教师蒸馏和多信号对比微调生成，在 MTEB(Turkish) 总体平均分上位列学生模型第一，达到 68.30 分，并且在主干网络小 51 倍的情况下，实现了其 7.57B 参数教师模型得分的 99.5%。配套的 50,048-token 分词器在两个独立测试集上的压缩率和词元繁衍率方面均优于所有对比的土耳其语分词器。权重、分词器、嵌入模型和评测代码：https://huggingface.co/moganai
22:06 arXiv cs.AI 76
近期一系列合成数据工作重建的是既有文本背后的思考过程，而不是对文本本身进行改写，但它们只处理较短的网页片段，只恢复局部思路，且没有触及整篇文档的结构。科学论文具有清晰且大体统一的结构，因此很自然地适合作为将这一范式提升到文档层面的基础。我们提出一个流水线，将每篇论文展开为一条多轮生成轨迹，其中一个 teacher model 重建整篇论文的写作过程：写作请求、全局计划，以及各节写作前的思考。所有章节正文和摘要都逐字保留自原始论文。我们将该流水线应用于经过质量过滤的 arXiv 论文，得到一个用于 continued pre-training (CPT) 的语料库，其规模大约是源文本的两倍。同样的反向构造也可扩展到 instruction data 和 evaluation。将真实论文文本视为答案可得到一个 SFT 数据集。以留出论文为锚点构建任务可得到 PAW-Bench，一个学术写作基准，其任务自带评分标准和检查清单。在受控实验中，先在我们的语料库上进行 CPT，再在公开数据集上进行 supervised fine-tuning，可在广泛提升写作基准的同时保持通用推理能力并改善长文档阅读。即使每个模型都在一个专门的写作 SFT 数据集上进行微调，这种写作收益仍然存在。将我们的 SFT 数据混入该流程还能进一步提升学术写作。
22:14 arXiv cs.AI 73
AI weather prediction (AIWP) 模型可与基于物理的模型相媲美，但其出人意料的预报准确性来源以及其物理真实性的程度仍不清楚。这里，我们跨越一个从基于观测的再分析、大气环流模型到多尺度 Lorenz 系统的层级，表明 AI 模型可以被训练得很擅长预测过去（backcast），尽管 backcast 的准确性系统性低于 forecast。然而，熟练的 backcasting 似乎违反了热力学第二定律，而这些 forecast 和 backcast 模型都缺失了蝴蝶效应。我们将这种令人惊讶的预报准确性、缺失的蝴蝶效应以及熟练的 backcasting 追溯到一个单一原因：训练数据不可避免的粗粒化，它移除了快速、小尺度和/或某些变量。从 Lorenz 系统到官方的 Pangu-Weather 模型，减少粗粒化会使 AI 预测更接近物理规律（时间箭头和类蝴蝶效应显现），但预报准确性会下降。结果为 AIWP 模型的预报技巧提供了解释：与基于物理的模型不同，它们隐式学习了快速、小尺度如何影响大尺度，而不会继承其快速误差增长。更广泛的启示是，AI 模型的普及要求重新审视可预测性理论和长期气候模拟策略，而 backcasting 为此类分析提供了一个有用的新视角。
23:05 arXiv cs.AI 77
大型语言模型（LLMs）通常在这样一种假设下进行评估：其可观察行为主要由模型权重、训练数据、对齐流程以及用户提示词所决定。这个观点并不完整。现代推理流水线可能会在模型生成 token 之前、紧接着对其产生的概率分布进行系统性修改，从而在冻结权重与可观察文本之间创建一层额外的控制层。 尽管受控生成（例如 PPLM、GeDi、DExperts、FUDGE）和文本水印系统（例如 SynthID-Text）展示了在解码层和 logit 层进行干预的技术成熟度，未披露推理策略所带来的治理、安全与经济影响却相对缺乏研究。本文考察推理时框架偏置的出现：即在模型推理之后但在 token 采样之前施加干预，从而系统性地将生成语言引导向政治、意识形态、制度或商业框架。 我们将 Model != Deployed System 这一运行现实形式化，并提出三个概念：（1）推理归因问题，用于刻画在有限可观测条件下，为何观察到的行为偏置通常不能仅仅归因于模型权重；（2）概率投放，定义一种假设性的广告原语，其中商业影响不是通过显式插入产品，而是通过系统性改变生成概率来实现；以及（3）推理策略透明性，一项用于使部署层干预可审计的治理原则。我们将这些概念与欧盟 AI Act 第 5 条、欧盟 Digital Services Act 以及 FTC 的相关原则联系起来加以审视。
23:38 arXiv cs.AI 79
通过自监督学习预训练的 EEG 基础模型有望获得可迁移表征，但其泛化能力仍然有限，尤其是在不同临床数据集之间。由于计算需求高，在资源受限的临床环境中进行全量微调并不现实。在这项工作中，我们研究参数高效的自监督适配是否足够，即仅更新 9% 的参数能否将表征对齐到目标任务。我们在两个采用不同预训练目标的最先进模型上评估了该方法：BIOT（对比学习）和 CBraMod（掩码重建），并在三个临床 EEG 数据集上进行评估，任务分别为异常检测（TUAB）、事件分类（TUEV）和癫痫发作检测（CHB-MIT），同时考察分布内和分布外两种条件。SSL 适配相较于线性探测带来了稳定提升，AUCPR 最高可达 20 倍。在固定计算预算下，实现峰值性能只需要可用无标注数据的 20--50%。关键的是，当总窗口数固定时，性能与患者数量无关，这表明性能仅依赖于整体时间窗口多样性。我们的研究结果表明，参数高效适配能够以最小的计算开销和数据采集负担，有效部署 EEG Foundation models（EEG-FM）。代码地址：https://github.com/c3n-group/efficient-eeg-adapt
01:34 arXiv cs.AI 83
我们提出 LAION-BVD，这是一个用于多模态学习的大规模开放视频数据集，包含从 CommonCrawl 收集的 13 亿个特定平台视频 URL。基于这些 URL，我们下载了 8000 万个视频，总时长达 1000 万小时。该数据集旨在支持跨视频、音频和图像模态的多模态预训练。我们利用内容感知的场景检测提取片段，并为这些片段合成生成视频和音频描述。基于这些数据训练的模型在标准视频-文本和音频-文本基准上取得了具有竞争力的性能，并且随着训练规模或模型规模的增加，性能持续提升。此外，我们还探索将视频帧作为图像-文本数据的替代来源，通过提取场景变化帧来实现。与标准网页图像语料库相比，这些帧呈现出不同的视觉分布，而在该数据集上训练的模型在图像-文本检索任务上取得了很强的性能。我们向研究社区发布 LAION-BVD。它以前所未有的规模显著扩展了对多模态视频的开放访问。
23:41 arXiv cs.AI 72
从观测数据推断因果关系的实践者通常依赖单一方法，并将其输出视为因果真相。近期工具会为数据集选择一种最优方法，近期的集成方法会将多个因果发现算法聚合为一张图，但很少有工作会跨不同数学传统汇集证据，包括非因果方法。我们提出多方法因果证据综合（MCES），这是一个框架，用于对观测系统中哪些候选驱动因素最可能与一组结果相关以及证据强度如何进行排序。MCES 在观测面板数据上运行横跨八种数学传统的十一种方法，并将其输出汇集为收敛证据得分（CES），即一种线性意见池。CES 量化了不同分析视角下证据的收敛程度：具有不同假设的方法在多大程度上指向同一驱动因素—结果关系。它并不声称在干预主义意义上实现因果识别；它支持的是假设优先级排序，而不是可迁移的因果概率。MCES 首先应用结构—行为分解来移除定义性（代数）关系，然后运行所有方法，将输出归一化到 [0,1]，并进行汇集。我们将 MCES 与方法选择、结构集成、预测集成和文献综合区分开来。使用嵌入真实值的合成数据、Sachs 蛋白信号传导基准、六个 Bayesian-network 结构基准以及另外两个合成领域，我们表明 MCES 会将真实边排在靠前位置（主要场景中 Precision@5 = 1.0，Precision@10 = 0.96），且空关系对达到中等或更高收敛程度的经验比例较低。我们的核心观点并不是该汇集方法胜过每一种单独方法，而是没有任何单一方法在所评估的所有场景中都始终最佳，因此 MCES 提供了一种与方法无关的默认选择。
01:14 arXiv cs.AI 75
大型语言模型在推理时不检索源文档的情况下，往往无法回答有关有界文档集合的问题。我们将这一场景研究为文档知识内化：将固定语料库转化为可用于无检索问答的参数化知识。我们提出 IAR（Inject, Align, and Recover），这是一个三阶段后训练框架，将结构化文档知识注入、QA 行为对齐和通用能力恢复分离开来。不同于传统的持续预训练，Inject 将源文档转化为续写、改写和以指令为条件的重构目标。随后，Align 使用仅答案 QA 监督来适配已注入的模型，而 Recover 将领域适配模型与基础指令模型合并，以恢复通用能力。在 Common Corpus (CC) 和 CCI 上，以及在 Llama、Phi、Qwen 和 SmolLM 模型家族中，IAR 改善了无检索文档内化的领域优先与领域通用前沿。在主要比较中，IAR 在 8 个数据集-模型设置中的 7 个上，在全部四项报告指标上均优于 Vanilla SFT，领域 QA 准确率平均提升 3.6 个百分点，在 IFEval、MMLU 和 MSBench 上的平均通用性能提升 12.1 个百分点。扩展的 CC 基线显示，LoRA 和 FAPM 可以在单个通用指标上取胜，但在同时达到领先或接近领先的领域内化水平的方法中，IAR 保持着最强的通用表现之一。
01:53 arXiv cs.AI 72
中期训练日益被认为是塑造大型语言模型能力的关键阶段。近期研究表明，有针对性的中期训练可以增强数学和科学等推理密集型能力，也可以提升软件工程场景中的智能体式能力。在这项工作中，我们研究了一种与之并行但探索较少的智能体式能力：通用工具使用。我们提出 MidTool，这是一个面向智能体式工具使用中期训练的开放语料构建流水线，将大规模网页、PDF 和代码数据与来自真实世界工具 API、MCP 技能以及基于文档的工作流的合成监督相结合。MidTool 旨在教会模型如何识别工具可供性、从上下文中定位参数、组合工具调用工作流，并从信息不完整的情况下恢复。我们在 MidTool-Mix 上对 Qwen3-4B-Base 和 Qwen3-8B-Base 进行中期训练，然后应用后续后训练，包括监督微调和强化学习。与基线相比，MidTool-Mix 在 BFCL、tau2-Bench 和 MCP Universe 上，在 SFT 和 RL 两种设置下都能持续提升下游性能。这些结果表明，通用工具使用与其他重要的 LLM 能力一样，受益于专门的中期训练，而不是完全留给后训练。
01:55 arXiv cs.AI 73
我们介绍了 Accelerating Dexterity via Pre-Training（ADEPT），这是一个大规模强化学习（RL）框架，用于在高自由度（DoF）机器人形态上学习可从模拟迁移到现实的灵巧性，能够直接基于原始视觉-触觉感知解决长时程任务。ADEPT 先在一个通用的物体重定位任务上预训练灵巧策略，然后以后训练方式将该预训练行为作为先验来训练下游策略。ADEPT 使多指机器人能够学习从零开始难以发现的新行为，并避免在每个新的下游任务中反复学习同一套技能。预训练策略能够以零样本方式完成下游任务中的重定位阶段，但朴素的 RL 微调会在迁移过程中迅速削弱这种能力。为解决这一问题，我们提出了一套稳定的后训练方案，结合行为克隆蒸馏、评论器预热和保守的在策略更新。为了安全地利用完整的运动学灵巧性，我们引入了一种关节空间 Geometric Fabric，用于在 RL 策略与机器人之间进行调解。我们将后训练后的教师蒸馏为具备感知能力的学生，这些学生能够在两种机器人形态上实现从模拟到现实的零样本迁移：配备两个 RGB 相机的 23 DoF Kuka-Allegro，以及配备两个 RGB 相机和五个基于视觉的触觉传感器的 29 DoF Flexiv-Sharpa，并且能够以接近人类水平的速度，凭借灵巧性从具有挑战性的初始状态解决长时程任务。
01:58 arXiv cs.AI 76
持续的自我改进需要一个不断扩展的、由自身生成的、多样且自适应的目标池。对于语言智能体而言，现有的训练环境池（人工策划、静态合成或冻结验证器）会在学习者规模扩展时保持目标分布固定。我们提出 SPADE（Self-Play in Adaptive Synthetic Executable Environments），这是一个自博弈 RL 框架，其中单个 LLM 扮演两个角色：Environment Designer，负责将完整的长时程训练环境编写为带有 OpenAI Gym 风格 reset()/step() 接口的可执行代码；以及 Reasoning Agent，负责学习在这些环境中行动。每个环境都是有状态的多轮环境（包含状态转移、奖励函数和验证代码），因此一个接口即可涵盖推理问题和多步骤智能体式工具使用。Reasoning Agent 的遗憾值通过其在有无特权提示情况下的奖励差距来估计；在优化这一遗憾信号的过程中，Environment Designer 学会将环境定位在智能体能力边缘，同时保持其可行性。通过大量实验，我们发现若干组件对成功至关重要：基于从大型预训练语料库中采样的文档来为 Environment Designer 提供依据，并赋予其累积的环境记忆。扩展到 30B 参数模型时，SPADE 在八个保留的数学、科学、代码和推理基准上平均比最强固定环境基线提高 +5.3；在工具使用设置中，在 BFCL-v4 多轮上提升 +5.7，在 ACEBench-Agent 上提升 +13.9；在游戏设置中，相比最强基线的优势会随模型规模增长而扩大。通过使环境设计本身成为一个可学习组件，SPADE 朝着开放式自我改进迈出了具体一步。
23:57 arXiv cs.AI 75
AI 研究的许多领域，如语言模型可解释性和思维链忠实性，都试图解释模型行为。但什么才构成一个“好”的解释？在这项工作中，我们从反事实可模拟性的视角评估解释，即解释是否有助于预测模型在相关反事实输入上的行为。为此，我们提出了 CHIVE（Counterfactual Hypothesis Investigation Via Edits），这是一种新颖的智能体式流程，可在真实环境中识别意外的模型行为，并通过反事实提示编辑对其进行研究。这产生了数千个针对自然发生的模型行为的高质量解释，以及支持性的反事实证据。我们以两种方式应用 CHIVE。首先，我们评估常见的 LLM 可解释性技术是否能提升智能体预测反事实模型行为的能力。令人意外的是，我们发现所研究的任何可解释性技术都没有带来提升。其次，我们使用 CHIVE 生成训练数据。我们发现，训练模型预测 CHIVE 生成的反事实实验结果，可以泛化到各种分布外设置。总体而言，CHIVE 能自动发现自然发生的 LLM 行为解释，使我们能够评估并改进解释 LLM 行为的方法。
00:47 arXiv cs.AI 72
模型反演攻击（MIAs）旨在从人脸识别模型中重建目标身份的代表性训练样本，从而暴露关键的安全漏洞。现有方法通常依赖间接引导或高度随机的引导，使得难以将生成轨迹稳定地优化至目标人脸图像。在本文中，我们提出了 Steering Flow Model Inversion（SFMI），这是一种新颖的两阶段白盒模型反演方法，将反演重新表述为轨迹引导任务。具体而言，步骤 I，学习通用 Flow Matching 先验，预训练一个通用的无条件 Flow Matching 模型，以将人脸流形编码为稳健先验。步骤 II，使用 Progressive Guidance Scheduler（PGS）进行攻击，在采样过程中注入随时间变化的目标特定梯度。通过在目标模型中反向传播以从中间生成状态获得梯度，PGS 将自适应引导信号逐步注入向量场。该过程有效地将当前生成流从随机噪声引导至目标类别的高密度区域。在使用 CelebA 数据集的身份不相交交叉评估设置下，SFMI 在 ArcFace 目标上实现了 0.9248 的 ACC、22.61 的 FID 和 0.3874 的 LPIPS。在多个目标模型上的大量实验表明，在所评估的白盒协议下，SFMI 在攻击成功率和视觉保真度方面实现了具有竞争力的最先进性能。
19:15 arXiv cs.AI 72
视觉-语言-动作（VLA）模型提升了机器人操作能力，但仍然容易受到累积误差、场景变化和偏离轨迹状态的影响。强化学习可以优化预训练的 VLA 策略，但稀疏的成功信号会阻碍探索，而人工设计的稠密奖励成本高且具有任务特异性。现有的学习式视觉奖励模型通常依赖静态的前后观察，导致时间歧义，并且在分布外（OOD）执行时，难以区分保持鲁棒性的变化与任务无效的失败。我们提出 Robo-Dopamine 2.0，这是一种具备历史感知和 OOD 感知能力的过程奖励模型，采用成对预测接口。它结合了：（1）历史条件化的成对奖励，在合成 OOD 查询中使用与来源对齐的参考面板，在在线查询中使用观测到的 rollout 历史，同时保留被查询的端点；以及（2）OOD 感知的有符号进展空间，用于表示有效进展、鲁棒性、失败和恢复。带有转换感知回放的 Signed-Hop Curriculum 先学习粗粒度的执行顺序，再进行细粒度的进展校准。我们还构建了一个 OOD 轨迹数据集和一个包含五类任务的基准。参考面板将平均视觉顺序一致性（VOC）从 0.967 提升到 0.986，并将 OOD 鲁棒 VOC 从 0.906 提升到 0.958。在相同的 400K 成对奖励预算下，带有 25% 回放的 Signed-Hop 训练达到 0.9872 的平均 VOC，而匹配样本池的随机打乱对照为 0.9858。在下游强化学习中，完整模型达到 86.8% 的平均 RoboTwin 成功率，并在真实世界插入任务中实现 71/80 次成功。
23:25 arXiv cs.AI 72
混合专家（Mixture-of-Experts，MoE）模型已被广泛应用于代码助手、实时音视频交互系统等实时交互式应用。为满足这些场景对极低响应延迟的要求，实践者通常采用小批量解码；在这种情况下，MoE 推理会受内存限制，并严重受限于专家权重加载。然而，这一瓶颈受到的关注有限，现有解决方案，如训练后权重压缩或预训练期间的细粒度专家设计，要么会降低模型准确率，要么会引入额外的计算和通信开销。为解决这一问题，我们提出 DeaMoE，一种解码高效的 MoE 架构。在该架构中，专家被分组到若干部门，同一部门的专家由于来自同一专业领域而共享大部分参数，同时每个专家还包含少量私有参数以体现其独特性。此外，我们为 DeaMoE 设计了定制的两阶段路由策略，以避免冗余加载；在该策略下，DeaMoE 显著提升了 LLM 解码过程中的效率。与原始 MoE 相比，DeaMoE 将每步加载的权重最多减少 50.9%，并在 A40 上针对预训练的 7B 模型实现了最高 1.33 倍的端到端 TPOT 加速；在微基准测试中，针对 DeepSeek-V3，在 A40 和 H100 上分别实现了最高 2.00 倍和 1.97 倍的峰值加速。
01:12 arXiv cs.AI 75
随着基于语言模型的 AI 越来越多地被部署在自主场景中，使其目标和价值观与人类保持一致变得至关重要。如今，对齐以及助手身份本身通常只在预训练之后才被引入，此时行为先验已经建立。这可能使价值观成为一层薄薄的覆盖，而不是深深扎根，并促进后续的错位。为探索一种不同的范式，我们引入 Synthetic Persona Pretraining（SPP），它在预训练中从零号 token 开始安装期望的助手 persona。首先，我们用源自规范性价值宪章的、价值对齐的第一人称反思来标注预训练文档。其次，我们通过标准交叉熵损失，在标准预训练文档及其反思上进行预训练，从而在众多其他 persona 之中安装期望的 persona。最后，我们在用户-助手对话数据上进行后训练，将这个期望的 persona 绑定到助手身份上，这一过程我们称为 persona binding。通过在 500B token 上预训练最高达 3B 参数的模型，我们表明，SPP 提高了对宪章的遵循能力和对越狱的鲁棒性，并降低了分布外道德困境中的错位率，同时保留了能力。早期干预很重要：与从零号 token 开始对齐相比，仅在预训练末尾引入 SPP 会导致较弱的宪章遵循，不会改变价值优先级，并在困境中导致较少对齐的选择。这一优势依赖于 persona binding，并且重要的是，会随着预训练预算的增加而增强。总体而言，我们的结果表明，早期塑造价值观对于对齐至关重要，并确立了预训练阶段的 persona 干预是一种实现这一目标的有效方法。
15:00 OpenAI Blog 62
我们使用一个可扩展、任务无关的系统，在一系列多样化的语言任务上取得了最先进的结果，同时我们也将发布该系统。我们的方法结合了两个现有理念：transformers 和无监督预训练。这些结果有力地证明，将监督学习方法与无监督预训练相结合效果非常好；这是许多人过去探索过的一个理念，我们希望我们的结果能推动进一步研究，将这一理念应用于更大、更多样化的数据集。