01:36 arXiv cs.AI 73
LLM 集成增益通常以单一基线为参照进行衡量，但归因于额外候选的价值可能随所用比较基准而变化。我们在四种匹配条件下研究 LLM 聚合器：直接生成（无候选）、单槽位（多槽位接口中仅有一个候选）、重复候选（同一候选重复出现）和多候选（分别生成的候选）。在任一非多样性对照下，总体候选增益（CIV）都可通过代数运算分解为额外候选对比效应（DSV）和候选上下文对比效应（CCV）；这种分解取决于所选对照，但 CIV 不受影响。在 MultiHopRAG 的模型多样性实验（k=2）中，重复差距 Rep=-8.33 个百分点 [-13.25, -3.75] 量化了分别以重复候选和单槽位为参照所测得增益之间的差异。在 FRAMES 上采用更强模型组的匹配扩展实验（n=200，k=3，聚合器输出上限为 4096）中，配对差值 Delta Rep=+9.67 个百分点 [+6.00, +13.50]；在各模型组内，Rep 的符号发生反转（原始模型组为 -6.33；更强模型组为 +3.33）。在 FRAMES 证据聚合中，两种非多样性对照下的候选上下文对比效应均保持显著负值。我们的结果说明，在将增益归因于额外候选之前，集成评估应先明确所用的参照对照。
00:13 arXiv cs.AI 76
基于患者自述症状的自动疾病分类，需要在轻量级判别模型的速度与自回归大语言模型（LLM）的上下文理解能力及延迟成本之间取得平衡。决策基础模型提供了另一种选择：无需生成自由文本，而是将表示直接映射到候选类别。我们将基于 Qwen3.5 骨干网络构建的 90 亿参数决策模型 Clef-Flash，针对 Symptom2Disease 基准中的 24 类疾病分类任务进行适配。采用结合差分学习率的 4 位量化低秩适配（QLoRA），并将数据分层划分为 960 个训练样本和 240 个测试样本后，该模型取得了 95.42% 的诊断准确率和 0.9551 的宏平均 F1 分数。这一结果优于已报告的零样本基线：远程 API 为 61.67%，本地未适配初始化模型为 65.00%；同时也超过了 ClinicalBERT 基线（90.90%）。通过单次前向传播评估候选类别的 logits，无需进行自回归解码，模型在单块 GPU 上对每条记录的推理耗时低于 80 毫秒，据报告，相较生成式 LLM 基线实现了 31 倍加速。为考察症状层面的证据，我们提出了留一症状法（Leave-One-Symptom-Out，LOSO）反事实扰动框架。在一个银屑病示例中，移除定义疾病的症状描述后，预测类别的置信度从 100.00% 降至 0.12%，并将预测结果转为脓疱病，置信度为 99.59%；而移除次要的全身性症状时，置信度变化小于 0.01%。这些发现表明，基于决策的架构能够将大型基础模型的语言能力与低延迟推理及症状层面的可解释性相结合，从而服务于临床分诊。
23:17 AWS Machine Learning Blog 77
AWS 工程师分享了在 Amazon SageMaker AI 上针对融合式专家混合（MoE）模型的内核优化方案：通过 Swap-AB 提升 WGMMA 利用率，利用 Triton 后端路由实现 FP8 量化，并消除 Triton JIT 重新编译。综合应用这些优化后，在 H200 GPU 上吞吐量最高提升 10%，首个令牌时间最高缩短 9%。
23:51 AWS Machine Learning Blog 74
了解如何使用 llama.cpp 在 Amazon SageMaker AI 上部署决策模型。本技术教程将通过用于 llama.cpp 的 AWS Deep Learning Container 提供兼容 OpenAI 的聊天补全服务，然后使用 SemIf 扩展运行时，以便在 CPU 或 GPU 上返回针对已声明选项的概率。
12:00 arXiv cs.LG 77
arXiv:2605.11307v2 公告类型：replace-cross 摘要：我们研究视觉语言模型（VLM）能否通过编写可执行代码来生成图像，从而重建结构化的图形类图像。现有图像到代码生成基准通常覆盖的领域有限，依赖参考源代码进行评估，且未提供可量化领域特定问题的指标。为此，我们提出 Vision2Code，这是一个无需参考代码的多领域基准，包含来自 15 个不同数据集的 539 个测试样例，涵盖图表与绘图、几何图形、图结构、科学示意图、文档和三维空间场景。评估时，我们执行生成的程序，并让 VLM 评判模型依据针对各数据集和领域制定的评分准则，将程序的渲染输出与源图像进行比较。我们发现，以这种方式获得的最终分数与人类评分的相关性，显著高于使用通用 VLM 评分准则，或标准的基于像素、基于嵌入及感知相似性指标所获得的分数。我们进一步证明，在对 VLM 评判模型进行重复采样、调整评分准则权重以及引入受控错误的情况下，我们的评估仍然可靠。结果表明，现有图像到代码生成模型在不同领域的表现存在差异，其中在图表和图结构上的准确率显著高于其他领域。最后，我们展示了该评分方法在通过拒绝采样筛选生成程序以用于微调方面的实用价值：与各自的基础模型检查点相比，Qwen3.5-9B 的表现提升了 16%，Phi-4-MM 提升了 28%。我们的代码和数据已公开发布于 https://image2code.github.io/vision2code/。
12:00 arXiv cs.LG 77
arXiv:2610.05745v2 公告类型：替换 摘要：已有研究表明，训练后量化能够在标准评估条件下保持 VLA 的性能，但其能否保留全精度模型的鲁棒性和泛化能力，仍缺乏充分探索。本研究系统考察了训练后量化的 VLA 策略在环境扰动下的鲁棒性和泛化能力。实证结果表明，量化策略尽管保持了相近的分布内性能，却可能对细微的环境变化变得脆弱。我们进一步观察到，动作差异集中在策略执行轨迹中的一小部分状态上，而教师指导的效果随差异程度而呈现相反趋势：它能提升高差异状态下的泛化能力，却可能削弱低差异状态下的泛化能力。这些发现揭示，有效的量化后恢复需要对脆弱状态进行选择性干预，而不是对学生模型进行全局蒸馏。因此，我们提出 Policy-Induced Vulnerability-Oriented Tuning（PIVOT-Q），这是一个具有脆弱性感知能力的同策略蒸馏（OPD）框架，以冻结的全精度策略作为教师，选择性地纠正量化学生模型在执行轨迹中遇到的脆弱状态。PIVOT-Q 利用短时域内的折扣累积差异识别脆弱状态，实施阶段均衡的稀疏监督，并使用 Behavioral Anchor 防止不必要的改变。在 LIBERO-Plus 的七种环境变化下开展的实验表明，该方法在多种 VLA 骨干模型和量化方法上均能实现稳定的性能恢复。值得注意的是，PIVOT-Q 在所有设置下都持续优于全状态蒸馏，而所用的状态级蒸馏预算仅为后者的 7.4%。我们的代码已发布于 https://github.com/ruanruan-andy/PIVOT-Q。
12:00 arXiv cs.LG 74
arXiv:2609.31306v3 公告类型：替换 摘要：TabPFN、Mitra 或 ConTextTab 等表格上下文学习器依赖于在潜在嵌入的二维序列上交替进行行注意力和列注意力计算。这些注意力模式与语言模型中的一维情形显著不同：行注意力涉及较长的序列，而列注意力处理的序列短得多，且表格数据的跨步内存布局使得生成连续张量的成本很高。此外，当前模型使用的隐藏维度相较于近期的语言模型较小。然而，高效注意力的研究主要集中于一维序列，二维表格场景尚未得到探索。为此，我们构建了一套可复现的基准测试环境，并在多个后端上研究表格注意力的独有特征——包括 Torch SDPA（efficient 和 cuDNN）、FlashAttention-2/3/4，以及仅用于推理的后端 vLLM 和 SageAttention——在三代 GPU（A100、H100、B200）上，针对符合实际的表格张量形状测量前向和反向计算的吞吐量。我们发现，列注意力与行注意力的最优后端选择不同，并且会随硬件和模型具体配置而变化：尽管针对各代 GPU 定制的 FlashAttention 实现总体表现最佳，但在序列较长的列注意力场景中，CuDNN 有时表现更优，性能交叉点取决于注意力头维度。在仅用于推理的后端中，SageAttention 在行注意力以及超过 16,000 行的大规模序列上表现良好。我们可复现的基准测试为未来改进表格原生注意力机制奠定了基础。自包含的基准测试与评估代码已公开发布于：https://github.com/SAP-samples/tabular-attention-benchmark
12:00 arXiv cs.LG 75
arXiv:2605.22593v2 公告类型：替换 摘要：尽管深度集成被广泛视为深度学习中不确定性量化的默认方法，但人们往往仅凭其在计算机视觉等领域的成功，就假定它对图结构数据同样有效。我们专门研究了标准深度集成在消息传递图神经网络中的表现。通过在涵盖不同任务和复杂度的八个数据集上进行基准测试，我们发现，集成相较于单个模型仅带来微小改进。这些微小收益主要源于对点预测中的优化噪声进行平均，而非不确定性估计得到实质性改善。通过对偶然不确定性和认知不确定性进行分解，我们发现了认知不确定性坍缩现象：独立训练的网络总是收敛到过于相似的预测结果。由于预测分歧是集成捕捉认知不确定性的根本机制，这种多样性的缺失抵消了其关键优势。为解释这一现象，我们推导了一个由图拓扑和 Dirichlet 能量预算决定的认知方差界，将认知不确定性坍缩与消息传递的平滑偏置联系起来。我们的结果表明，深度集成的成功并不能直接迁移到图机器学习中。
12:00 arXiv cs.LG 73
arXiv:2605.20619v2 公告类型：替换 摘要：标量化因其简单性和可扩展性而被广泛用于多目标优化。在许多应用中，目标是生成能够代表多样化用户偏好的解，理想情况下均匀覆盖 Pareto 前沿（PF）。然而，均匀采样标量化权重通常会导致对 PF 的非均匀覆盖。我们通过标量化路径的几何性质解释这一不匹配现象。随着权重变化，相应的解以通常并不均匀的速度遍历 PF。对该速度积分可得到累积弧长。用总长度归一化后，它便定义了权重上的累积分布函数（CDF），其反函数可选取弧长间隔相等的点。基于这一洞见，我们提出 SURF（沿 Pareto 前沿均匀采样）。对于包括双目标多臂老虎机在内的结构化问题，我们推导了该 CDF 映射及由此得到的 PF 感知权重采样规则的解析表达式。对于一般问题，SURF 交替执行 CDF 重建与权重采样。在理论上，我们证明，在双目标 LS 的可证明条件下，SURF 的 CDF 重建误差线性收敛至 $O(N^{-2})$ 的离散化误差下限。在实证方面，多臂老虎机、multi-objective-gymnasium 和多目标 LLM 对齐上的实验表明，SURF 能够高效地实现比基线方法更均匀的 PF 覆盖。
12:00 arXiv cs.LG 76
arXiv:2605.01928v4 公告类型：替换 摘要：硬阈值、量化和离散路由可能导致训练损失出现平坦区域和跳跃，使普通梯度消失或无定义。我们提出 PolyStep，这是一种仅需前向计算的优化器，通过评估旋转多胞体探测点，并沿探测方向的加权平均方向移动参数块。我们从单侧熵正则化传输中推导权重，并在主要实验中使用其非耦合 softmax 解。我们的分析解释了探测点代价之间的差异何时会产生移动，以及这种移动何时会降低损失。在正单纯形上，非常量的代价总会给出非零方向。对于单调脊函数损失，在任意正温度下，softmax 更新都不会增加损失；扰动界则给出了在弯曲跳跃面附近实现下降的充分条件。对于有界可测损失，我们将探测半径随机化，并确定了一种精确的平滑化方式，其梯度在相差一个比例因子的意义下等于按代价线性加权的方向的期望。这个恒等式为一种理想化的固定温度变体给出了平稳性界：在比我们实际训练配置所满足的条件更强的正则性和采样假设下，该界包含一个 $O(T^{-1/2})$ 项和一个持续存在的偏差下限。我们在包含硬操作的网络、离散优化和策略搜索任务上评估了这一实用方法。在采用硬阈值脉冲神经元的 MNIST 任务上，PolyStep 达到 $93.0 \pm 0.2\%$，而在相同评估次数下，经过最佳调优的无梯度基线为 $79.6 \pm 5.2\%$。这些提升伴随着每个新步骤中与搜索维度成正比的查询成本，因此限制了固定预算下可执行的更新次数。
12:00 arXiv cs.LG 76
arXiv:2602.01667v2 公告类型：替换 摘要：预测集大小只能粗略概括共形不确定性。我们通过信念集的几何结构提出了一个更丰富的视角：信念集是与共形预测（CP）区域相容的概率分布族。我们为分割式 CP 建立了这一表示，将近期针对完全式 CP 发现的对应关系加以推广。基于这一表示，我们为若干广泛使用的信念集不确定性度量推导了解析刻画和精确算法，使原本可能需要指数时间的计算在对共形 p 值排序后可在线性时间内完成。我们进一步通过在各误差水平上对基于 Tsallis 熵的集合大小惩罚进行积分，将其中若干度量与经典共形汇总指标统一起来。我们还证明了一项不可能性定理：对于常见的分割式共形回归构造，其诱导的信念集的不确定性汇总指标无法区分不同输入。选择性预测和分布偏移检测的分类实验表明，这些汇总指标通常能够恢复固定误差水平下预测集大小所丢失的有用排序信息，从而实现更细粒度的不确定性评估。这些结果确立了信念集几何作为量化共形不确定性及理解其局限性的一个具有理论依据的框架。
12:00 arXiv cs.LG 74
arXiv:2406.07177v2 公告类型：替换 摘要：大语言模型（LLMs）在自然语言处理（NLP）任务中取得了卓越的表现，但高昂的计算成本和内存需求限制了其应用。三值化是一种极端的量化方式，通过减少内存使用并支持高能效的浮点加法运算，为这一问题提供了解决方案。然而，将三值化应用于大语言模型时，权重和激活值中的离群值会带来挑战。在本研究中，我们观察到权重中的离群值呈非对称分布，且权重均值不为零，因此引入了双重可学习三值化（DLT），使缩放因子和平移量均可学习。我们还提出了离群值友好的特征知识蒸馏（OFF），以恢复极低比特量化中丢失的信息。所提出的 OFF 能够融入语义信息，且对离群值不敏感。OFF 的核心是利用余弦相似度，最大化三值化模型与浮点模型特征之间的互信息。大量实验表明，在不同大语言模型系列的标准文本生成和零样本基准测试中，我们的 TernaryLLM 均优于以往的低比特量化方法。具体而言，对于最强大的开源模型之一 LLaMA-3，我们的方法（W1.58A16）相较于此前最先进的方法（W2A16），在 C4 上的困惑度降低了 5.8，在零样本任务上的平均准确率提高了 8.2%。
12:00 arXiv cs.LG 74
arXiv:2610.13851v1 公告类型：cross 摘要：我们为从数据中学习并通过有限次去噪步骤实现的条件扩散模型建立有限样本保证。我们的方法使评分函数训练目标与采样网格相匹配，从而能够对统计估计误差和数值离散化误差进行联合分析。在条件密度模型光滑的假设下，我们推导出生成分布误差的高概率界，并量化所需的评分函数评估次数。对于任意光滑性指标 $\beta>0$，适当的网格都能使相对于原始目标分布的平均条件 Kullback--Leibler（KL）散度达到 $\widetilde O_p(n^{-2\beta/(d_x+d_y+2\beta)})$，无论是否采用提前停止。完整采样器和提前停止采样器的平均目标总变差（TV）误差均达到 $\widetilde O_p(n^{-\beta/(d_x+d_y+2\beta)})$。其中，$n$ 是样本量，$d_x,d_y$ 分别是数据维度和条件维度，误差则关于条件变量取平均。总变差界与现有条件分布估计理论中已确立的速率一致，仅相差对数因子。
12:00 arXiv cs.LG 74
arXiv:2610.13588v1 公告类型：cross 摘要：对电动汽车（EV）充电需求进行不确定性量化，对于将电动汽车普及给电力系统带来的日益增长的压力转化为灵活性来源至关重要。我们研究了苏格兰公共充电站的大规模数据集，其中需求呈现出分层结构，涵盖从单个充电点到区域和全国范围的多个聚合层级。充电基础设施在持续演变：不断有新充电站投入部署，现有充电站也会偶尔移除，因此需要针对这一不断变化的结构设计预测与不确定性量化方法。为应对这些挑战，我们将分层预测与保序预测在缺失数据方面的最新进展相结合。所研究的保序程序能够在分层结构的每个节点生成有效的预测区间，而算法 CP-MNR-Nested 则能够成功考虑数据的时变分层结构。
12:00 arXiv cs.LG 81
arXiv:2610.13325v1 公告类型：cross 摘要：智能体式工作负载会在多次调用之间重复发送几乎不变的长上下文。如今，前缀缓存可以跳过其中大部分预填充阶段，但每个请求仍必须先完成全部分词，之后才能查询缓存。分词这一长期以来被视为无关紧要的 CPU 阶段，如今却成为首 token 生成时间（TTFT）中占比最大的部分；而为整个 GPU 集群执行分词的前端，则限制了其能够供给的 GPU 数量。我们提出 GraphTok，这是一种 GPU 分词器，可将从预分词、字节对编码（BPE）合并到 token ID 组装的完整编码流程，作为一张可重放的 CUDA 图运行。GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID；对于 GPU 无法占优的短输入，则将其交给 CPU 引擎处理；同时，它还可以接入未经修改的 vLLM 和 NVIDIA Dynamo。GraphTok 在包含数据传输的情况下，可在 1.7–3.2 毫秒内编码一百万个 GPT-2 token；在 Llama 3 上，其速度比最强的 CPU 分词器 gigatoken 快 4.7–6.0 倍。在 TokTier 自有的单请求基准测试中，其速度比 gigatoken 快 2.6–3.9 倍，最高比 TokTier 快 18.1 倍。在使用缓存前缀的 vLLM 中，它将平均 TTFT 降低了 2.1–2.4 倍。最大的提升体现在容量方面。在 2 秒 P99 目标下，配备 GraphTok 的单个 Dynamo 前端可持续处理 518 个请求/秒、每个请求包含 12.1 万个 token 的流量，相当于高峰时段 56 个 GPU 的负载；相比之下，使用 gigatoken 时为 296 个请求/秒，使用默认分词器时仅为 18.5 个请求/秒。在 12.1 万至一百万个 token 的范围内，其可承载负载是 gigatoken 的 1.75–2.5 倍；在 gigatoken 的尾延迟失控的情况下，P99 最多可降低 64 倍。
12:00 arXiv cs.LG 76
arXiv:2610.12995v1 公告类型：交叉收录 摘要：监督微调（SFT）仍是大语言模型后训练中广泛采用的方法，因为固定的示范可以直接引入期望的推理策略和行为模式。然而，强制模型模仿外部提供的轨迹，也可能干扰预训练已支持的行为，从而限制模型在训练分布之外的泛化能力。近期的动态 SFT 方法根据预测概率、先验支持程度或分布兼容性等模型侧信号，对词元级监督进行重新加权，以缓解这一问题。但与模型的兼容性并不等同于学习价值：当前模型支持程度较低的词元，既可能是不期望的不匹配，也可能恰恰是示范旨在教授的任务特定决策。我们提出 CIG-SFT，这是一种信息论框架，用于估计每个示范词元所携带的、以任务为条件的信息。在教师强制机制下，我们保持标准解答前缀不变，比较冻结的参考模型在能够和不能访问任务输入两种情况下的词元似然。由此得到的条件信息增益，量化了任务本身在多大程度上降低了对示范决策的不确定性。随后，我们将这一信息转化为当前策略的 KL 正则化投影，并推导出等价的标量加权 SFT 目标，其 logit 梯度与投影目标的梯度完全一致。在数学推理和代码生成基准测试中，CIG-SFT 始终优于标准 SFT 和近期的自适应微调基线，尤其在对具有挑战性的评估分布的泛化方面取得了显著提升，同时既不需要额外训练数据，也不需要在线轨迹采样。
12:00 arXiv cs.LG 75
arXiv:2610.12702v1 公告类型：交叉发布 摘要：汇总独立计算的子样本推断结果，是大规模贝叶斯计算、联邦学习和意见汇聚中一个众所周知的难题。核心问题是近似一个概率密度与各个密度之积成正比的分布。我们提出 Product Monte Carlo（PMC），这是一种仅使用来自各个密度的蒙特卡洛样本，即可计算密度乘积下任意期望的算法。我们通过一族可计算的条件期望来表示难以直接计算的密度乘积下的期望，从而将其转化为回归问题。除点估计外，我们的全贝叶斯回归框架还提供一致的不确定性量化和具有理论依据的诊断方法。我们为 PMC 估计量建立了一致性的理论保证，并刻画了其收敛速率。在改变各组成分布的数量、维度和异质性的模拟实验与真实数据实验中，相比现有方法，PMC 以更低的计算成本实现了更高的估计精度、校准更好的不确定性覆盖率以及更强的可扩展性。此外，PMC 无需计算密度值，因此适用于基于模拟的推断；我们通过一项蛋白质图像应用展示了这一点。
12:00 arXiv cs.LG 76
arXiv:2610.12514v1 公告类型：交叉收录 摘要：自回归视频扩散模型维护着不断增长的注意力键值（KV）缓存，使内存成为长视频生成的主要瓶颈。近期，基于聚类的量化已成为压缩视频 KV 缓存的有效方法：先将相似的键向量和值向量分组，再量化残差误差。然而，当后续帧关注压缩后的历史信息时，微小的重建误差会随着视频长度增加而不断累积。除了聚类所利用的层内相似性，我们还发现视频模型的缓存层之间存在很强的依赖关系。这促使我们提出 Coral-KV——离线校准、残差编码与局部适配——这一 KV 缓存压缩框架。它利用各层的缓存状态预测后续层的键和值，再量化剩余的预测残差。我们构建了紧凑的块对角加低秩（block-DPLR）预测器：块对角分量对每个注意力头内部的通道关系建模，而全局低秩项则对注意力头之间的依赖关系建模。Coral-KV 提供了灵活的保真度与内存权衡：既可以跨视频复用预测器，也可以针对当前视频重新拟合轻量级块对角预测器，以获得更高的保真度。在 HY-WorldPlay 和 MAGI-1 上的广泛评估表明，与 QVG-4 相比，我们的可复用配置分别将 PSNR 提高了 0.32 dB 和 4.95 dB，同时将缓存内存占用分别减少了 48% 和 37%。与 QVG-Pro 相比，我们的视频适配配置将 MAGI-1 的 PSNR 提高了 3.77 dB，同时将缓存内存占用减少了 33.7%。Coral-KV 还能在长时间生成过程中保持更高的重建保真度，减少时间上的不连续性，同时保持相当的生成延迟。
12:00 arXiv cs.LG 75
arXiv:2610.12474v1 公告类型：交叉收录 摘要：零样本文本转语音（TTS）可以仅凭几秒钟的音频克隆声音。然而，这种高质量表现依赖于拥有数十亿参数的扩散 Transformer，其模型规模和多步采样使最需要它们的端侧、辅助技术和实时应用难以采用。训练后量化（PTQ）无需重新训练即可压缩此类模型，但现有方法主要面向语言和视觉，而非语音。在 4 比特精度下，即使是性能强劲的量化器，也只能让语音可懂度接近全精度水平，却会持续损害说话人的音色，因此错误率仍然较低，声音却偏离了目标说话人。我们探究量化为何损害语音、损害发生在哪里，以及能否在不重新训练的情况下修复这些损害。为此，我们首次针对 10 亿和 35 亿参数规模的 TTS 扩散 Transformer 开展了权重与激活均为 4 比特（W4A4）的 PTQ 研究。音色损失来自权重量化和激活量化两方面，但只有激活量化部分具有可供精度调度利用的时间步结构。因此，我们提出 TTS-Q，从与任务匹配的校准候选项中选择难以量化的项，并采用预算平衡的混合精度调度，为后期时间步的前馈激活分配更高精度。TTS-Q 在两种模型规模上均实现了最佳的音色恢复效果，且不牺牲语音可懂度。此外，部署后的经校准 W4A4 参考方案降低了 GPU 峰值内存占用，为资源受限条件下的 TTS 部署提供了实用参考。
12:00 arXiv cs.LG 74
arXiv:2610.13871v1 公告类型：新论文 摘要：许多优化问题仅能直接获取部分梯度，而其余分量必须通过函数求值来推断。这种结构出现在施为预测、施为强化学习以及下层为黑箱的双层优化中。我们提出 Partially Informed Stochastic Optimization（PISO），将可获取的梯度分量与残差的动态估计相结合。通过以该估计为中心对每次零阶观测进行中心化，PISO 使随机探测引起的方差取决于跟踪误差，而非残差的大小。由此得到一种具有显式收缩机制的随机化草图迭代，并为动量提供了有理论依据的解释。对于光滑非凸目标，我们建立了依赖于残差变化量及其初始大小的收敛保证，而不要求不可获取的梯度分量具有一致界。在采用独立采样的函数求值以及高斯或球面探测方向时，PISO 在梯度满足 Lipschitz 条件下达到的函数求值复杂度主导项为 \(O(d^{2}\varepsilon^{-6})\)，在额外假设 Hessian 矩阵满足 Lipschitz 条件下则为 \(O(d^{2}\varepsilon^{-5})\)。实现这些速率，每次更新仅需一个探测方向、两个函数样本和一个已知分量样本。分析还量化了批处理如何通过增加观测次数来减少部署次数。在五种实验设置中，PISO 的变体在其中三种设置下，以相当的预言机访问条件优于所测试的基线方法；在双层路由问题中更快达到相当的解；在施为强化学习中，则在不使用响应模型导数的方法中表现最佳。
12:00 arXiv cs.LG 79
arXiv:2610.13778v1 公告类型：新论文 摘要：状态空间模型（SSM）维护一个固定大小的循环状态，但在每个解码步骤中读写该状态可能成为混合模型的性能瓶颈。这种即时状态管理会产生算术强度较低的大量状态 I/O，使推测解码缺乏低成本的回滚方式，并将状态量化误差传递到后续循环更新中。我们提出 ReplaySSM，通过展开递推过程，将状态表示为一个检查点和一个存储近期 SSM 输入的缓冲区，从而将输出计算与检查点更新分离。通过周期性更新检查点，ReplaySSM 避免了大多数步骤中的状态写入，并将占主导地位的状态内存流量减少约一半。保留近期输入还使推测回滚简化为缓冲区指针操作，并支持仅验证输出，无需显式生成中间状态。同样，这种分离也允许在大多数步骤中使用低精度检查点进行输出计算，同时使用更高精度的检查点进行循环更新，因此低精度副本中的舍入误差永远不会进入后续更新。我们在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了 ReplaySSM。在推理服务批大小为 256 时，相较于经过调优的 vLLM 基线，它在四个混合模型上将标准解码速度提升至 $1.20$--$1.47$ 倍，并在两个 120B 级别模型上实现了约为 vLLM 推测解码 $1.8$ 倍的吞吐量。与共享低精度检查点相比，为状态分别采用不同精度还能降低输出 KL 散度，并减少下游任务的准确率损失。
12:00 arXiv cs.LG 81
arXiv:2610.13767v1 公告类型：新稿 摘要：在原生支持 4 位运算的加速器上进行低比特推理，需要同时量化权重和激活，才能充分发挥这些格式带来的吞吐量优势。尽管训练后权重量化已得到广泛研究，激活量化仍然更具挑战性，且通常需要校准数据。在本研究中，我们提出 DUALQUANT，一种双尺度、免校准的训练后量化框架，可直接最小化权重重构均方误差（MSE），并由此直接得到用于激活量化前的逐通道激活重缩放因子。我们的关键观察是，通过最小化权重重构误差获得的缩放因子能够有效地对激活进行重缩放，从而无需校准数据即可实现具有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重构问题，并基于变量分裂和块坐标下降开发了一种高效求解器，其中每个子问题均具有闭式更新解。DUALQUANT 提供了一种统一算法，支持包括完整 MX 系列和 NVFP4 在内的多种格式。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双重缩放方法。在 WikiText-2、C4 和零样本下游任务上对 Llama 和 Qwen 模型的评估表明，DUALQUANT 在大多数模型和格式上的精度达到或超过了基于校准的 SmoothQuant，并显著优于免校准基线方法，尤其在 MX 和 NV 块格式上取得了大幅提升。我们在 RTX 4090 上，使用针对 Llama-3.1-8B 的实际打包 W4A4 推理路径验证了这些收益。该实现的精度与伪量化非常接近，同时相较于 BF16，内存占用最多降至约 1/2.61，吞吐量最高提升至 2.46 倍。
12:00 arXiv cs.LG 73
arXiv:2610.13690v1 公告类型：新论文 摘要：扩散模型通常学习单个目标分布的生成动力学，或学习由训练期间固定的条件变量索引的一族分布的生成动力学。这限制了它们仅凭少量示例适应此前未见分布的能力。我们提出了一种面向扩散模型的上下文解算子学习框架，其中每个目标分布都被视为从元分布中抽取的一个任务，并在推理时由一个经验上下文集指定。我们的方法学习一个上下文得分算子，将上下文样本、含噪查询点和扩散时间映射为任务相关的得分，从而无需重新训练或更新参数，即可在未见任务上进行反向扩散采样。一个关键发现是，任务相关得分具有高斯核条件均值表示。其经验 Nadaraya--Watson 近似可以由我们构建的 Transformer 类中的模型精确表示，为所提出的查询相关注意力架构提供了理论依据。该算子通过跨任务分布的摊销去噪得分匹配进行训练。我们建立了泛化误差界，量化了上下文大小、训练任务数量、任务内样本数量、模型复杂度以及内在维度和环境维度的影响。在数值实验中，我们在一系列科学与视觉数据集上评估了该方法，包括 Navier-Stokes、ERA5 气候数据、QuickDraw 草图和 Food-101。结果表明，所提出的方法在相对简单的任务族上表现良好，但其性能会随着任务复杂度的增加而下降，从而揭示了扩散模型上下文学习的潜力与局限。
12:00 arXiv cs.LG 80
arXiv:2610.13350v1 公告类型：新提交 摘要：广泛复用的电子健康记录预处理流程可能隐含一些假设，涉及信息何时可用、标签代表哪一次临床诊疗过程，以及数据缺失意味着什么。这些假设很少得到系统性审查，并可能随着预处理流程的复用或调整而传播到后续研究中。我们以 MIMIC-IV 为案例，识别并量化了三种互补的预处理对齐形式，即时间对齐、语义对齐和人群对齐的违反情况，它们分别表现为时间泄漏、特征与任务不匹配以及有偏插补。我们展示了时间戳语义、诊疗过程定义、终点构建、模态选择和缺失值处理中的歧义如何改变模型可用的信息，并影响对其预测结果的解释。通过对 MIMIC-IV 数据的分析和实证案例研究，我们证明，这类选择虽然会改变模型所依赖的信号，却可能在总体预测性能中基本不显现。我们据此提出了切实可行的建议，以便对 MIMIC-IV 及相关电子健康记录数据集开展时间上有效、与临床相契合且可复现的预处理。我们的实验代码（包括所提出的预处理方法）可在以下地址获取：https://github.com/m2l-lab/mimic-iv-preprocess。
12:00 arXiv cs.LG 72
arXiv:2610.12865v1 公告类型：新提交 摘要：现有针对随机梯度 Langevin 蒙特卡洛（SG-LMC）非对数凹采样的收敛性保证通常假设梯度全局 Lipschitz 连续且噪声方差一致有界。即使在基本的采样问题中，这两个假设也可能不成立，放宽它们能更好地反映大型语言模型（LLM）的贝叶斯微调等实际应用。我们通过广义光滑性以及所提出的具有有限 $p$ 阶矩（$1<p\leq 2$）的状态依赖重尾预言机，放宽了这两个假设。该预言机允许在 $p<2$ 时方差无穷大，并涵盖 Blum-Gladyshev（BG-0）条件。我们分别及联合研究这两种放宽情形，并提出三种方法。在梯度全局 Lipschitz 连续的条件下，鲁棒 LMC（R-LMC）通过几何中位数中心化与残差裁剪来处理所提出的预言机。在使用精确梯度时，自适应 LMC（A-LMC）在广义光滑性条件下控制离散化误差。鲁棒自适应 LMC（RA-LMC）通过鲁棒估计和噪声感知步长，同时应对这两种放宽情形。对于这三种方法，我们均在不假设耗散性或函数不等式的情况下，建立了以 Fisher 信息（FI）衡量的非渐近收敛性保证。合成实验展示了 FI 收敛性以及各项机制的益处。针对 LLM 和视觉语言模型的贝叶斯微调实验支持了我们的预言机模型，并表明 RA-LMC 在准确率和不确定性量化方面达到或超越了当前最先进的基线方法。
12:00 arXiv cs.LG 76
arXiv:2610.12728v1 公告类型：新论文 摘要：参数高效微调已有数百种方法，通常以参数数量和基准测试得分进行比较。我们将它们作为映射来比较。预训练检查点是权重空间中的一个基点，而权重空间方法则是从一个小参数空间出发、以该点为起点的光滑映射。这些映射构成一个切片范畴，其中冻结模型是始对象，全量微调是终对象。映射的三个不变量承担了大部分分析工作。其在基点附近的像，通过一阶像、维数、秩的最小割界，以及该点是光滑点还是锥顶，决定表达能力。其纤维与优化器的度量共同决定训练动力学。基变换移动基点，并涵盖分裂初始化、量化、重启与合并。例如，我们证明：零初始化的 LoRA，以及在所述秩与奇偶性条件下采用默认初始设置的 Householder 反射适配，均从锥顶出发；任何精确初始化都无法使 LoRA 达到秩超过自身秩两倍的更新；在精确算术下，严格正交的方法无论合并多少次，都不会改变权重的奇异值；在不使用 epsilon、权重衰减或裁剪且共用同一调度方案的 Adam 下，从标准零初始化出发的 LoRA+，其轨迹与将缩放系数乘以学习率之比的普通 LoRA 完全一致；采用共享超参数的 Adam，在 LoRA 满秩因子的连续对称群中仅保持带符号置换对称性；激活函数决定缩放适配器何时可以折叠进前面的权重。我们依据从公式中提取的七个坐标，对来自 138 篇论文的 382 种方法进行了分类，其中包含 403 个模拟箭头和 485 个障碍。每个编号结果均给出完整证明，对重新推导的他人成果也均注明出处。
12:00 arXiv cs.LG 77
arXiv:2610.12680v1 公告类型：新论文 摘要：背景：新生儿脑电图的不连续性是脑功能障碍的重要标志，但难以通过目视进行量化。爆发间期（IBIs）是不连续性的关键特征，但其定义不易直接用于人工智能检测。目的：引入仅由振幅和持续时间定义的低电压间期（LVIs），作为不依赖上下文的 IBIs 替代指标，开发 LVIs 的人工智能检测方法，并评估其作为脑损伤标志物的临床效用。方法：我们开发了用于检测 LVIs 的 ConvNeXt 模型，并将其性能与现有方法进行比较。随后，我们在四种应用场景中检验了所检测 LVIs 的临床相关性：1）在开放基准数据集上对脑电图背景活动异常进行分级；2）对临床缺氧缺血性脑病（HIE）进行分级，并与正常脑电图数据集进行比较；3）预测癫痫发作；4）分析其与癫痫发作负荷的关联。结果：为开展训练和验证，我们审阅了来自 123 名新生儿、按单通道累计 654 小时的脑电图，并标注了 51,162 个 LVIs。在留出验证集上，ConvNeXt 的曲线下面积（AUC）为 0.996，Matthews 相关系数为 0.926。模型与阅图者之间的一致性高于阅图者之间的一致性（$\Delta \kappa = 0.025$，95% 置信区间：0.007 至 0.045，$p<0.001$），达到与专家水平相当的表现。在包含 444 名新生儿的合并数据集中，LVI 时间占比与脑电图分级呈强相关（Spearman $\rho=0.801$），与 HIE 分级呈中等相关（$\rho=0.384$），与癫痫发作负荷呈较弱相关（$\rho=0.244$），并具有较强的癫痫发作预测能力（AUC $=0.872$）。结论：人工智能对 LVIs 的检测达到与专家水平相当的表现，而定量特征未达到这一水平。自动化 LVI 量化为新生儿脑病提供了一种稳健的临床生物标志物，与脑电图背景活动、HIE 严重程度及癫痫发作风险相关。
12:00 arXiv cs.LG 74
arXiv:2610.12527v1 公告类型：新论文 摘要：配电运营商需要掌握表后光伏（PV）发电情况，但对大多数居民用户的观测仅能通过净计量智能电表实现。基于深度学习的光伏发电分解能够恢复这种可观测性，但其运行价值取决于模型是服务于已知用户、新用户、未来时段还是新区域。我们利用四种将家庭间迁移与时间外推分开考察的部署场景，量化了这种依赖关系，并将其应用于 Ausgrid 智能电表数据，同时开展向 Pecan Street 数据的跨数据集适配。在固定训练方案下，我们采用与部署场景相匹配的评估方式，对用于光伏发电分解的代表性深度序列架构进行基准测试。在上下文长度固定为 48 小时的条件下，最佳模型在未来测试时段内对已见家庭的日间平均绝对误差（MAE）为 0.104 kW，而对同一时段内未见家庭的误差升至 0.185 kW；在训练约束固定的条件下，部署场景对误差变化的解释力远高于模型选择。采用目标域归一化后，利用目标区域五户家庭的数据进行微调，可使源模型的迁移误差降低 28%—36%。较长的输入窗口有助于已知用户的时间外推，但对新用户的收益因模型而异。这些发现表明，能源数据分析应采用与部署场景相匹配的误差预算，在新区域利用少量目标域监督数据进行模型适配，并根据具体应用场景选择上下文长度。
12:00 arXiv cs.LG 74
arXiv:2610.12494v1 公告类型：新论文 摘要：本文提出代数整数数值格式（AINF），作为一种支持高度可配置、高精度压缩计算的框架。AINF 的一个关键特性是能够直接归约为纯整数算术，从而实现无误差的乘加运算。我们开发了一种利用该特性的矩阵乘法引擎，其性能与现代硬件加速器上最高效的同类数值计算实现相比，差距处于可预测的倍数范围内。AIQ 的另一个关键优势是可以根据给定用例的数值特征，自由选择适合的代数整数，从而提供浮点或定点格式从根本上无法实现的优化机会。基于这些特性，我们引入了代数整数量化（AIQ），这是一种用于大语言模型（LLM）推理的有损压缩格式，并通过结果表明，在每个参数的比特数预算相同的情况下，AIQ 在多种模型和基准测试中均能达到与行业标准 MX 格式相媲美的准确率。本文所述实验采用二次代数整数；推广到更高次、尤其是多维代数整数，有望带来更大的计算优势，仍是未来研究中一个前景广阔的方向。
23:29 arXiv cs.AI 77
通用机器人策略的规模化受到具身交互数据采集成本高昂的限制。大规模第一人称视角的人类视频提供了一种数据丰富的替代方案，但这些视频缺乏机器人动作标签，而且在现实世界复杂的视觉环境和多样化的操作动态下，现有动作标注方法往往噪声较大。我们提出 LAPT-Scale，这是一种可扩展的潜在动作预训练范式，包含两个组件：LAPT-Scale-LAM 通过解释人类视频中相邻帧之间的视觉变化来学习连续潜在动作，并将其用作源自人类的监督信号；LAPT-Scale-Policy 则通过人类视频潜在动作预训练、目标机器人具身形态对齐以及任务特定的后训练来训练 VLA 策略。与以往采用向量量化的 LAM 不同，LAPT-Scale-LAM 使用连续潜在空间来保留细粒度的运动与交互动态。我们进一步结合感知、语义和光流对齐信号，使视觉变化层面的监督超越单纯的像素重建。LAPT-Scale-LAM 在 2.33 万小时的第一人称视角视频上训练，为策略预训练提供隐式动作监督，带来持续的规模化收益：当经过标注的人类视频从 1000 小时扩展至 5000 小时时，真实机器人任务成功率从 63.3% 提升至 85.0%。所学策略还能泛化到未见过的视觉条件。
23:51 arXiv cs.AI 82
在原生支持 4 位运算的加速器上进行低比特推理，需要同时量化权重和激活，才能充分实现这些格式带来的吞吐量提升。尽管训练后权重量化已得到广泛研究，但激活量化仍然更具挑战性，且通常需要校准数据。在本研究中，我们提出 DUALQUANT，一种双尺度、免校准的训练后量化框架。该框架直接最小化权重重构均方误差（MSE），并由此直接得到激活量化前的逐通道激活重缩放系数。我们的关键观察是，通过最小化权重重构误差得到的缩放因子能够有效地对激活进行重缩放，从而在无需校准数据的情况下实现具有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重构问题，并基于变量分裂和分块坐标下降开发了一种高效求解器，其中每个子问题都具有闭式更新解。DUALQUANT 提供了一种统一算法，支持包括完整 MX 系列和 NVFP4 在内的多种格式。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双缩放方法。在 WikiText-2、C4 和零样本下游任务上对 Llama 和 Qwen 模型的评估表明，DUALQUANT 在大多数模型和格式上的准确率达到或超过了基于校准的 SmoothQuant，并显著优于免校准基线方法，在 MX 和 NV 块格式上尤其取得了大幅提升。我们在 RTX 4090 上通过 Llama-3.1-8B 的真实打包 W4A4 推理路径验证了这些提升。最终实现的准确率与伪量化非常接近，同时相较于 BF16，内存占用最高降至其 1/2.61，吞吐量最高提升至其 2.46 倍。
23:59 arXiv cs.AI 82
状态空间模型（SSM）维护一个固定大小的循环状态，但在每个解码步骤中读写该状态可能成为混合模型的瓶颈。这种即时状态管理会产生大量算术强度低的状态 I/O，使推测解码缺乏低成本的回滚方式，并将状态量化误差传递到后续循环更新中。我们提出 ReplaySSM，通过展开循环，将状态表示为一个检查点和一个存储近期 SSM 输入的缓冲区，从而将输出计算与检查点更新分离。通过周期性更新检查点，ReplaySSM 避免了大多数步骤中的状态写入，并将占主导地位的状态内存流量减少约一半。保留近期输入还使推测回滚简化为缓冲区指针操作，并支持仅计算输出的验证，无需显式生成中间状态。同样的分离机制允许在大多数步骤中使用低精度检查点进行输出计算，同时使用更高精度的检查点进行循环更新，因此低精度副本中的舍入误差永远不会进入后续更新。我们在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了 ReplaySSM。在推理服务批大小为 256 时，相较于经过调优的 vLLM 基线，它在四个混合模型上将标准解码速度提升至 $1.20$--$1.47\times$，并在两个 120B 级模型上实现了约为 vLLM 推测解码 $1.8\times$ 的吞吐量。与共享低精度检查点相比，为状态采用不同精度还减少了输出 KL 散度和下游准确率损失。
19:37 arXiv cs.AI 74
异常检测旨在识别偏离 Standard Model 预期的碰撞事件，是 Large Hadron Collider 上寻找新物理最有前景的模型无关策略之一。在学习所得的低维表征中搜寻稀有事件，无需事先选定人工设计的可观测量，但也失去了这些可观测量所提供的直观物理解释。因此，要将异常检测纳入发现流程，就必须对标记出的事件进行局部诊断，既要区分潜在的新物理与建模偏差或探测器效应，也要确定可用于针对性后续搜寻的可观测量。我们在 COLLIDE-2V 上评估了监督式和自监督式神经嵌入策略。该数据集包含在真实的 High-Luminosity LHC 条件下模拟生成的 7.5 亿个事件；我们使用在学习所得潜在空间中训练的自编码器的重建误差作为异常分数。在所考察的配置和基准信号中，训练时利用模拟过程标签的监督式目标通常优于相应的自监督式目标；在最佳配置下，其表现也优于直接基于运动学特征训练的自编码器，在背景接受率为 10% 时，提高了所有留出过程的信号效率。我们进一步提出了一套局部诊断流程：对 SM 潜在空间拟合 Gaussian Mixture Model，在不使用过程标签的情况下通过高层可观测量刻画各个分量，定位标记出的事件，并按局部区分能力对可观测量排序。该排序重现了留出过程的标志性运动学特征；同时，将异常分数与同一组可观测量进行相关性分析，可以量化分数对这些可观测量变化的跟随程度，从而揭示区分能力最强的可观测量并非分数跟随最紧密的可观测量的情形。
05:43 MarkTechPost 60
vLLM Semantic Router released Decision 3.0, 5 Apache-2.0 multimodal decision models from 0.8B to 27B. They answer choice, yes/no and score questions about text and images in one call, without generating text. The post What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models appeared first on MarkTechPost .
12:00 arXiv cs.LG 72
arXiv:2606.29438v2 公告类型：替换交叉版本 摘要：本文构建了一种由分数布朗运动驱动、具有残差动力学的分数随机神经网络。通过为该网络引入离散随机最大值原理，我们构造了相应的伴随递推关系。对于确定性的网络参数，我们证明了投影逐样本随机梯度下降的均方收敛性。数值实验包括闭式收敛性测试、带不确定性量化的噪声回归、长记忆时间序列生成，以及结构化扰动下的图像分类。结果揭示了相较于布朗运动和确定性基线，分数驱动项在某些情形下能够提升长记忆恢复能力或鲁棒性。
12:00 arXiv cs.LG 78
arXiv:2512.13892v3 公告类型：替换交叉 摘要：可靠地估计机器学习模型中的特征贡献，对于实现透明性、算法公平性和监管合规至关重要。尽管置换特征重要性被广泛使用，但经典实现依赖反复进行 Monte Carlo 随机打乱，从而带来显著的计算开销和随机不稳定性。本文表明，用单个最大-最小秩最优的确定性排列替代 $B$ 个随机排列，在消除估计方差的同时，能够保持或提高与真实重要性的相关性，并将复杂度从 $O(B \cdot n \cdot p)$ 降低至 $O(n \cdot p)$。对于位置-尺度特征分布，我们形式化证明了该方法能够精确恢复经尺度调整的线性回归系数；在模型敏感性为凹函数的情况下，还能改善重要性估计。我们沿着两个互补维度扩展了这一确定性框架。首先，Systemic Feature Importance（SFI）整合经验特征相关性，通过代理变量量化对特征的间接依赖。其次，Importance Direction 通过衡量协变量位移与输出变化之间的一致性，将标量重要性扩展为带符号的方向性表示。在近 200 个模拟场景中的广泛实证验证表明，在高维和低信噪比情形下，该方法具有更优的偏差-方差权衡。最后，两个真实世界的信用风险案例研究表明，将 SFI 与 Importance Direction 结合，能够帮助从业者和监管机构同时审计模型对受保护属性的隐性依赖程度及其净方向，从而为模型治理提供一种有原则、透明且可扩展的框架。
12:00 arXiv cs.LG 79
arXiv:2605.12174v2 发布类型：替换 摘要：在大规模学习中，针对随机小批次求解最优传输（OT）是精确 OT 的常见替代方案。在流匹配（FM）中，这种替代方案用于获得类似 OT 的耦合，从而使概率路径变直并降低数值积分成本。然而，重复执行小批次 OT 所诱导的总体层面耦合仍未得到充分理解。我们将这一耦合形式化为期望批次 OT 传输计划 $\overline{\pi}_{k}$，其通过对独立的、大小为 $k$ 的小批次上的经验 OT 传输计划取平均得到。随后，我们证明了其在大批次下的一致性，并在与生成建模相关的半离散情形中，推导出传输成本偏差以及 $\overline{\pi}_{k}$ 收敛至 OT 传输计划的速率。对于 FM，这得到了一种总体耦合，其诱导的速度场具有足够的正则性，能够定义从源分布到离散目标分布的唯一流。最后，我们在一个易于处理的双原子模型以及合成数据和图像实验中，量化了 OT 批次大小与数值积分之间的相互作用。
12:00 arXiv cs.LG 79
arXiv:2602.13004v3 公告类型：替换 摘要：格兰杰因果关系用于识别多变量时间序列中的预测依赖关系。在各方无法共享数据的分布式环境中，联邦因果学习支持联合分析。大多数联邦因果方法假设客户端观测到相同的特征，并将因果关系推断为点估计，而很少进行形式化的不确定性量化。在许多工业系统中，这些假设并不成立：客户端观测到的特征各不相同，目标是估计客户端之间的依赖关系（边）。这些依赖关系必须通过反复的客户端—服务器迭代间接估计。客户端数据和模型参数所产生的不确定性会在这一过程中传播，因此仅使用点估计不足以评估客户端之间的边。本文刻画了这种不确定性传播，并利用边特定方差区分真实的客户端间依赖关系与虚假的估计边。我们考虑来自客户端数据变异性的偶然不确定性，以及来自模型参数的认知不确定性。我们推导出客户端—服务器迭代的闭式方差递推关系和稳态方差，并证明初始模型参数不确定性传播后的贡献会渐近消失。这些方差支持以具有统计学原理的方式选择客户端间的边。合成实验表明，与具有竞争力的基线方法相比，我们的方法能够更好地恢复客户端间的边。在真实世界的工业数据集上，该方法在实现高根因识别准确率的同时，还能产生具有可解释性的依赖结构。
12:00 arXiv cs.LG 79
arXiv:2506.05014v3 发布类型：替换 摘要：我们提出了一种新颖、灵活且高效的框架，用于设计概念瓶颈模型（CBM），使实践者能够在模型进行预测时，将其关于概念—概念（$C-C$）关系和概念—任务（$C \to Y$）关系的先验知识与信念显式编码并扩展到模型的推理过程中。由此得到的概念推理模型（Concept REAsoning Models，CREAMs）能够在架构层面编码任意类型的 $C-C$ 关系，例如互斥关系、层级关联和/或相关性，以及可能较为稀疏的 $C \to Y$ 关系。此外，CREAM 还可以选择性地纳入一个经过正则化的旁路通道，以补充可能不完整的概念集合，在保持具有竞争力的任务性能的同时，促使预测以概念为依据。为评估此类设置下的 CBM，我们提出了一种与 $C \to Y$ 无关的指标，用于量化预测部分依赖旁路通道时的可解释性。在实验中，我们表明，在不增加额外计算开销的情况下，CREAM 模型支持高效干预，能够避免概念泄漏，并在概念缺失时达到黑盒级别的性能。我们进一步分析了可选旁路通道对可解释性和可干预性的影响。重要的是，即使在仅有有限数量概念可用的场景中，旁路通道也能使 CBM 保持有效。
12:00 arXiv cs.LG 75
arXiv:2610.12345v1 公告类型：交叉收录 摘要：监督微调（SFT）使预训练大语言模型（LLMs）适应下游任务，但预训练对任务所需概念的支持程度可能存在显著差异。高频概念更可能被充分学习，而稀有概念的表征可能仍然薄弱。我们提出了一个名为“先验壁垒”的新概念，用于量化预训练模型相较于目标概念对竞争概念的支持强度。我们观察到，先验壁垒呈长尾分布，使头部概念和尾部概念在 SFT 中处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导了长尾先验壁垒下 SFT 的预测风险界，明确刻画了先验壁垒与累积的 SFT 证据如何共同决定预测性能。针对这种依赖于先验壁垒的需求，我们提出 PASS，一种自适应 SFT 指令选择方法。该方法构建从参考内容中提取的概念，估计每条指令提供的区分性证据，并将选择预算自适应地分配给当前选择尚未充分覆盖的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些概念需要额外监督。实验表明，在四种骨干模型与预算组合设置下，我们的方法均优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。
12:00 arXiv cs.LG 76
arXiv:2610.12106v1 公告类型：交叉发布 摘要：为大型语言模型添加水印是追溯聊天机器人和智能体输出的常用手段，但检测器仍未公开，因为公开检测器可能让攻击者利用其反馈进行针对性修改。然而，水印已经容易受到无先验信息的篡改攻击。因此，我们首先量化了在部署场景中，公开检测器在从词元级分数到二元判定的不同访问权限下，是否会带来额外风险。其次，我们提出了一种拆分密钥的公私结合水印方法，通过公开检测器暴露其中一个密钥，同时保留另一个密钥用于完整验证和取证。知情攻击者只能改变公开信号，从而造成公开分数与私有分数之间的不平衡。我们为这种不平衡引入了一项统计检验，并将其与完整密钥判定相结合，构建了一个两阶段机制。第三，我们在广泛的水印移除和伪造攻击下评估了该拆分密钥方法，对比了无先验信息与利用检测器信息两种设置。公开检测仅在修改预算较小时提高了水印移除效果，因为普通改写就已能以更低的质量代价去除水印；但公开检测确实使伪造成为可能，而私有处理流程能够识别此类伪造。总体而言，公开一半水印能够实现透明性和互操作性，而且针对已公开部分的篡改仍可被检测到。这限制了提供方的风险，并对将检测器完全保密的必要性提出了质疑。
12:00 arXiv cs.LG 73
arXiv:2610.11863v1 发布类型：cross 摘要：核 Stein 差异（KSD）为比较分布提供了一种灵活的工具。其主要应用之一是量化数据生成分布与给定目标分布之间的拟合优度（GoF）。在本文中，我们研究了相关的条件拟合优度量化问题：仅给定一个（可能未归一化的）条件目标模型，而不知道其协变量的分布，并拥有来自某个联合分布的样本，目标是评估样本的条件分布与目标分布的匹配程度。为处理这一问题，我们提出了一个框架，通过协变量空间上的算子值核，将无条件 KSD 提升到条件情形，从而超越已知的欧几里得情形。我们证明，所提出的统计量当且仅当条件模型与真实条件分布对几乎所有协变量一致时才为零，并利用该统计量在光滑流形和离散空间上检验条件拟合优度。我们在检验水平、功效和运行时间方面的实验表明，使用所提出的统计量在这些域上进行检验是可行的。
12:00 arXiv cs.LG 75
arXiv:2610.11772v1 公告类型：cross 摘要：Zador 的著名定理是最优量化的基石：它既确立了 $R^d$ 中最优 $n$ 点量化器经验分布的弱极限，也确立了相关 $L_s$ 均值量化误差的衰减率。然而，在高维情形下，观测到这种渐近行为需要天文数字般庞大的样本量。我们证明，对于球对称目标分布，在所有球对称分布上进行优化是一个凸问题，并推导出一个等价性定理，该定理既刻画了全局最优性，又给出了构造性算法。我们表明，对于适中的 $n$，在精心选择半径 $R$ 的球面上均匀分布的随机量化器表现出色；在广泛的 $n$ 取值范围内，数值结果证实它们在所有随机量化器中达到最优。其期望失真具有显式积分表示，可计算至任意精度；我们还证明了随机量化器之间的集中性：当 $d$ 固定且 $n\to\infty$ 时，失真方差趋于零。当 $s=2$ 时，最优半径及其对应的最小期望失真都可以写出精确表达式。对于一般的 $s$，最优半径可以高效确定；当 $n$ 随 $d$ 增长时，极值理论可提供有用的近似。根据这种增长速率，$R$ 要么收敛于零，要么趋近于一个与 $s$ 无关的正极限。
12:00 arXiv cs.LG 77
arXiv:2610.11748v1 公告类型：cross 摘要：用于脑肿瘤分割的 U-Net 推理需要数十亿次乘加运算，因此需要能够动态降低计算量的硬件，而不能仅依赖固定精度或静态模型压缩。最高有效数字优先（MSDF）算术能够在计算过程中逐步暴露结果的高位数字，从而在生成完整数值之前，根据输出做出决策。本文提出了一种用于量化 U-Net 分割的 MSDF 加速器，其中包含支持有符号 INT8 操作数和流内偏置累加的两阶段分组处理单元。四种运行时机制直接作用于输出数字流：ReLU 层中的精确提前负值检测（END）、分割头中的精确仅符号决策、经校准的低阶数字跳过，以及经校准的剪枝。两种近似机制在满足精度约束的情况下离线选择，执行时仅需轻量级控制，且无需修改存储的权重。在使用 nnU-Net 针对 BraTS 训练的残差 U-Net 上，所提出的机制将数位周期减少了 38.38%，并在 73 个留出病例上取得 80.58% 的平均 Dice 分数，而浮点模型的得分为 81.20%；仅使用精确机制即可在不改变量化输出的情况下将周期减少 18.79%。在 45~nm 工艺下综合后，该处理单元的工作频率为 500~MHz，占用面积为 0.858~mm$^2$；根据标注开关活动的功耗分析，在每个 $192\times192$ 图像块上的能耗为 0.726~mJ。预计采用共享激活传输的八输出加速器可实现 16.6~ms 的延迟，以及每个图像块 1.67~mJ 的能耗。
12:00 arXiv cs.LG 77
arXiv:2610.11482v1 公告类型：cross 摘要：背景：大型语言模型（LLM）代理正日益被用作软件和数据工程助手，但关于可在本地部署的开放权重代理的证据仍然有限。现有评估通常侧重于文本响应或孤立的代码生成，而不是完整工程制品的有效性。目标：我们评估本地 LLM 代理能否生成正确且可复现的数据工程制品，量化闭环工作空间条件的影响，并考察模型规模、架构、量化、运行时、工具使用和失败之间的权衡。方法：我们引入了一个包含 15 项移动工作流任务的基准，涵盖数据发现、连接器、交通数据馈送处理、语义丰富、特征工程、验证、可视化和报告生成。确定性检查器用于评估生成的脚本、表格、结构化文件、图表和报告。在单次生成和闭环两种条件下，对 10 种本地配置进行评估；每种模型、模式和任务重复 5 次，在消费级 GPU 上共获得 1,500 次评分尝试。结果：在参数量超过 20 亿的模型中，与单次生成相比，工作空间条件使通过率提高了 26.7–52.0 个百分点。最强配置达到了 85.3% 的制品级成功率；一个经过量化的 90 亿参数模型在约 6.5 GB 的内存占用下达到了 69.3% 的成功率。当中间制品暴露出代理可以检查和修复的错误时，收益最大。结论：本地开放权重代理能够支持软件密集型数据工程工作中具有实际意义的一部分，但其可靠性取决于模型能力、任务可验证性和确定性验证。该基准为在工程工作流中采用代理配置之前评估完整代理配置提供了一种可复现的方法。
12:00 arXiv cs.LG 82
arXiv:2610.11226v1 公告类型：cross 摘要：仅权重量化的训练后量化（PTQ）高度依赖于最小化重构损失，以在低精度下保持模型质量。我们发现，通过最小化该损失所选出的权重未必能在新任务上带来更好的模型性能。事实上，我们发现，更低的重构损失甚至可能导致模型在相同校准数据上的性能下降。我们的进一步分析表明，在校准数据上具有更低重构损失的权重，在输入激活分布发生变化时，其损失可能高于其他权重。基于这些观察和分析，我们提出分布鲁棒量化（DRQ），一种事后细化过程，通过在受约束的输入激活分布集合上最小化最坏情况下的重构损失来优化量化结果。DRQ 在现有量化网格内细化表示量化权重的整数代码，同时保持量化参数和推理算子不变。大量实验表明，DRQ 能够改进由六种具有代表性的 PTQ 方法量化的模型，包括 AWQ、GPTQ 和 ParoQuant，并且在稠密大语言模型和混合专家大语言模型上均能带来收益。这些结果表明，DRQ 是一种适用于仅权重量化 PTQ 的通用事后细化框架，无需增加推理开销即可实现更好的下游性能。
12:00 arXiv cs.LG 74
arXiv:2610.11205v1 公告类型：cross 摘要：表示结构对于理解 Vision Transformer（ViT）架构及其泛化行为至关重要。然而，既有研究既未隔离和分析模块级特征，也未探究这些特征之间的交互如何影响性能估计。在本工作中，我们首次对不同架构规模下的特征信息进行了严谨分析，从实证角度揭示了 ViT 表示与泛化行为之间的关系，并利用这些洞见指导高效的 ViT 设计。我们的贡献主要有以下五点：在不同架构规模下，1）我们发现了初始化阶段的特征坍缩现象，该现象会导致冗余，并提出了一种缓解该问题的降维方案。2）我们利用熵和最小特征值量化特征信息，证明这些指标可作为预测泛化能力的可靠信号。3）我们表明，token 空间中的特征比嵌入空间中的特征更能忠实地表示信息。4）我们发现了一个出乎意料的现象：ViT 层内线性子模块产生的特征对于预测泛化性能至关重要。5）与以往基线方法相比，我们提出的代理指标将相关性排名提升了 18%–48%，并能有效识别出在计算成本更低或相当的情况下实现更高准确率的 ViT 架构。
12:00 arXiv cs.LG 78
arXiv:2610.11953v1 发布类型：新 摘要：沙普利值是最受欢迎的特征归因解释方法之一。针对基于树的模型，人们已经开发出高效的沙普利值计算与估计方法；对于表格数据集而言，这类模型代表了当前最先进的水平。然而，已知沙普利值可能因微小且现实的变化而表现出（高度）不稳健性。本文提出一种基于不精确 Dirichlet 模型（IDM）的方法，用于分析决策树和随机森林中沙普利值的稳健性。具体而言，当少量未标注实例被随机引入树的叶节点时，我们通过量化和分析区间值沙普利值来实现这一目标。区间值沙普利值可以遵循处理不完整数据时的常见原则来定义：悲观原则和平均原则。我们推导出各种理论结果，从而实现区间值沙普利值的高效计算。我们还表明，所提出的方法可以直接推广到班扎夫值的情形。随后，我们通过多个案例研究和实验，展示所提出的区间值沙普利值的行为，以及其在消除无信息特征偏差方面的应用。
12:00 arXiv cs.LG 82
arXiv:2610.11214v1 公告类型：新 摘要：KV-cache 量化和线性注意力是应对 Transformer 存储与计算成本的两种代表性方法。KV-cache 量化将单个 KV 条目压缩为离散编码，但保留所有条目；而线性注意力则以递归方式聚合多个历史 KV 贡献，将其存入固定大小的连续状态中，但可能引入干扰。这一对比引出了一个问题：能否在单一机制中桥接逐 KV 压缩与多 KV 聚合，从而实现高效注意力？我们发现，RAM-Net 通过在离散地址空间上的软分配实现了这一桥梁。这些分配决定了与每个地址关联的连续槽状态的递归更新。在一种受限的 RAM-Net 构造下，我们证明，软地址分配能够将硬量化匹配扩展为可分离的读写重叠，在局部近似全注意力相似度的同时支持递归聚合。这些联系进一步支持通过一种基于软量化中间构造的新路径，实现从 Transformer 到 RAM-Net 的权重迁移。在 9 个参数量介于 0.3B 和 7B 之间的预训练 Transformer 模型上，仅使用每个模型 500M 个 token 的预算，RAM-Net 在 6 项常识与知识任务中，平均恢复了教师模型相对于随机猜测所获得准确率提升的 87.1%。
12:00 arXiv cs.LG 81
arXiv:2610.11134v1 公告类型：新论文 摘要：稀疏注意力降低了长上下文注意力的开销，但现有内核通常独立处理各个查询，反复加载并反量化多个查询共享的 KV 条目。我们观察到，相邻查询所选的 KV 条目存在大量重叠，为跨查询复用创造了机会。我们提出 QUILT，一种工作负载感知的稀疏注意力执行机制，通过联合处理相邻查询并复用共享 KV 条目，减少冗余的内存流量和计算。QUILT 引入 Shift-and-Compare Set Decomposition（SCSD），将不规则的集合操作转化为适用于现代加速器的规则数据并行原语，并将 SCSD 与注意力计算以流水线方式执行，以隐藏其开销。级联共享在多个粒度上分层实现复用。一种分块感知的执行策略在共享粒度与硬件分块利用率之间取得平衡，并选择性地移除重要性较低的查询专属尾部，以消除利用不足的分块。我们使用 GLM-5.3 和 DeepSeek-3.2，在张量并行和序列并行两种设置下，基于 LongBench 评估 QUILT。与最先进的稀疏注意力内核相比，QUILT 将平均内核延迟最多降低 55.1%，将处理的 KV 数据量最多减少 55.9%，同时将首个词元生成时间（TTFT）延迟最多降低 36.8%，且准确率下降可忽略不计。
12:00 arXiv cs.LG 71
arXiv:2610.10897v1 发布类型：new 摘要：物理信息神经网络（PINNs）是一种广泛使用的无数据方法，利用机器学习求解偏微分方程（PDEs）。随着生成对抗网络（GANs）的最新发展，对抗学习在复杂数据驱动问题的建模方面展现出强大能力；然而，GANs 在确定性物理信息 PDE 解中的应用仍然有限。在本文中，我们首先指出标准 PINNs 在求解 PDEs 时存在的局限性，包括谱偏差、损失不平衡和优化器停滞。随后，我们提出生成对抗物理信息神经网络（Gen-PINNs），这是一种统一的确定性残差-对抗框架，旨在改进对具有尖锐变化或激波前沿行为的 PDEs 的无数据求解。生成器通过动态加权的物理信息损失分量学习潜在的 PDE 解，而独立的判别器则针对理想零残差状态评估互补的 PDE 残差特征。该框架进一步开发并改进了多项方法组件，包括用于解析高频空间内容的 Fourier 表示、用于量化随频率变化的解误差的正交谱诊断方法，以及针对物理、初始条件、边界条件和对抗损失目标的改进型基于梯度的动态加权系统。我们在包括 Burgers、Allen-Cahn 和 Kuramoto-Sivashinsky 方程在内的非线性及高阶 PDEs 上，将 Gen-PINNs 与标准 PINNs 进行了比较测试。结果表明，在尖锐前沿、刚性和高阶 PDE 解方面，Gen-PINNs 在精度和收敛性上均取得了显著提升，凸显了确定性残差-对抗学习作为求解具有挑战性的非线性 PDEs 的有效方法的潜力。
12:00 arXiv cs.LG 81
arXiv:2610.10875v1 公告类型：new 摘要：受生成建模和采样领域近期应用的启发，我们提出了一个最优测度传输框架，其中代价刻画神经网络的复杂度。在基于传输的生成模型中，参考分布（例如高斯分布）中的样本沿普通微分方程或随机微分方程映射为目标分布中的样本。这些过程在时间离散化后通过深度残差网络实现，其中每个隐藏层近似对应的瞬时速度。因此，给定一对目标测度和参考测度，一个自然的问题是寻找实现这一传输的最高效神经表示。我们的出发点是 Benamou 和 Brenier 提出的最优传输动力学表述。我们以 Barron 能量替代平均动力学 $L^2$ 能量；Barron 能量是一种自然范数，用于衡量通过神经隐藏层表示给定向量场的复杂度，并能够刻画特征学习的自适应特性。这一定义在概率测度空间上引入了一个度量，补充了现有的 Wasserstein 几何和 Stein 几何。在本文中，我们研究这一度量在生成建模背景下的性质。作为第一个应用，我们通过为由高斯分布经神经网络推前生成的数据建立超多项式的得分函数逼近下界，量化扩散生成建模在 Barron 几何中的次优性。随后，我们研究自适应性作为考察替代生成模型的一种方式所带来的益处。在配套论文 \cite{companionpaper} 中，我们利用 Barron 传输几何开展采样应用，通过特征自适应扩展 Stein 变分梯度方法的适用范围。
12:00 arXiv cs.LG 74
arXiv:2610.10641v1 公告类型：new 摘要：大型语言模型（LLM）凭借整合纵向临床证据并以自然语言进行推理的能力，在下一次就诊诊断预测方面展现出巨大潜力。然而，针对 LLM 推理的强化学习通常根据每条推理轨迹最终答案的正确性对其进行奖励。在下一次就诊诊断预测中，多个诊断可能同时有效，但对每条轨迹中的一个诊断分别给予奖励，无法区分重复命中与对不同诊断的覆盖。因此，策略可能会集中于少数几个正确诊断，而遗漏其他诊断。与此同时，LLM 的分词器可能会将 ICD 编码拆分为多个临床含义有限的通用标记，导致预测每个诊断都需要多次解码，并妨碍模型在庞大疾病词汇表上进行推理。为应对这两项挑战，我们提出 CARing 框架，利用组合式语义 ID（SID）表示诊断，并针对多标签覆盖优化推理轨迹。具体而言，我们首先通过残差量化，将本体增强的疾病语义编码为紧凑的 SID；随后通过多任务对齐和推理增强训练，将生成的 SID 标记与自然语言及纵向 EHR 上下文建立联系，从而释放可迁移的 LLM 推理能力。CARing 进一步通过强化学习中的覆盖奖励和多正例监督，改进无序多标签预测。在推理阶段，该模型同时支持高效的直接约束解码和结合排序融合的多链推理。在 MIMIC-III 和 MIMIC-IV 上，CARing 在加权 F1 指标上超过所有基于 EHR 训练的基线模型，并在所有报告的截断值下都取得最高的 top-k 召回率，其中推理模式下的 R@30 分别达到 46.04% 和 46.52%。我们的代码和日志可在 https://github.com/zmlxzyh/CARing-Codes-Logs 获取。
12:00 arXiv cs.LG 76
arXiv:2610.10636v1 发布类型：new 摘要：用于重构的矩阵压缩仍然默认采用截断 SVD，以单一低秩结构近似数据。通过加入一个重叠的行稀疏成分来进一步减小残差是常见做法，但解决这一联合问题的方法通常需要迭代求解器，并且需要调节正则化参数。我们提出不相交行稀疏加低秩（D-SLR）分解，这是一种截断 SVD 的闭式即插即用替代方案，能够改进截断 SVD 或与其完全匹配。D-SLR 限制每一行只能被原样存储或由低秩拟合近似，绝不同时采用这两种方式。在平方误差下，这一限制不会带来任何代价：对于每一个非平凡的秩和存储行数（形状），联合最优解都可以通过不相交的方式实现，并且参数更少。当存储行数为零时，D-SLR 退化为截断 SVD，因此在相同成本下其效果不会更差。该算法会评估整个误差—参数权衡曲线，之后根据给定的误差目标或参数数量，或依据某种选择规则来选取解。构建网格并求得解总共只需进行三次 SVD，无需调参或正则化。我们推导出一个不依赖任何假设的事后误差下界，适用于每一种形状，使每个解都能获得一个可计算的证书，用于衡量选择其他秩和存储行数可能带来的潜在收益。在合成数据和真实数据（LLM 嵌入表、网络流量、高光谱图像）上的实验验证了这些收益，并量化了该证书。
12:00 arXiv cs.LG 75
arXiv:2610.10630v1 公告类型：新 摘要：训练一个紧凑模型所需的内存通常远多于存储模型本身所需的内存，因为优化器会保留过去梯度的记录。对于一种学习参数为低比特角度的超维分类器——我们称之为“相位记忆”——这些记录所占内存是模型本身的数倍。我们探究了这样一种模型能否在只存储模型本身的情况下完成训练。所提出的方法 Phase-HDC 在每次更新时，最多将每个存储的角度沿其当前梯度符号的相反方向调整一个步长，并且仅当该梯度足够大时才进行调整。我们证明，在一种一阶损失模型中，每个发生变化的参数都需支付固定代价，而这一简单规则正是该模型的精确解。在其他条件（包括更新规则之外的所有因素）保持不变时，Phase-HDC 达到了使用 6-bit 动量的 Adam 的准确率，同时存储量减少了三倍。在 11 个图像、表格和文本数据集上，与标准 float32 Adam 相比，其存储量减少了 16--23 倍；与 8-bit Adam 相比，减少了 4--6 倍。代价是，与 float32 Adam 相比，平均准确率损失约为 5 个百分点；但在 11 个数据集中的 6 个上，Phase-HDC 的准确率高于 8-bit Adam，其中包括字节级文本预测任务，在该任务上 8-bit Adam 完全失效。经过插桩的训练运行解释了这些结果。一旦参数必须位于离散网格上，Adam 的动量主要决定参数是否发生移动，而这一决定无需记忆，仅通过对当前梯度设置阈值即可实现；对动量进行粗粒度量化会破坏这一决定，尤其是对于数据中很少出现的输入。这里的存储节省指的是逻辑状态，而不是实测的硬件内存。
01:16 arXiv cs.AI 77
监督微调（SFT）将预训练大型语言模型（LLM）适配到下游任务，但任务所需的概念可能获得程度大不相同的预训练支持。高频概念更有可能得到充分学习，而稀有概念的表征可能仍然较弱。我们提出一种名为先验壁垒的新概念，用于量化预训练模型对竞争概念相对于目标概念的支持程度。我们观察到，先验壁垒呈现长尾分布，使头部概念和尾部概念在进行 SFT 时处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导出长尾先验壁垒下 SFT 的预测风险界，明确刻画先验壁垒与累积的 SFT 证据如何共同决定预测性能。受这种依赖先验壁垒的需求启发，我们提出 PASS，一种自适应的 SFT 指令选择方法。该方法构建源自参考数据的概念，并估计每条指令所提供的区分性证据，然后将选择预算自适应地分配给在当前选择下覆盖仍然不足的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些地方需要额外监督。实验表明，在四种骨干模型—预算设置下，我们的方法始终优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。
17:44 arXiv cs.AI 86
期刊和会议已开始对投稿论文进行筛查，以识别使用大型语言模型（LLM）生成的文本。这类筛查的可靠性依赖于针对一组固定 LLM 版本进行的基准评估，但实际使用的版本却在不断变化。本文量化了这种 LLM 更替如何影响科学论文的筛查。我们将《Proceedings of the National Academy of Sciences》中 4,000 篇 ChatGPT 出现前的摘要，与来自三家供应商的 23 个 LLM 版本所生成的改写文本配对；这些版本发布于 2023 年 6 月至 2026 年 8 月期间。随后，我们在不同的维护情景下训练检测器，从每出现一个新版本就重新训练的检测器，到训练一次后永不更新的检测器。在仅使用某一供应商过往版本训练的情况下，检测器可能在模型代际交界处性能崩溃：当其校准为误将 1% 的人工撰写摘要标记出来时，在最明显的交界点之前，能够检测出超过 99% 的改写文本，而在交界点之后仅能检测出 3.8%。使用较新版本训练的检测器也可能漏检较早版本生成的改写文本。不同版本之间的词汇差异，在很大程度上决定了检测能力可以迁移到何处，以及会在哪里失效。在我们模拟的两种筛查情景中，覆盖全部 23 个版本的筛查系统要么会将八分之一的人工撰写摘要标记出来，要么会漏掉最新版本改写文本中的三分之一。事实上，某款商业检测器漏掉了最明显交界点之后那个版本生成的大多数改写文本，却几乎没有将人工撰写的摘要标记出来。因此，科研诚信政策不应将检测器的基准准确率视为定论，而应将其视为暂定结果，并在每次 LLM 发布新版本时重新验证，包括对早期版本进行重新验证。
12:00 arXiv cs.LG 72
arXiv:2608.29971v2 公告类型：替换交叉版本 摘要：随着智能体系统演变为复杂的多智能体编排工作流，系统化评估智能体行为一致性与确定性的需求日益迫切。本文提出了一种形式化评估方法，该方法以 AgentGraph 为基础。AgentGraph 是一种由领域专用语言驱动的规划器，通过可动态调整的有向图表示智能体的推理过程。我们利用这一结构化形式，并采用图遍历算法穷举对话路径，从而构建一个全面的评估集，以覆盖智能体完整的行为空间。随后，我们系统地重放这些可复现的轨迹，将观测到的输出和状态转换与预期的 DSL 规范进行比较。为量化可靠性，我们定义了新的指标，用于衡量精确重放及其语言变体中的响应确定性、轨迹确定性、结构遵循性和语义一致性。系统结果表明，与未配置受控转换的智能体相比，使用 AgentGraph 和 LangGraph 等框架并明确配置结构化节点转换的智能体表现出更高的确定性。
12:00 arXiv cs.LG 81
arXiv:2607.28627v2 公告类型：replace-cross 摘要：长视觉上下文给视觉语言模型带来了挑战：随着干扰项数量增加，模型性能会下降，而且一次性处理所有令牌可能超出 GPU 内存限制。我们提出 RETOKEN，这是一种单一的可学习嵌入，能够从 VLM 的内部表示中提取检索信号，从预填充的 KV cache 中选择与查询相关的视觉令牌。借助这一方法，无需单独的检索器或重新编码，即可在负责回答的 VLM 内部执行检索。尽管 RETOKEN 仅使用一个小型图像问答数据集进行训练，但它能够泛化到图像和视频基准。在 Visual Haystacks 上，它使 Qwen3VL-8B 的性能提升 13.4 个百分点，使 InternVL3.5 提升 12.4 个百分点（相对提升超过 20%）。在 LVBench 上，它能够零样本迁移到长视频场景，并使 Qwen3VL-8B 的性能提升 8.0 个百分点。得益于轻量化设计，训练和长视频推理均可在单张 H100 上完成。代码见：https://github.com/avaxiao/ReToken
12:00 arXiv cs.LG 78
arXiv:2605.07943v2 公告类型：替换并交叉收录 摘要：主动视觉——策略在操作过程中控制自身注视方向——已成为模仿学习的一项关键能力，过去一年已有多个独立系统展示了其优势。然而，目前尚无统一基准可用于比较不同方法，或量化主动视觉在何种任务类型及条件下带来了哪些贡献。我们推出 TAVIS，这是一个基于 IsaacLab 构建的主动视觉模仿学习评估基础设施，在两种人形机器人躯干平台（GR1T2、Reachy2）上提供两套互补的任务集：TAVIS-Head（5 项任务，通过可水平转动和俯仰的颈部进行全局搜索）和 TAVIS-Hands（3 项任务，通过腕部相机处理局部遮挡）。TAVIS 提供三项基础评估工具：基于相同演示数据的头部相机与固定相机配对对比协议；GALT（注视—动作提前时间），这是一项以认知科学和人机交互（HRI）为基础的新指标，用于量化学习所得策略中的预期性注视；以及程序化生成的分布内（ID）与分布外（OOD）划分。使用 Diffusion Policy 和 $\pi_0$ 进行的基线实验表明：(i) 主动视觉总体上有益，且在多次训练运行中表现一致，但其收益取决于任务，而非均匀一致；(ii) 在两套任务集上，多任务策略在受控分布偏移下均出现性能急剧下降；(iii) 仅靠模仿即可产生落在任务相关物体上的预期性注视，其提前时间与人类演示相当，但头部运动不如演示中平滑，这是动作分块带来的影响，无法通过成功率体现。代码和评估脚本发布于 https://github.com/spiglerg/tavis；演示数据（LeRobot v3.0；约 2200 个回合）及训练好的基线模型发布于 https://huggingface.co/tavis-benchmark。
12:00 arXiv cs.LG 88
arXiv:2602.22647v3 公告类型：替换版本 摘要：生成式检索已成为基于 LLM 的推荐的一种强大范式。然而，工业推荐系统通常需要根据业务逻辑将输出空间限制为物品的受约束子集（例如，确保内容的新鲜度或产品类别），而标准的自回归解码原生不支持这一点。此外，现有利用前缀树（Trie）的约束解码方法在硬件加速器（TPU/GPU）上会产生严重的延迟开销。在本工作中，我们提出了 STATIC（Sparse Transition Matrix-Accelerated Trie Index for Constrained Decoding），一种专为 TPU/GPU 上高吞吐量的基于 LLM 的生成式检索而设计的高效且可扩展的约束解码技术。通过将前缀树展平为静态的压缩稀疏行（Compressed Sparse Row，CSR）矩阵，我们将不规则的树遍历转换为完全向量化的稀疏矩阵运算，从而释放硬件加速器的巨大效率优势。我们在一个服务数十亿用户的大规模工业视频推荐平台上部署了 STATIC。STATIC 以极小的延迟开销带来了显著的产品指标提升（每步 0.033 毫秒，占推理时间的 0.25%），相较于 CPU 字典树实现实现了 948 倍加速，相较于硬件加速的二分搜索基线实现了 47—1033 倍加速。此外，在广泛的实际配置范围内，STATIC 的运行时开销始终极低。据我们所知，STATIC 实现了首个生产规模的严格约束生成式检索部署。此外，学术基准测试评估表明，STATIC 能够显著改善生成式检索的冷启动性能。我们的代码可在 https://github.com/youtube/static-constraint-decoding 获取。
12:00 arXiv cs.LG 81
arXiv:2602.03317v2 公告类型：replace-cross 摘要：定量成像方法（例如磁共振指纹识别（MRF））旨在通过根据信号演化估计组织的生物物理参数，提取具有可解释性的病理生物标志物。然而，用于此类逆问题的模式匹配算法或神经网络通常缺乏有理论依据的不确定性量化方法，这限制了其可信度和透明度，也阻碍了其获得临床认可。本文介绍了一种物理结构化变分自编码器（PS-VAE），用于快速提取逐体素的多参数后验分布。该方法将可微分自旋物理模拟器与自监督学习相结合，并提供完整的协方差，从而捕捉潜在生物物理空间中各参数之间的相关性。我们在一项多质子池化学交换饱和转移（CEST）和半固体磁化传递（MT）分子MRF研究中对该方法进行了验证，研究对象涵盖体外仿体、荷瘤小鼠、健康人类志愿者以及一名胶质母细胞瘤受试者。所得多参数后验分布与采用穷举式贝叶斯分析计算的结果高度一致，同时将全脑定量速度提升了数个数量级。此外，我们展示了如何通过监测随信号逐步采集而变化的多参数后验分布，为协议优化提供实用见解，并有望实现实时自适应采集。
12:00 arXiv cs.LG 74
arXiv:2606.04033v2 公告类型：替换 摘要：先进核反应堆设计和燃料概念的验证需要设计新的临界实验，使其与目标技术具有高度中子学相似性。中子学相似性可通过相关系数 $c_k$ 进行量化，该系数反映了核数据不确定性引起的 $k_\text{eff}$ 共同偏差。通常，实验需要达到 $c_k\geq0.9$，才能与目标技术具有足够的相似性。在本研究中，训练了一种物理信息深度神经网络，用于预测基于网格的临界实验几何构型的中子学敏感度。利用神经网络的可微性，可以对新的实验几何构型进行基于梯度的设计优化，使其与目标技术的敏感度分布之间的 $c_k$ 最大化。该方法能够在网格内潜在材料组合构成的组合设计空间中进行优化，从而超越传统的参数化优化方法。该方法被应用于采用 HALEU 燃料的 TN-Americas TN-LC 运输容器验证，而针对该对象的现有临界实验覆盖范围有限。结果表明，对于三个受关注的构型，该方法生成的实验几何构型所达到的 $c_k$ 分数分别为 0.97757、0.81324 和 0.93276。
12:00 arXiv cs.LG 76
arXiv:2606.03904v2 公告类型：替换 摘要：多目标优化（MOO）是许多机器学习问题的基础，但损失平衡、梯度平衡和基于 Pareto 的各类 MOO 求解器几乎都将其协调后的方向交由 Adam~\citep{kingma2015adam} 处理。我们表明，这种耦合在求解器的意图与优化器的执行之间引入了两种系统性偏差。第一种是权重失配：Adam 的二阶矩分母将随时间变化的偏好向量与梯度统计量纠缠在一起，将偏好边缘化为历史平均值，并使不同的 Pareto 权衡坍缩为近乎均匀的混合。第二种是几何失配：Adam 的自适应度量扭曲了 MOO 求解器所假设的欧几里得几何，使方向一致的目标呈现出表观冲突。为同时解决这两种失配，我们提出 MAdam（度量感知的多目标 Adam），这是一种即插即用的封装，无需更改求解器或优化器。MAdam 利用标量化目标在给定偏好条件下的曲率，对协调后的方向进行预条件处理；对于这种白化后的输入，Adam 的二阶矩退化为单位矩阵，因此实际更新由偏好条件化的度量支配。在多任务学习、Pareto 前沿恢复、物理信息神经网络和医学成像任务中，对于每一类求解器，MAdam 的总体表现均优于 Adam。我们的代码已发布于 https://github.com/lfb-1/MAdam。
12:00 arXiv cs.LG 78
arXiv:2605.08392v2 公告类型：替换 摘要：实际的扩散采样需要用有限的去噪步数模拟反向时间 ODE 或 SDE，因此采样参数的选择对于最小化离散化误差至关重要。非渐近收敛界刻画了采样复杂度，但其中的最坏情况常数可能掩盖目标分布的几何结构，从而限制其对参数优化的指导作用。我们不再对误差给出界，而是针对一般的光滑反向扩散过程，推导出 Euler-Maruyama 弱误差和 Frechet 误差在小步长下渐近精确的展开式，并给出高斯数据情形下的显式公式。这些公式提供了易于处理的目标函数，可根据目标分布的协方差谱优化扩散参数，包括噪声调度、重缩放调度和随机性系数。具体而言，我们的理论预测，在步数预算较少时，最优随机性更低；展示了如何根据数据的功率谱调整重缩放系数；并启发了一族新的有效噪声调度。向高斯尺度混合分布（GSMs）的微扰扩展量化了偏离高斯性时最优参数的变化。最后，在不同真实图像数据集上的实验表明，使 FID 最优的参数与理论的定性预测一致。
12:00 arXiv cs.LG 77
arXiv:2605.06295v2 公告类型：替换 摘要：如何从第一性原理出发，将任意归因方法推广到捕捉交互作用？我们通过元博弈回答这一问题：这是一个用于量化模型解释中二阶交互效应的概念框架。我们将特征 \(i\) 的归因值 \(\phi_i\) 视为其他特征之间的合作博弈，并计算其沙普利值，用以衡量特征 \(j\) 对特征 \(i\) 的归因产生多大影响，从而得到有向元归因 \(\varphi_{j \to i}\)。元归因不是直接分解模型，而是分解归因本身，因此能够将任意基于梯度或注意力的方法扩展到交互作用，同时统一基于移除的扰动与模型内部信息。从理论上看，我们证明了元归因之和等于其所解释的一阶归因；事实证明，沙普利交互和积分 Hessian 会隐式地执行这种层次化分解。在实证方面，我们展示了元归因在多种可解释性应用中的作用：（i）量化指令微调语言模型中的词元交互；（ii）解释视觉-语言编码器中的跨模态相似性；（iii）解读多模态扩散 Transformer 中的文本到图像概念。
12:00 arXiv cs.LG 82
arXiv:2604.20021v2 公告类型：替换 摘要：随着大语言模型（LLM）日益普及，缓存响应以供语义相似查询的用户复用，已成为降低推理成本和延迟的重要策略。现有缓存框架假设离散查询构成一个有限且已知的全集，并通过学习这些查询的服务成本和到达概率，决定缓存哪些查询响应。然而，随着 LLM 的用户群体和查询范围不断扩大，这一假设愈发难以成立：现实世界中的 LLM 查询位于无限的连续嵌入空间中。本文首次建立了一个严格的理论框架，用于在不确定性下对连续查询空间中的 LLM 响应进行语义缓存。为弥合离散优化与连续表示空间之间的鸿沟，我们引入了动态 $\epsilon$-网离散化，并将其与核岭回归相结合。这一设计使系统能够形式化地量化估计不确定性，并将有关 LLM 查询成本的部分反馈泛化至连续的语义查询邻域。我们开发了离线学习算法和在线自适应算法，并对其进行优化，以降低更改缓存响应所产生的切换成本。我们证明，相对于最优预言机，我们的在线算法具有次线性遗憾界，且该界可退化为离散查询模型的现有界。广泛的实证评估表明，我们的框架能够较好地逼近连续空间中的最优缓存方案，同时相较于现有方法降低计算开销和切换开销。
12:00 arXiv cs.LG 72
arXiv:2610.10340v1 公告类型：cross 摘要：我们研究非平稳环境中的在线学习，目标是跟踪一个未知参数，该参数会在有限个重复出现的取值之间突然切换。参数的重复出现为审慎地复用过去的观测数据以提升算法性能提供了可能。然而，由于底层信号不断变化，且缺乏关于这些动态过程的信息，算法安全地复用数据的能力可能会受到限制。在本文中，我们量化了这类问题中的一些基本权衡，并表明它们与经典的偏差-方差困境具有某种相似性。具体而言，我们提出了一类任意时刻算法，称为 Exposure-Capped Reuse（ECR），结合了在线变更检测、兼容性检验和“污染”控制。我们刻画了 ECR 的遗憾值随不同取值的数量而非变化次数增长的情形，并推导出一个新的信息论下界，证明了 ECR 近似达到了极小极大最优性。这为数据复用的统计“价值”提供了严格的量化。
12:00 arXiv cs.LG 73
arXiv:2610.09802v1 公告类型：交叉收录 摘要：基于概念的视觉模型通过一层可供人类审视的中间概念来表示图像，因此可以将模型所依赖的信息追溯到这些概念。然而，这类模型往往局限于固定类别，或依赖语言来定义其概念。我们提出 DisParQ（Discrete Parts with Quantized attributes），一种从强大的冻结纯视觉自监督骨干网络中学习具有空间定位的离散概念表示的方法。该方法既不需要类别标签，也不需要语言监督。每个图像块都被分配给可学习原型字典中的唯一一个概念，且每张图像仅允许激活少量概念。为了捕捉每个概念在不同图像中的变化（例如“车轮”的类型），我们在学习概念的同时学习连续残差，再将其量化为离散属性。空间解码器仅根据概念和属性重建骨干网络的表示，因此成功重建意味着该离散表示保留了骨干网络的信息。我们在七个数据集上评估了 DisParQ，涵盖通用识别数据集（ImageNet、PartImageNet、Places）和细粒度基准数据集（CUB、Cars、Dogs、Flowers）。结果表明，DisParQ 在 ImageNet 线性探测上的表现与其冻结的 DINOv2 教师模型非常接近（top-1 准确率为 83.2%），概念一致性高于语言对齐模型，在细粒度识别上保持竞争力，并支持基于部件的跨类别检索。
12:00 arXiv cs.LG 75
arXiv:2610.09778v1 公告类型：交叉收录 摘要：大语言模型（LLM）推理的可复现基准测试面临挑战，因为重复测量结果可能随执行状态和系统状态而变化。我们提出了顺序隔离方法，这是一种受控的基准测试与回归测试协议，旨在有意改变工作负载并发度的同时，降低不同运行之间的测量方差。我们使用 vLLM 0.9.1，在 NVIDIA A100 80GB GPU 上评估了三个具有代表性的开源 LLM，覆盖六种上下文长度和八个并发级别，每种配置重复测试五次。最终协议将平均变异系数（CV）从控制最少的方法阶段的 15.2% 降至 2.2%；根据每种配置五次重复测试各自的首 token 延迟（TTFT）中位数（P50）计算 CV，144 种配置中有 113 种（78.5%）的 CV 低于 3%。测量结果还表明，在受测技术栈上，并发用户数从 200 增至 500 时出现了明显的延迟跃变，且三个模型的 P99 延迟呈现出描述性差异。此外，我们还提供了一个显式的成本盈亏平衡模型，并分析其对 API 定价的敏感性。该协议旨在为可复现比较和回归测试提供稳定的参考，而非预测不受控生产流量下的绝对表现。基础设施即代码和基准测试脚本支持复现实验环境。
12:00 arXiv cs.LG 76
arXiv:2610.09498v1 公告类型：交叉收录 摘要：临床视觉模型通常以冻结的黑盒形式部署，在推理时无法访问其内部结构、进行重新训练或获取真实标签。我们提出 \textbf{SpatialUQ}，一种仅使用输出概率的事后不确定性量化方法。该方法通过六次确定性前向传播，计算全局预测与五个固定空间裁剪区域的平均预测之间的 Jensen-Shannon 散度。其前提很简单：可信的预测具有空间一致性。在 NIH ChestX-ray14（DenseNet-121，$N{=}25{,}596$）上，我们的多裁剪不确定性评分（MUS）在失败检测任务中的 AUC 达到 $0.784$，而 MC-Dropout 为 $0.664$（$p{<}10^{-6}$），计算量却仅为其五分之一；同时，MUS 无需额外校准即可获得良好的校准表现（$\text{SCE}{=}0.049$，而 $\ell_1$ 为 $0.127$），在 AUC 超过 0.78 的方法中校准表现最佳。将 MUS 与熵、置信度及 $\ell_1$ 进行有监督融合后，AUC 达到 $0.832$，优于包含五个成员的集成模型（$0.813$）。MUS 的表现随模型质量提升而提高，使用 BiomedCLIP 时达到 $0.899$（$\rho = 0.846$）；这种关系在分布内仍然具有意义（$\rho = 0.523$），但在严重分布偏移下不再成立（VinBigData，$\rho = 0.027$）。MUS 非常适合弥漫性影像表现，但对于结节等小型局灶性病变，其可靠性较低。代码和实验材料已公开，地址为 https://huggingface.co/datasets/kawsher11/SpatialUQ。
12:00 arXiv cs.LG 71
arXiv:2610.09346v1 公告类型：交叉发布 摘要：量化感知训练（QAT）能够恢复大语言模型压缩至四比特以下时损失的大部分准确率。然而，现有的性能恢复阶段通常基于固定的补全文本或教师生成的答案进行优化，而部署后的量化模型则以自身生成的前缀为条件。因此，量化误差可能使模型进入离线恢复数据中未曾出现的状态。我们提出 OnlineQAT，这是一个两阶段框架：首先通过分块 QAT 获得可用的低比特初始化，然后基于学生生成的回答进行同策略蒸馏（OPD）。在每个访问到的前缀处，冻结的全精度教师模型提供基于采样的反向 KL 训练信号。在 Qwen3-1.7B 上，OnlineQAT 在所比较的量化方法中取得了最高的平均得分：W3A16 下为 57.28，W2A16 下为 32.52，分别比 ReasoningQAT 提高了 2.90 分和 0.44 分。结果表明，学生访问到的状态能够提供固定补全文本训练之外的有效恢复信号，尤其是在三比特量化下。
12:00 arXiv cs.LG 76
arXiv:2610.09227v1 公告类型：交叉发布 摘要：混合精度训练后量化需要逐模块的敏感度信号；对于文本嵌入模型，最直观的信号——量化某个模块所造成的检索质量损失——需要相关性标签，而部署环境中很少具备这些标签。我们测量了一种无需标签的替代指标：量化引起的表征漂移。具体做法是量化一个模块，重新编码语料库，并记录输出嵌入相对于其全精度位置移动了多远。其独特之处在于所观测的对象：部署后的稠密检索器用于排序的输出表征。在五个开发阶段使用的嵌入模型上，配置级漂移对采样得到的混合精度方案的排序，与留出数据上的检索质量排序之间的宏平均 Spearman 相关系数达到 0.911；在可用范围内，该敏感度可跨校准语料库和检索领域迁移；各模块漂移的组合在排序上保持一致，但在数值上并不一致；而由相关性标签推导出的敏感度并未带来稳定的额外价值。该方法在严格的打包字节数预算下进行一次基于可加性的分配，无需标签，也无需搜索。在方法、基线和假设均已冻结并封存之前始终未被触及的三个嵌入模型上，针对先前 LieQ 准则预注册的方向性假设均得到验证（在主要预算下为 3/3，且未出现性能崩溃），漂移方法的得分在其中 2/3 的模型上超过了经过充分强化的双侧 LieQ 对照方案；但在主要预算下，尽管漂移方法如设计预期那样降低了模块和整个模型的漂移，其数值表现仍在全部三个模型上低于相同预算的统一精度方案（分别低 0.99、0.85、1.01 个点）。因此，输出漂移是一种稳健的粗粒度敏感度信号，而非普遍最优的精度分配目标：它避免了迁移后的有符号几何适配方法所出现的灾难性失败，并且在统一精度方案崩溃的紧张预算下仍可能保持可用；但如何围绕表现强劲的统一精度工作点进行细粒度重新分配，仍是尚未解决的问题。
12:00 arXiv cs.LG 77
arXiv:2610.09202v1 公告类型：交叉发布 摘要：当权重、激活值和 KV 缓存同时量化时，极低比特大语言模型压缩面临的挑战最为严峻：它们的分布各不相同，量化误差还会在整个网络中相互作用。我们提出 CanonQ，这是一种统一的量化感知训练框架，通过将源规范化与任务感知适配分离来应对这些挑战。固定旋转和能量归一化将异构张量源映射到规范坐标系，使冻结的高斯参考码本能够跨层、跨模型复用。随后，联合训练在统一的标量／向量接口内，使网络适应权重、激活值和缓存量化产生的耦合误差。我们给出了冻结码本迁移误差和局部任务损失的界，并推导出精确的归一化感知直通雅可比矩阵，将量化失真与梯度偏差联系起来。最显著的收益出现在联合 W2A4KV2 压缩下：在 LLaMA3-1B/3B/8B 上，相比此前最先进的方法及具有代表性的量化基线，CanonQ-Omni 将 WikiText-2 困惑度最多降至其 1/14.28，平均零样本准确率最多提高 57.9%。这些优势还扩展到了 Qwen3-1.7B、代码生成和数学推理：在经过指令微调的 MobileLLM-Pro-1B 上，采用 W2A16KV16 时，相比所评估的最强量化基线，CanonQ 在 HumanEval pass@1 和 GSM8K 精确匹配率上分别实现了 41.7% 和 39.1% 的相对提升。
12:00 arXiv cs.LG 80
arXiv:2610.09111v1 公告类型：交叉发布 摘要：确定性推理对于可靠且值得信赖的机器学习至关重要。此前关于文本生成的研究表明，即使提示词、模型参数和采样随机性保持不变，改变批大小、批组成、硬件或推理引擎等因素，也可能改变生成的文本。这些差异部分归因于浮点运算的非结合性、依赖张量形状的计算内核选择，以及数值执行中其他实现层面的差异。然而，同样的因素是否、何时以及在多大程度上影响文本分类，目前仍不清楚。我们对文本分类器在服务上下文变化下的非不变性进行了系统研究，此前的工作仅通过生成文本来衡量这一现象。我们训练了180个模型，涵盖判别式、伪生成式和完全生成式分类器范式，并在保持检查点和文本不变的情况下，在四类服务上下文中评估每个模型。标签稳定并不意味着分数稳定。仅改变批形状，在fp32对比中不会导致任何标签变化，但在bf16下会使预测概率质量发生高达56.7个百分点的偏移，且标签变化集中在分类间隔较小的样本上。在相同的服务条件变化下，完全生成式分类器的标签变化多于对应的判别式分类器。我们推导了每种服务条件变化下标签保持稳定的充分条件，并针对每种机制分别提出了缓解措施。我们的结果识别并量化了为实现可复现的文本分类而必须固定的服务条件。
12:00 arXiv cs.LG 75
arXiv:2610.09087v1 公告类型：交叉收录 摘要：大语言模型正为事关越来越重大的决策提供依据。随着其错误造成的后果愈发严重，一个核心问题变得越来越不容忽视：我们究竟能在多大程度上信任某个回答？然而，识别何时应暂缓作答并交由他人判断仍然很困难，因为语言模型可能以流畅的解释和权威的语气呈现错误结论。不确定性量化旨在通过估计单次预测的可靠性来弥合这一脱节。然而，许多现有方法需要重复生成或单独训练的组件，而且其标量估计无法揭示不确定性在何处产生，或在推理过程中如何演变。近期研究还表明，生成长度可能与不确定性估计和正确性高度相关，这引出了一个问题：估计器的预测能力究竟有多少来自不确定性特有的信息，而非仅仅来自输出长度？机制可解释性通过将人类可理解的概念与模型的中间状态关联起来，为克服这些局限提供了一条路径。基于这一能力，我们提出了 U-Space，这是一个低维子空间，使模型不断变化的不确定性变得可测量、可解释。我们识别代表怀疑与确定的语义锚点，将其反嵌入方向映射回残差空间，并将这些方向之间的差异组合成一组正交基。U-Lens 将每个词元的状态投影到这些基向量上，生成可解释的词元级不确定性图谱，既可直接查看，也可聚合为标量不确定性分数。我们的方法无需正确性标签、重复生成或训练。在多个推理基准测试中，无论采用标准评估还是控制长度的评估，其置信度分数均优于成熟的基线方法，且比有监督估计器具有更可靠的迁移能力。代码：https://github.com/s2labres/U-Space。
12:00 arXiv cs.LG 73
arXiv:2610.08827v1 公告类型：cross 摘要：自动语音识别（ASR）系统在处理儿童和非母语说话者的语音时通常表现不佳，而将成人 ASR 模型适配到儿童语音可能导致成人语音遗忘。我们在阿拉伯语和英语环境下研究兼顾成人语音保持的儿童 ASR 适配。我们比较了全量微调、LoRA，以及在编码器--解码器、编码器--CTC 和基于 AudioLLM 的 ASR 系统上进行的事后权重空间合并。实验使用了阿拉伯语母语和非母语儿童语音、英语 MyST 儿童语音，以及来自 MGB-2 和 LibriSpeech test-clean 的成人语音基准。我们使用 WER 评估识别质量，并通过 Retention Index、Child Adaptation Gain 和 Adaptation Recovery 量化适配与保持之间的权衡。结果表明，儿童语音适配是必要的，尤其是对于非母语阿拉伯语和英语儿童语音；但直接适配通常会降低成人 ASR 性能。双语适配比特定语言适配更加稳定。权重空间合并通常能够改善这种权衡，尤其是对于编码器--CTC、Whisper 和基于 AudioLLM 的 ASR；其中，LERP 更有利于保持成人语音性能，而 TIES 则能恢复更强的儿童语音增益。对于编码器--解码器模型，直接进行双语微调在原始 WER 指标上仍然表现最佳。\footnote{代码和模型可从 https://github.com/qcri/Child-ASR-Adaptation 获取。
12:00 arXiv cs.LG 72
arXiv:2610.10385v1 公告类型：new 摘要：嵌入表是现代语言模型中规模最大的组件之一。大多数压缩方法会固定一种编码几何结构，例如坐标块、低秩子空间或不受限制的码本，并在其中进行优化。相较之下，我们探讨编码几何结构本身能否被发现。我们提出了 \emph{OrBIT}，一种结构引导的嵌入压缩框架：该框架从轨道动力学中学习可复用的局部几何结构，并利用它约束一小组共享码字。全局重构残差随后决定固定的编码预算应分配到何处，而冗余的重叠图表则使局部误差能够在拼接后相互补偿。我们的理论展示了紧图表几何结构如何控制失真、全局残差如何引导序贯分配，以及数据几何引导的细化如何改进编解码器。最终得到的轨道机制会被编译消除，留下一个紧凑的解码器，其中学习到的结构决定存储哪些内容、在哪里分配容量，以及如何在全局范围内组装局部信息。在四个 LLM 嵌入表上，相较于 16 位存储，OrBIT 在 GPT-2 上实现了 $37.9\times$ 的压缩率，在每个 7B 表上实现了超过 $23\times$ 的压缩率，同时相较于成熟的量化和低秩基线方法，仍能提供具有竞争力的率失真性能。
12:00 arXiv cs.LG 78
arXiv:2610.10311v1 公告类型：新论文 摘要：新兴计算机硬件常常以可靠性换取能效；在此，我们展示了大型语言模型（LLMs）可以经过训练以容忍这种不可靠性，而且它们的错误韧性非但不会下降，反而会随着模型规模增长而增强。基于在模拟故障数字硬件上进行的 40,000 GPU-hours 训练运行所推断出的修正神经缩放定律，量化了这一趋势，并表明模型学会了在“良好”的纠错码中进行计算，而无论模型规模多大，这些纠错码的相对开销始终保持有限。这一发现促使我们推测，经过适当训练的 LLMs 可能具备形式上的容错能力；如果这一推测成立，那么在低能耗、存在故障的硬件上运行 AI 推理，可能成为相较现状大幅节能的一条路径。
12:00 arXiv cs.LG 72
arXiv:2610.09914v1 发布类型：new 摘要：强化学习对于提升大型语言模型的推理能力和泛化能力至关重要。它依赖大量 Rollout，而随着上下文窗口不断增大，这些 Rollout 的长度分布呈现出越来越明显的长尾特征。在在线策略训练中，这些长尾 Rollout 可能导致 GPU 空转，降低系统利用率并限制强化学习的可扩展性。异步或部分 Rollout 方法通过放宽同步要求来提高吞吐量，但不可避免地会引入陈旧的离策略样本（轨迹），从而可能损害最终准确率。现有方法主要通过在训练期间对离策略样本重新加权来缓解这一问题，但与完全在线策略训练相比，仍可能存在性能差距。在本文中，我们不再被动地在训练期间对样本重新加权，而是提出 RollVerify，这是一种构建于部分 Rollout 之上的轻量级强化学习框架，能够在样本进入训练前主动验证并修复样本。具体而言，该框架引入离策略偏移度量 OPS，用于量化部分生成轨迹的离策略偏差。在 OPS 约束的指导下，RollVerify 同时执行序列级和词元级验证，以识别并截断轨迹中无效的后缀。这样既能生成保护模型准确率的高质量样本，又能保留部分 Rollout 带来的效率优势。在数学推理和工具辅助数学推理任务上的实验表明，RollVerify 在降低训练成本的同时，能够达到与在线策略训练相当的准确率。额外的代码生成结果也为其在数学领域之外的有效性提供了初步证据。
12:00 arXiv cs.LG 76
arXiv:2610.09877v1 公告类型：新 摘要：混合精度训练后量化是一种网络压缩方法，它利用小规模校准集，在全局内存预算约束下逐层分配比特数。其主要难点在于克服分配问题的组合性质，以及应对小规模且可能遭到破坏的数据集所带来的敏感性。因此，高效的分配方法应当计算速度快，并且在校准数据遭到破坏时仍能保持模型质量。为设计这样的方法，我们对量化误差进行逐层概率分析，将传播误差与特定层引入的局部扰动分离开来。我们利用这一局部项为简单的分配算法构建可分离评分，该算法无需外部求解器。我们方法的概率性质使其具备应对数据损坏的鲁棒性。在使用 DRUNet 的去噪任务中，当平均每个权重分配 4 比特时，在校准数据干净的情况下，我们的方法达到或超过了当前最先进的混合精度基线方法；在校准数据遭到破坏时则更加稳健，在所测试的破坏条件下，PSNR 最高提升 7.5 dB。实验表明，与所研究的基线方法相比，比特分配速度提升了 28 倍至 2,570 倍。对于量化扩散模型，我们的实验表明，直接应用我们的框架同样能够提升当前最先进水平。
12:00 arXiv cs.LG 78
arXiv:2610.09827v1 公告类型：新 摘要：长输入和延长生成会增加键值（KV）缓存的存储与访问成本。低比特量化可减少存储和内存流量，而查询通道剪枝则能进一步减少键缓存读取。基于旋转的量化会将键中的异常值能量重新分配到各个通道。为保持计算不变性，必须对查询应用相同的正交变换，从而保留查询与键的点积。然而，这种旋转可能会分散查询能量，削弱少数需要保留的大分量与大量可剪枝的小分量之间的区分度。我们提出 Dual-QK，利用成对的非正交查询变换和键变换来解决这一冲突。Dual-QK 使用校准后的查询和键统计信息，将部分键白化与查询对齐基相结合，从而平衡键的尺度以进行 INT2 量化，并集中查询能量以实现动态通道剪枝。通道 0 保护和相对桶的 RoPE 支持在长上下文中实现低比特精度。在四个模型、五个生成基准以及长上下文检索任务上的实验表明，在 40% 查询通道稀疏率下，Dual-QK 在大多数任务上的准确率优于 OSCAR。在 128K 上下文下，相较于未剪枝的 BF16，Dual-QK 可实现 $6.8\times$ 的 KV 缓存压缩，并预计将 KV 读取量减少 $8.3\times$。在所评估的配置下，我们的 SGLang 实现的解码吞吐量最高可达到未剪枝 BF16 的 $3.75\times$。
12:00 arXiv cs.LG 72
arXiv:2610.09768v1 公告类型：新稿 摘要：平均场极限通过神经网络参数经验分布的演化来描述宽神经网络的训练动力学。尽管函数型中心极限定理刻画了该分布的渐近涨落，但实际关注的量通常是参数分布的非线性可观测量，而非分布本身。在本文中，我们展示了对于通过随机梯度下降训练的浅层神经网络，这些平均场涨落如何传播至有限维非线性可观测量。在构造极限涨落过程所用的加权 Sobolev 空间中，我们在通常的 Fréchet 可微性条件下应用函数型 Delta 方法，无需关于测度变量的 Lions 导数。我们得到了可观测量的中心极限定理，并在其微分具有适当表示的条件下，得到了由底层平均场涨落理论导出的显式协方差公式。我们还研究了能否从选定的观测中恢复指定的关注量。在常秩假设下，我们证明，一个关注量能够局部地通过观测泛函进行因子分解，当且仅当在整个邻域内，观测的微分的核包含于该关注量的微分的核。因此，直接在环境 Sobolev 空间中表述的一个微分条件，给出了精确的非线性局部因子分解。这些结果提供了一个框架，既可用于量化可观测且具有统计或物理意义的量的有限宽度不确定性，也可用于评估所选观测是否包含识别这些量所需的信息。
12:00 arXiv cs.LG 76
arXiv:2610.09375v1 公告类型：新 摘要：越来越多的组织使用前沿语言模型分析客户反馈，但回答质量也取决于这些反馈如何被组织和提供。我们将\emph{Customer Context Graph}定义为客户与业务上下文的统一模型。类型化关系连接客户对象（反馈、对话、用户和账户）、运营对象（工单、支持代理、商机和竞争对手），以及分析或行动对象（分类体系概念、证据、洞察、工作项和结果）。这使代理不仅能够调查客户说了什么，还能了解其原因、受影响者、后续采取了什么行动、由谁负责，以及问题是否得到解决。在本实验中，该图谱由公开的 Cursor 反馈构建；同一架构也可支持任何类型的反馈来源。我们使用相同的 9,432 条公开 Cursor 反馈记录和 30 个现实的产品、事件、比较及元数据问题，对比了 Agentic RAG、Deep Research Agent 和 Customer Context Graph-backed Agent。在缺乏详尽真实答案的情况下，我们依据一套针对 30 个问题中的 28 个进行校准的比较评分标准，从回答质量（覆盖面和组织性）、分析深度（具体性和分解程度）以及证据质量（引用支持和可追溯性）三个方面对回答进行联合评分。我们根据各项主张抽样检查被引用的记录，并对三个维度赋予相同权重。在这一对齐后的评分标准下，Customer Context Graph-backed Agent 的总体得分为 0.961，而 Deep Research Agent 和 Agentic RAG 分别为 0.710 和 0.651；在 30 个配对问题中的 27 个问题上，它领先于 Deep Research Agent（符号检验 p < 10^(-5)；在 30 个问题中的 26 个上严格领先）。其最大优势在于分析深度（0.967 对 0.642），体现为更具体、层次更清晰的发现，以及经过量化的主题和可追溯的证据……
12:00 arXiv cs.LG 78
arXiv:2610.09025v1 公告类型：新 摘要：基于索引器的稀疏注意力通过仅将固定数量的少量重要 token 传递给核心注意力模块，降低了其计算成本。然而，索引器仍必须在每个解码步骤对整个 KV 缓存进行评分。随着上下文长度增加，这一评分开销会成为主要瓶颈。我们提出 SPIN（Shadow Predictive Indexer）以降低索引器开销。SPIN 使用基于历史记录的轻量级预测来识别重要的 KV 块，从而避免在每个解码步骤对完整 KV 缓存进行评分。SPIN 将 KV 块和推测解码作为设计与实现中的一等要素。在长上下文和智能体基准上的大量评估表明，SPIN 在保持任务质量的同时实现了 30%–40% 的稀疏度。在端到端 vLLM 服务中，SPIN 将输出吞吐量最高提升 14.9%，并将 token 间延迟中位数最高降低 13.2%。
12:00 arXiv cs.LG 78
arXiv:2610.08811v1 发布类型：新论文 摘要：随着上下文窗口扩展到数万甚至数十万词元，KV缓存压缩已成为高效LLM推理的必需技术。现有方法可分为三类：基于分数的驱逐、摘要补偿，以及卸载与召回。然而，这三类方法都根据内容与当前查询的相关性来决定保留或召回哪些内容。我们发现，这种共同的设计在结构上并不完整。缓存支持两种访问模式：按内容进行关联查找，以及按位置进行顺序遍历；而现有压缩器只实现了前者。这一缺口在实际应用中十分重要：检索增强生成、代码补全和结构化数据提取都要求模型从上下文中逐字复现标识符、字段值或代码词元。在压缩条件下，基于内容的驱逐会保留此类序列的开头，却丢弃其后续部分，导致逐字复制在中途不可逆地中断；我们将这一失败称为顺序遗忘。这种失败无法通过改进评分、扩大预算、摘要补偿或动态重新评分来解决；它是压缩条件下剩余质量损失的主要来源。我们提出KVFetch，这是一个无需训练、可即插即用的框架，能够为任意基于分数的压缩器建立时间召回通道。它将被驱逐的候选项降级到量化冷层，通过单调递增的读取指针检测活跃的复制过程，并将位置上的后继内容预取到固定大小的热层槽位中，同时不增加注意力开销。在相同预算对照下的RULER-16K测试中，KVFetch将逐字复制得分从0.8提升至78.4，并使13项任务的平均得分提高8.4；增益主要集中在需要顺序访问的任务上。在不包含任何需要顺序访问任务的LongBench上，该通道保持休眠状态，不产生额外开销。
00:05 arXiv cs.AI 79
新兴计算机硬件往往以牺牲可靠性来换取能源效率；我们在此表明，大语言模型（LLMs）可以通过训练来容忍这种不可靠性，而且随着模型规模增大，其错误韧性非但不会下降，反而会增强。我们根据在模拟故障数字硬件上进行的累计 40,000 GPU 小时的训练，推导出修正后的神经缩放定律，量化了这一趋势，并表明模型学会了在“良好”的纠错码中进行计算，而无论模型规模增大到何种程度，这些纠错码的相对开销始终保持有限。这一发现使我们推测，经过适当训练的 LLMs 可能在形式化意义上具备容错性；如果这一推测成立，那么在低能耗、存在故障的硬件上运行 AI 推理，可能成为相较于现状大幅节能的一条路径。
00:30 arXiv cs.AI 80
随着多模态大语言模型（MLLM）的能力不断增强并得到广泛部署，隐私与安全问题日益紧迫。机器遗忘通过从已训练模型中移除指定信息，同时保留无关能力，为解决这些问题提供了一种途径。然而，实现方式和评估协议的碎片化、鲁棒性测试的不完整，以及对指标可靠性认识的不足，使得 MLLM 机器遗忘的进展难以得到系统评估。我们提出 Open-MMUnlearning，这是一个开源、可扩展的框架，通过共享接口和结构化配置，整合目标模型准备、多模态数据处理、机器遗忘与评估。该框架支持涵盖隐私、安全和版权的五个基准、来自四个模型系列的八个 MLLM，以及十二种机器遗忘方法。其评估套件综合评估遗忘效果、保留的效用，以及面对模型干预、对抗性输入和成员推断攻击时的鲁棒性。我们使用统一的评估协议，对十种具有代表性的机器遗忘方法进行了比较。在这项比较中，GD 和 MIP-Editor 并列获得最高综合得分：GD 的遗忘质量最高，而 MIP-Editor 保留了更多模型效用。我们进一步提出一种指标元评估协议，利用对目标知识接触程度受控的模型测试指标的忠实性，并测试其在量化和重新学习条件下的鲁棒性。在所评估的十三项指标中，BLEU 获得了最高的综合可靠性得分。KS-Test 的忠实性 AUC 最高，但在鲁棒性方面表现较弱。该框架与这些发现共同支持对 MLLM 机器遗忘方法开展可复现的比较，并对评估可靠性进行系统考察。
17:53 arXiv cs.AI 74
边缘设备上的小型语言模型智能体必须在同一个充满对话历史和人设指令的上下文窗口内，同时维持人设并进行正确推理。我们研究了当对话历史冗长、具有误导性且充斥人设内容时，这类智能体的逻辑部分会受到什么影响（人设—逻辑干扰），并提出一种解耦架构（AO-DA）：在一个配备可热切换 LoRA 适配器的 INT4 基础模型上，将逻辑推理（“做什么”）与人设表达（“如何表达”）分离为两条推理路径。逻辑路径仅接收当前轮次的核心内容，并输出可验证的结构化状态（Micro-State）；人设路径则结合完整历史，以符合角色设定的方式呈现该状态。在 Apple M2 笔记本电脑上开展的同基础模型消融实验中（Llama-3.1-8B-Instruct 和 Gemma-3-4B-it，4 位量化；4 个污染级别 × 3 个实验组 × 2 项任务 × 2 种人设 × 5 个随机种子，共 480 次运行），我们发现：(i) 解耦后的逻辑路径在结构上不随污染程度变化：其提示词长度始终保持为 180（Llama）或 167（Gemma）个 token，而混合式单次推理的提示词长度从 242 增至 1,203 个 token；其输出在各污染级别下逐字节一致（40/40）；(ii) 混合式单次推理的表现随污染程度增加而单调下降（Llama 的综合逻辑得分从 0.669 降至 0.150，Gemma 从 0.487 降至 0.150），主要原因是未能输出所要求的结构化内容（在最高的两个污染级别下，Llama 有 80–95% 的运行出现该问题，Gemma 则为 100%）；(iii) 当向解耦后的逻辑路径输入相同污染内容时，采用专用适配器和专用格式的路径在 8B 模型上仍比单次推理更稳健（失败率为 0–20%，对比组为 80–95%；配对 $Δ$ 为 +0.30 至 +0.50，Cliff's $δ$ 为 0.50–0.85，Holm 校正后的 $p \le 0.03$），但在 4B 模型上并非如此，两种方式均告崩溃。分离的代价是在一个话题的首轮中增加一次解码（Llama 上为 28.2 秒，对比组为 18.2 秒），换来的能力是无需重新运行逻辑路径，即可在 1.7 毫秒内完成人设热切换。代码、评分标准、测试夹具、适配器和日志均已公开。
18:19 arXiv cs.AI 76
基于概念的视觉模型通过一层可供人类审查的中间概念来表示图像，从而可以将模型所依赖的依据追溯到这些概念。然而，这类模型往往局限于固定类别，或依赖语言来定义概念。我们提出 DisParQ（Discrete Parts with Quantized attributes），这是一种从强大且冻结的纯视觉自监督骨干网络中学习具有空间定位的离散概念表示的方法。该方法既不需要类别标签，也不需要语言监督。每个图像块都被分配给可学习原型字典中唯一的一个概念，并且每幅图像只允许激活一个稀疏的概念子集。为捕捉每个概念在不同图像中的变化（例如“车轮”的类型），我们在学习概念的同时学习连续残差，再将其量化为离散属性。空间解码器仅根据概念和属性重建骨干网络的表示，因此，重建成功意味着离散表示保留了骨干网络的信息。我们在七个数据集上评估了 DisParQ，涵盖通用识别数据集（ImageNet、PartImageNet、Places）和细粒度基准数据集（CUB、Cars、Dogs、Flowers）。结果表明，DisParQ 在 ImageNet 线性探测评估中的表现与其冻结的 DINOv2 教师模型十分接近（top-1 准确率为 83.2%），概念一致性高于语言对齐模型，在细粒度识别任务中保持竞争力，并支持基于部件的跨类别检索。
20:05 arXiv cs.AI 75
强化学习对于提升大语言模型的推理与泛化能力至关重要。它依赖大规模轨迹生成，而随着上下文窗口的增大，轨迹长度的长尾特征日益显著。在同策略训练中，这些长尾轨迹生成任务会导致 GPU 空转，降低系统利用率并限制强化学习的可扩展性。异步方法或部分轨迹生成方法通过放宽同步要求来提高吞吐量，但不可避免地会引入过时的离策略样本（轨迹），可能损害最终准确性。现有方法主要通过在训练期间对离策略样本重新加权来缓解这一问题，但与完全同策略训练相比，仍可能存在性能差距。在本研究中，我们提出 RollVerify，这是一种基于部分轨迹生成的轻量级强化学习框架，不再于训练期间被动地对样本重新加权，而是在样本进入训练前主动对其进行验证和修复。具体而言，该框架引入离策略偏移指标 OPS，用于量化部分生成轨迹的离策略偏差。在 OPS 约束的指导下，RollVerify 同时执行序列级和词元级验证，以识别并截断轨迹中的无效后缀。这种方式能够生成高质量样本，在保持部分轨迹生成所带来的效率优势的同时，保障模型的准确性。数学推理和工具辅助数学推理实验表明，RollVerify 在降低训练成本的同时，实现了与同策略训练相当的准确性。额外的代码生成结果为其在数学以外领域的有效性提供了初步证据。
03:40 Hacker News AI 39
12:00 arXiv cs.LG 78
arXiv:2609.15039v3 公告类型：replace-cross 摘要：用户提供给大语言模型（LLM）的提示词可能包含隐私信息。一种保护方式是在可信执行环境（TEE）内运行 LLM。然而，这会导致推理缓慢，因为在 LLM 推理任务中，当前 TEE 的速度显著低于 GPU。为解决这一问题，Tram\`er 和 Boneh（2019）提出了 Slalom，将神经网络推理拆分到 TEE 和不可信 GPU 上执行，并对外包给 GPU 的计算所使用的输入进行加密。本文将这种拆分推理架构扩展到 LLM 推理，并改用差分隐私（DP）保护中间输入。我们首先展示了一种利用中间表示重建提示词的攻击，其准确率达到 80%，从而证明对中间表示进行掩蔽的必要性。我们的主要贡献是对 LLM 推理中关键函数的全局敏感度进行分析，从而为所需的 DP 噪声尺度给出界限。与加密不同，DP 无需量化，使 LLM 能够始终在浮点域中运行。我们还推导了掩蔽及后续噪声消除所引入的浮点误差上界，该上界是隐私参数 epsilon 的函数，同时保持 LLM 响应质量不变。我们使用 Intel TDX TEE 和两个 LLM——Llama-3.2-3B 与 Qwen3-4B——实现了这一架构。我们的拆分执行速度接近完全基于 TDX 的推理的两倍。此外，其速度比 Slalom 最多快 43%，同时准确率更高。最后，我们证明，即使已知 DP 机制，提示词重建也无法恢复出比无关提示词所包含的信息更多的信息。
12:00 arXiv cs.LG 76
arXiv:2605.17705v2 公告类型：replace-cross 摘要：我们研究部分可观测面板中的在线共形预测：在每个目标结果出现之前，都会观测到一组新的同类单元结果截面；目标反馈可能间歇出现或完全缺失，且单元和轮次均不必满足可交换性。我们提出 Weighted Temporal Quantile Adjustment（W-TQA），将从单元历史中学习到的相似性权重与针对特定目标的自适应未覆盖率水平相结合。我们证明，目标与同类单元之间的不匹配程度以及未揭示结果轮次上的覆盖率均不可识别，因此，对跨单元相似性和反馈机制的假设不可避免。我们根据这种不匹配程度给出以过去信息为条件的未覆盖率上界，在特征剖面相似性假设下量化学习权重的代价，并证明，在反馈完全随机缺失且校准面板满足可行性条件时，以同类单元的最大得分作为回退方案的实际执行流程能够达到长期平均覆盖率要求。在合成面板和四个真实面板上，包括一个真正异步的美国至东京股票面板，W-TQA 在每个面板中覆盖最差的目标单元上均取得了最高覆盖率；当目标反馈稀缺时，相似性加权的贡献最大，而随着反馈积累，时间自适应的贡献则更大。
12:00 arXiv cs.LG 81
arXiv:2602.06869v3 公告类型：replace-cross 摘要：我们研究了大型语言模型（LLMs）多目标对齐中一种持续存在的失效模式：标量化训练仅改善部分目标，却使其他目标退化。我们将这一现象形式化为跨目标干扰，并据我们所知，首次对多目标 LLM 对齐中的标量化算法开展了系统性研究。研究表明，干扰普遍存在于各类算法中，但高度依赖于模型。为理解干扰如何产生，我们推导出一条局部协方差定律：在一阶近似下，一个目标改善还是退化，取决于其奖励与标量化得分之间协方差的正负。我们将这一定律扩展到现代强化微调中的裁剪代理目标，并证明它在温和条件下仍然成立。基于这一定律，我们提出了 COVariance-floor Enforced Reweighting（COVER），这是一种单侧控制器，仅在某个目标的奖励与裁剪后的优势权重之间的协方差低于设定阈值时，才提高该目标的权重。通过大量实验，我们发现 COVER 能够缓解跨目标干扰，同时在各目标已经共同改善的情况下，达到与线性标量化相当的表现。最后，为解释干扰为何依赖于模型，我们以全局收敛性分析补充了局部协方差定律。该分析给出了非凸标量化目标满足 Polyak--\L{}ojasiewicz 条件的充分条件，并将干扰与模型几何结构联系起来。
12:00 arXiv cs.LG 80
arXiv:2609.33051v2 公告类型：替换 摘要：混合注意力模型用线性注意力替换大多数 softmax 注意力层，从而减少 KV 缓存的增长，并支持更大的解码批次，此时循环状态访问成为主要瓶颈。ReplaySSM 通过缓冲键和值来摊销状态更新开销，但每个新查询仍需读取完整状态，即使状态在两次更新之间保持不变。我们观察到，采用状态加权的低秩查询近似能够准确保留状态读取的输出。尽管未来的查询未知，用于近似这些查询的基向量却可以离线确定。基于这一观察，我们提出了 SketchSSM，它在保留完整状态更新的同时，对读取进行近似。在每次状态更新时，SketchSSM 读取一次完整状态，预先计算这些基向量对应的输出，并将其存储在紧凑草图中。随后的每个解码步骤将草图向量与依赖于查询的系数组合起来，无需读取完整状态即可重建输出。在四个基于 Mamba-2、GDN 和 KDA 的模型上，当草图的平均秩为 8 时，SketchSSM 将状态访问流量降低至原来的约十分之一，同时在四项解码基准测试中达到与 FP32 完整状态基线相当的平均准确率，并在四项 RULER 检索任务中保持召回率。在此秩下，使用单张 NVIDIA B300 时，相对于 Standard vLLM 基线，Mamba-2、GDN 和 KDA 的线性注意力内核分别实现了 7.30 倍、5.02 倍和 5.24 倍的加速，Nemotron 3 Super 的解码吞吐量最高达到基线的 2.77 倍。
12:00 arXiv cs.LG 77
arXiv:2608.13966v2 公告类型：替换 摘要：随着大语言模型推理转向更低精度，训练后量化（PTQ）变得越来越脆弱，因此量化感知训练（QAT）对于保持模型质量至关重要。然而，QAT 存在一种结构性失配：梯度更新应用于潜在的全精度权重，而损失和梯度却基于这些权重的有损重建结果计算。这种失配可能导致次优的训练轨迹和更高的损失下限。二阶 PTQ 方法通过最小化损失感知重建误差来解决类似问题，但在 QAT 期间，随着权重不断变化，反复执行这种计算成本高昂的重建并不切实际。我们提出 QUASAR，这是一种将轻量级损失感知重建引入训练循环的 QAT 方法。在每个训练步骤中，QUASAR 通过搜索一小组裁剪范围，并利用显著性加权最小二乘法拟合反量化参数，来重建潜在权重。我们使用梯度平方的指数移动平均值作为每个参数的显著性信号。理论分析表明，优化 QUASAR 的重建目标能够同时收紧 QAT 的收敛界和最终损失界。我们在四个模型系列以及 INT4、INT3、INT2 和 NVFP4 量化格式上评估了 QUASAR。与具有竞争力的 QAT 方法相比，QUASAR 始终取得更低的训练损失和评估损失，并在下游基准测试中优于 QAT 和 PTQ 基线。在 INT2 精度下，相较于最佳 QAT 基线，QUASAR 使用量化感知蒸馏时将平均准确率提高了 13.3 个百分点，在数学推理数据上进行 QAT 时则提高了 10.9 个百分点。值得注意的是，仅使用约 6 亿个 token 进行蒸馏后，QUASAR 的 INT4 Gemma-4 E4B 检查点就优于 Google 发布的对应 QAT 检查点，KL 散度降低了 66%，平均准确率提高了 1.8 个百分点。
12:00 arXiv cs.LG 71
arXiv:2610.08055v1 公告类型：交叉收录 摘要：双人咨询对话中沟通质量的自动评估受制于数据瓶颈：经专家评分的语料库规模小，扩充成本高。我们研究了在三个德语模拟咨询语料库之间，对专家总体印象的预测能否实现跨域迁移（两个为全科医疗咨询语料库，一个为学校相关的家长—教师咨询语料库；共 $n=195$ 场经专家评分的咨询，其中一个语料库经过量表等值处理）。在其他领域上训练优于在目标领域内训练：留一领域迁移的嵌套评估 Spearman $\rho = 0.54$，而目标领域内训练的结果为 $\le 0.48$；按咨询场次配对比较的差距为 $+0.15$，在训练集规模匹配后仍为 $+0.12$，因此这一优势并非仅由数据量带来。起决定性作用的特征，是小型开放权重 LLM 阅读双人对话转录文本后给出的场次级构念得分，而这些构念主要源自专家使用的评分工具：相较于通用对话质量指标，源自评分工具的指标组将单个评判器的表现从 $0.32$ 提升至 $0.41$；对来自三个模型家族的评判器进行集成后，仅使用语言信息即可达到 $0.51$；再加入双人非言语特征组可额外提升 $+0.03$，但在当前样本量下无法将这一增益与噪声区分开来。我们还量化了录制配置的代价：一个语料库丢失了按说话人分别录制的音频，其经说话人分离的片段中有 16% 的说话人标注错误，修复后该语料库上的表现提升了 $+0.07$。在实际可获得的语料库规模下，专家的总体印象主要承载于谈话内容之中；而与本项目的数据相比，其他沟通项目的数据更有助于预测这一印象。
12:00 arXiv cs.LG 74
arXiv:2610.07781v1 公告类型：交叉收录 摘要：训练后量化降低了语言模型智能体的部署成本，但其对临时工具故障恢复的影响可能取决于恢复能力的评估方式。我们在二十项确定性工具使用任务和五种提示词下，比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8 位与 4 位版本。8 位与 4 位版本在恢复能力上的比较结果，其优劣方向随提示词和评估对象而变化。在同一提示词下两个版本均能在无故障条件下完成的任务中，Llama 的差异范围为 0 至 +20.2 个百分点，Qwen 则为 -50.0 至 +35.0 个百分点。全流程点估计在全部五种提示词下均显示 8 位 Llama 更优，而 Qwen 的比较结果则随提示词变化而出现优劣反转。评估对象也可能使结果反转。对于某一种提示词下的 Llama，若仅在各版本自身能在无故障条件下通过的任务上评分，4 位版本领先 17.5 个百分点；若在相同任务上对两个版本评分，则没有差异；而对全流程评分时，8 位版本领先 28.3 个百分点。执行器的宽容程度是第三个会影响结果的选择。在该提示词下，8 位 Llama 违反严格输出解析要求的频率远高于 4 位 Llama；使用严格输出解析对同一批日志重新评分，会使上述 +28.3 变为 -15.0，而 Qwen 的结果基本不变。这些发现表明，仅凭一种提示词、一组筛选后的任务和一种评分策略，无法对量化智能体的稳健性得出稳定结论。评估应在匹配的任务上比较不同版本，报告全流程成功率以支持部署决策，明确评分策略，并在任务层面而非注入故障的位置层面量化不确定性。
12:00 arXiv cs.LG 77
arXiv:2610.07780v1 公告类型：交叉发布 摘要：推测解码通过在目标模型验证之前起草多个词元，降低大语言模型的推理延迟，但其有效性同时取决于候选生成机制和草稿深度。固定配置无法响应生成过程中可预测性、重复性和接受率的变化，因此，更深入的起草可能增加无效计算，却无法带来成比例的加速。我们提出 APEX，这是一种通过学习得到的控制器，借助请求级专家选择和块级深度自适应，在解码速度与草稿词元浪费之间取得平衡。APEX-Router 为每个请求从 EAGLE-3、n-gram 和草稿模型推测方法中进行选择，而 APEX-Depth 则利用因果解码信号和验证器近期反馈，在每个验证块调整草稿长度。APEX 将被接受的草稿长度建模为删失生存反馈，学习各位置的拒绝风险、块执行成本，以及兼顾吞吐量、已接受进展和浪费词元的动作效用。这使控制器能够在保留目标模型验证流程的同时，自适应调整推测策略。我们将 APEX 集成到 vLLM 中，并使用 Qwen3-8B 在六种工作负载上进行评估，相较于自回归解码，实现了最高 5.24 倍的加速。在汇总评估中，APEX-S 实现了 4.27 倍的加速，而 APEX-B 实现了 3.27 倍的加速，且相较于 k=16 的固定 n-gram 推测方法，浪费词元比例相对降低了 41.0%，为平衡加速效果与草稿词元利用率提供了不同的运行配置。
12:00 arXiv cs.LG 81
arXiv:2610.07489v1 公告类型：交叉收录 摘要：与外部世界日益增强的连接以及内置安全机制的缺失，使传统车内网络容易遭受网络攻击。早期研究侧重于最大限度地提高对已知和未知攻击的检测准确率，通常采用大型全精度机器学习模型。然而，将入侵检测系统（IDS）嵌入车载电子系统，还要求较低的检测延迟、高能效以及极低的电子控制单元（ECU）资源开销，以处理每秒约 2,000 个 CAN 帧。轻量级模型必须在准确率与这些部署约束之间取得平衡。我们提出了一种双重 IDS 框架，包含分别基于监督学习和无监督学习的解决方案，两者均针对实时、资源受限的汽车平台进行了优化。基于量化 LSTM 的 IDS（QLSTM-IDS）采用单一模型架构，在两个广泛使用的数据集上进行评估，对 DoS/洪泛、模糊测试和欺骗/故障攻击的检测准确率超过 99.9%。该模型使用 Brevitas 量化感知训练库进行训练，通过与 AMD 的 FINN 工具链兼容的自定义模块转换为数据流加速器，并使用 Vitis HLS 进行综合。作为补充，基于 8 位量化卷积自编码器的 IDS（QCAE-IDS）使用 AMD 的 Vitis-AI 工具链进行量化，能够以超过 99% 的准确率检测此前未见的、改变 CAN-ID 序列模式的异常。一种集成架构使两个模型能够在单个 FPGA 上运行，并桥接网络接口 IP 与处理系统，以最大限度地减少软件开销。QLSTM-IDS 的每条消息推理延迟为 0.25 ms，能耗为 0.8 mJ；QCAE-IDS 的每个数据块推理延迟为 0.42 ms，能耗为 1.1 mJ。两种解决方案均在 ZCU104 SoC（XCZU7EV FPGA）上进行了部署和评估，展示了一种灵活的软硬件协同设计，可实时检测高速 CAN 总线上的已知和未知攻击。
12:00 arXiv cs.LG 78
arXiv:2610.07228v1 公告类型：cross 摘要：自然梯度下降（NGD）是机器学习中常用方法的基础。对于双重平坦族，理想化的 NGD 在前向 Kullback--Leibler 目标函数上沿着混合测地线前进，而这条路径通常比最短的 Fisher--Rao 路径更长。我们通过定义低效比率 \(R \ge 1\) 来量化这一额外开销：即混合测地线的 Fisher 长度与 Fisher--Rao 距离之比，并根据参数维度 \(d\) 对端点对上该比率的上确界进行界定。一个张量判据确定了情形（I）的族，这类族处处满足 \(R=1\)：它们恰好是具有二次势或维度为一的族，例如固定协方差高斯族。对于非二次族，我们进一步证明了另外两种情形：（II）有界的三阶偏度加上有限的 Fisher--Rao 直径会导出与维度无关的界；以及（III）对于尺度族的乘积——包括高斯协方差族和 Gamma 速率族——\(R\) 以 \(\Theta(\sqrt{\log d})\) 的速度增长，并且随 \(d\) 无界增长。在每步 Fisher 弦长预算下，\(R\) 可转化为实际的计算成本：与沿 Fisher--Rao 测地线前进的优化器相比，NGD 至少渐近地需要多出 \(R\) 倍的步数。实验验证了全部三种情形：对于二次势族（I），\(R=1\) 达到机器精度；类别分布的界 \(\pi/(2\sqrt{2})\) 可以逼近但无法达到（II）；而采样得到的尺度乘积族的 \(R\) 随 \(d\) 增长，在长距离、高维移动中达到约 \(R \approx 1.5\)（III）。
12:00 arXiv cs.LG 76
arXiv:2610.06874v1 公告类型：cross 摘要：强化学习四旋翼控制器通常在简化的风模型下训练，但相较于风的幅值，风场保真度对策略鲁棒性的影响尚未得到量化。本文比较了五个扰动保真度等级：从无风飞行和离散 1-cosine 阵风，到统计湍流和合成相干结构，再到大涡模拟的大气边界层风场；针对 proximal policy optimization (PPO) 智能体开展全面的跨保真度训练-测试评估，并以无需训练的级联 PID 和几何 SE(3) 控制器作为参考，在 0–12 m/s 的风速范围内进行测试。在进行任何控制器比较之前，首先对所有扰动数据进行验证：针对每个合成生成器，依据其解析参考或认证标准参考进行定量检查；针对大涡模拟风场，则依据施加的对数律进行验证。在一款竞速级四旋翼的悬停测试中，训练-测试矩阵 remarkably flat，而成本最低的结构化训练风——离散阵风域随机化——在每一列测试中均排名第一；在一款对风敏感的 27 g 平台上也复现了这一排名；经过一次调参的几何控制器在零坠毁率下包络了学习得到的 PPO 策略。机制诊断表明，决定鲁棒性上限的是控制能力，而非风的真实性，因此风场保真度投入应根据平台的风敏感性进行调整。
12:00 arXiv cs.LG 79
arXiv:2610.05518v1 发布类型：cross 摘要：Fr\'echet 距离是跨领域评估生成模型的事实标准，在图像领域表现为 FID，在视频领域表现为 FVD。它用单个标量概括生成分布与参考分布之间的差异，通常将较低的数值解读为更好的生成质量。然而，这种标量视角可能掩盖比较结果的驱动因素。例如，在 COCO 数据集中，增加扩散采样步数会提升 ImageReward 得分，却使 FID 恶化（升高）。受这一不一致现象的启发，我们希望通过揭示差异所在的位置，使 Fr\'echet 距离更具可解释性。为此，我们引入了方向性 Fr\'echet 距离，即最优传输位移在给定方向上的投影平方的期望值。在图像、视频和蛋白质案例研究中，我们发现，少量具有可解释性的方向就能解释距离中的很大一部分。我们利用这些方向，根据 CLIP 嵌入所表示的语义概念解释 FID 的升高，量化 FVD 对逐帧外观的偏向，并重新审视 Protein FID 的解释。我们已在 https://github.com/yhlee-add/directional-fd 开源代码库。
12:00 arXiv cs.LG 75
arXiv:2610.08785v1 公告类型：新 摘要：保序预测是用于不确定性量化的一种流行工具，可输出具有有限样本覆盖保证的预测集。尽管预测集大小通常被作为不确定性的启发式度量，但这种解释的信息论基础仍缺乏充分理解。在本文中，我们利用一种针对集合值预测定制的决策论熵推广，为此提供了理论基础。具体而言，我们基于保序预测集的大小和覆盖率，引入了一族广义信息度量。值得注意的是，Shannon互信息可以用这些度量表示为一个精确的积分形式。随后我们证明，在标准分类设置下，额外信息所带来的保序预测集大小缩减：（i）被该族中依赖校准的成员所夹逼；（ii）满足数据处理不等式；上述结论均只相差有限样本校准误差和模型误差项。总体而言，我们的结果在形式上建立了保序预测与经典信息论量之间的联系，并证明了使用集合大小缩减作为信息增益度量的合理性。在实证方面，我们在11种分类设置中验证了理论，并在一次贪心特征选择实验中表明，集合大小缩减和Shannon互信息可能对特征给出不同的排序。
12:00 arXiv cs.LG 72
arXiv:2610.08745v1 公告类型：新增 摘要：我们研究精确滑动窗口约束下的线性赌博机问题，其中每个连续的动作块都必须属于预先规定的可行集合。在离线设置中，即奖励函数已知时，我们证明了当 $w\mid T$ 时，凸性与循环移位不变性使平稳解达到最优；否则，该解与最优解之间的差距为加性 $O(w)$。在在线设置中，我们证明仅凭几何结构不足以实现学习，次线性遗憾可能无法实现。我们引入转移直径 $\tau$ 来量化可行可达性，并设计了一种少切换的 OFUL 算法；相对于离线最优可行轨迹，其遗憾为 $\widetilde{O}(d\sqrt{T}+\tau d+w)$。最后，我们去除循环不变性，研究一般的滑动窗口约束，此时最优行为可能是非平稳的。我们将近期动作历史表示为有限记忆控制问题的状态，并引入历史状态直径 $D$，用于衡量可行历史之间的连通性。通过结合乐观的剩余时域规划与罕见的策略更新，我们获得了 $\widetilde{O}(d\sqrt{T}+dD+w)$ 的遗憾界。我们在真实世界和合成基准上评估了该方法，结果表明，该方法在保持严格可行性的同时，能够以显著更少的策略更新次数，达到与基线相当的奖励和遗憾表现。
12:00 arXiv cs.LG 75
arXiv:2610.08743v1 公告类型：新 摘要：序列推荐器通常使用固定的候选列表大小，尽管一个会话中有用备选项的数量会不断变化。我们提出带校准剪枝的强化学习（RLCP），利用评论家评分和在线阈值调整保留的动作集。该阈值根据二元反馈进行更新，这些反馈表明动作集是否包含代理目标中的某个动作。我们证明了自适应轨迹上观测到的代理目标遗漏率的一个确定性界。为量化剪枝对奖励的影响，我们将价值损失精确分解为过滤损失和选择损失。在明确的代理目标和评论家近似条件下，该分解给出了有限会话奖励界，同时考虑了不完美选择和集合截断的影响，而无需学习参数收敛。我们在 KuaiRand-Pure 和 MovieLens 1M 上进行实验，将两种 RLCP 实现与四种 RL 基线进行比较。在 19 种配置中的每一种配置下，至少有一种 RLCP 变体实现了最高的目录多样性，达到最强基线的 $1.11\times$ 至 $5.21\times$，同时保持具有竞争力的会话深度，且保留的动作集并未更大。
12:00 arXiv cs.LG 79
arXiv:2610.08561v1 公告类型：新 摘要：强化学习（RL）已成为在推理任务上对语言模型进行后训练的标准工具。在这一过程中，策略通过奖励反馈进行更新，同时探索响应空间。尽管 RL 在实践中取得了成功，但人们对 RL 后训练的理论理解仍然有限，尤其不清楚为什么结合神经奖励模型的在策略探索会如此有效。本文通过将奖励建模为响应空间上的层次化函数来研究这一问题：奖励由无限多个局部成分组成，每个成分只有在前面的成分得到解决后才会变得相关。我们证明，一种自然的基于 Transformer 的演员—评论家算法能够达到查询预算和正则化强度方面的极小极大最优速率（相差至多对数因子），并且对于固定数量的提示词而言是极小极大最优的。该算法交替执行以下步骤：从当前 KL 正则化策略中采样、根据观测到的奖励拟合 Transformer 评论家，以及更新策略。相比之下，我们证明，从固定参考分布中采样（如离线奖励建模中所做的那样）可能会将遗憾的衰减限制为对数速率。这些结果表明，在策略探索会逐步聚焦于奖励集中的区域，并量化了其对 RL 后训练的益处。
12:00 arXiv cs.LG 78
arXiv:2610.08403v1 发布类型：new 摘要：大型语言模型（LLM）需要大量计算资源，这限制了其在资源受限硬件上的部署。三值 LLM 通过采用三值权重进行量化来降低这些需求，在稀疏度通常为 50%–90% 的情况下实现显著压缩。然而，现有方法存在局限：BitNet、冗余分段归约（RSR）及其改进版本 RSR++ 等针对三值权重优化的方法没有利用稀疏结构，而传统稀疏格式则忽略了三值特性，因而错失了双重优化机会。本文提出 Sparse Segment Reduction（SSR），一种旨在加速三值 LLM 和通用三值权重网络（TWNs）推理的三值矩阵乘法方法。SSR 采用专门优化的三值数据格式，并通过随稀疏度扩展的计算树系统性地利用稀疏模式。理论分析表明，当稀疏度高于 50% 时，SSR 的推理渐近速度快于 RSR++；实际评估则显示，其在所有稀疏度水平下均能提升性能。评估结果表明，在稀疏度为 45%–95% 的三值 GEMM 上，SSR 相比 RSR++ 可实现 2.1–11.3 倍加速。此外，在 Llama-3 1B 模型推理中，SSR 相比 RSR++ 可实现端到端 3.5–6.3 倍加速，并节省 4.9% 的内存。
12:00 arXiv cs.LG 81
arXiv:2610.08164v1 公告类型：新论文 摘要：低秩量化误差补偿（LQEC）通过在每个冻结的量化权重旁附加一个闭式求解的秩为 $r$ 的适配器，无需任何训练即可恢复激进权重量化造成的精度损失。我们表明，现有补偿方法受到两种共同简化假设的限制。首先，它们采用对称校准，在相同的激活上评估全精度权重和补偿后的权重，由此得到的补偿目标本质上是高秩的，因此固定的秩预算只能捕获其中的一小部分。其次，它们仅最小化损失的二阶项，尽管补偿后的模型并未处于驻点：每一层仍然存在一个比已施加的补偿本身更大的一阶下降方向，而任何重构目标都无法吸收这一信号。我们提出了一个两阶段闭式求解框架，消除了这两种简化假设。第一阶段在 Fisher 加权的非对称目标下，将每一层的输出与全精度模型对齐，使秩预算集中用于可进行秩压缩的目标。第二阶段在补偿后的模型上重新测量统计量，并执行受秩约束的自然梯度更新，以吸收剩余的一阶信号。每个适配器都由一次截断 SVD 得到；反向传播仅用于收集统计量。在采用 QuIP# 的 2 比特量化下，我们的方法将 Qwen3-8B 在 WikiText-2 上的困惑度从 12.43 降至 10.26，将 Qwen3-4B 的困惑度从 21.11 降至 13.22。在留出的 C4 语料库上，该方法分别弥合了与 FP16 之间差距的 51% 和 84%，而最强基线分别为 31% 和 63%；同时，在七项任务的零样本平均表现、更高比特位宽以及另一种量化器下，该方法均取得了一致提升。
12:00 arXiv cs.LG 77
arXiv:2610.07904v1 公告类型：new 摘要：我们提出了 ApexQuant，这是一种无需校准的量化方法，通过递归地对残差误差重新量化，作为现有量化器之上的细化层。我们证明，重新进行一次随机旋转会使每个残差恢复为超球面上的均匀分布，从而刻画连续多次处理过程中误差渐进衰减的速率。借助这一结果，我们可以在读取任何权重之前确定某一层为达到目标权重空间误差所需的处理次数。每个前缀本身都是一个有效的低比特率模型，因此单个产物即可支持多种精度。我们使用三种可互换的阶段实例化了 ApexQuant：标量、$E_8$ 和 trellis，并在四个开放权重 LLM 以及地球观测和医疗领域进行了验证；在这些领域中，由于图像受到限制性许可约束，或患者资料受到隐私限制，分布内数据往往难以获取。在完全无数据的设置下，渐进式再各向同性化在四比特时的性能与全精度模型仅相差几个百分点，并取得了我们测量到的最佳二比特配置。
12:00 arXiv cs.LG 84
arXiv:2610.07853v1 公告类型：new 摘要：BitNet b1.58、Falcon-E 和 BitCPM 等三值语言模型使用更高精度的潜在权重进行微调，并通过导出步骤生成三值代码后部署；在各实验室公开记录的流程中，该步骤首先会将潜在权重转换为 bf16。我们对三个实验室的这些流程进行了审计。在已发布的检查点中，对所发布潜在权重进行 fp32 量化所得的结果，与实际部署代码之间存在不一致：Falcon-E 和 BitCPM 中有 0.83–1.77% 的代码不一致，BitNet 2B-4T 中则有 1.530% 不一致；对于 Falcon-E 和 BitCPM，大多数不一致源于 bf16 舍入后恰好落在阈值上的数值，而 ties-to-even 会将其映射为零；未经修改的 onebitllms 导出器能够逐字节复现 Falcon-E 的全部四个版本。在微调终点处，当学习率经过选择以匹配名义上的学习率与 bf16-ULP 比值时，文档所述的导出流程会将 Falcon-E-1B-Base 的贪心 GSM8K 严格准确率从 58.79% 降至 0.78%，将 BitCPM-CANN-0.5B 的准确率从 36.13% 降至 0.39%；此外，保存并重新加载 bf16 会使 BitNet 2B-4T 的严格准确率下降 27.54 个百分点，同时其末位数字准确率上升。两种兼容性补救方案——直接写入训练量化器生成的代码，或调整 bf16 输入，使未修改的工具生成这些代码——在三个模型中均满足相对于在线评估的 4 个百分点严格准确率非劣效标准。在两个模型系列中，针对初始阈值距离进行的随机干预表明，微调所改变代码的选择具有距离依赖性。
12:00 arXiv cs.LG 79
arXiv:2610.07767v1 公告类型：新 摘要：对大语言模型（LLMs）进行训练后强化学习（RL）时，rollout 生成会产生显著的计算和内存开销，因此需要采用低精度 rollout 以实现高效的 RL 训练。然而，现有的 FP4 RL 方法存在一个关键局限：它们主要分别优化训练路径和 rollout 路径上的量化精度，而不是直接减少两条量化执行路径之间的差异。在本文中，我们提出 TRACE（Train-Rollout Quantization Alignment via Compact GuidancE），一种用于混合专家（MoE）语言模型 RL 训练的 FP4 量化框架，旨在解决现有 FP4 RL 方法的这一局限。TRACE 引入了 rollout 引导的量化感知训练，利用 rollout 侧的量化结果来指导训练侧的 FP4 舍入决策，从而直接减少训练与 rollout 之间的差异。此外，TRACE 采用高效的量化信息缓存方案，有选择地保留更深层中的尾数和缩放信息，以降低 rollout 引导带来的存储和通信开销。我们在四个大规模 MoE 语言模型上，针对推理、编码和长时程 RL 任务对 TRACE 进行了评估。结果表明，TRACE 能够实现权重/激活联合 FP4 量化以及 FP4 KV-cache rollout，其 RL 性能与 BF16 rollout 相当；与对 BF16 训练策略进行事后 FP4 量化相比，TRACE 可实现最高 5.4 倍的 rollout 加速，并取得出色的最终 FP4 性能。
12:00 arXiv cs.LG 79
arXiv:2610.07522v1 公告类型：新 摘要：训练后量化是压缩大型语言模型的强大工具。最具可扩展性的方法会并行量化每一层，但量化误差随后会沿残差流累积，因为没有任何层会纠正其之前各层产生的误差。串行量化通过在前序层已量化的输出上重新校准每一层来应对误差累积问题，从而取得更好的效果，但代价是采用串行调度，在大规模场景下会成为瓶颈。为此，我们提出了带激活去噪的并行量化方法，在保持量化完全并行的同时，挽回串行量化的大部分优势。我们不再逐层重新校准，而是从鲁棒性的角度出发，将上游误差建模为噪声，并通过先进行预处理、再执行度量加权舍入，使模型具备抵抗这种噪声的能力。该正则化应用于每一层后，会形成一种随深度累积的平滑性惩罚，减弱量化误差在模型中的放大程度。不同于量化中常用的正交旋转（后者必须保持模型的功能不变），我们将权重乘以一种更一般的线性变换。我们发现，这两种方法相互补充，其效果还会叠加。在实证实验中，我们的鲁棒性正则化仅需一次并行处理，就能挽回串行量化相当一部分的优势，而耗时仅为其一小部分。总体而言，通过将累积的量化误差视为一个鲁棒性问题，我们为大规模场景下更高效、更准确的 LLM 量化提供了有原则的基础。
12:00 arXiv cs.LG 82
arXiv:2610.07457v1 公告类型：新 摘要：细粒度混合精度量化有望实现高效的大语言模型推理，但局部精度选择可能与常规 GPU 存储和计算单元产生冲突。这种精度边界不匹配限制了压缩技术转化为实际加速的能力。我们提出 AlignQuant，一种训练后量化方法，使用与 GPU 兼容的二维权重瓦片作为精度分配、紧凑存储和执行的统一单位。这种共享分区使精度能够根据输出通道内的敏感度进行分配。在量化激活下，联合预填充/解码校准通过由语言模型损失梯度加权的投影输出扰动，对精度降低进行评分。经过阶段归一化的评分，在全模型权重存储预算下，优先为对任一阶段重要的瓦片分配更高精度。每个瓦片存储一种选定的表示形式，而面向不同阶段的内核则复用打包后的模型，并将低比特权重扩展为使用 8 位激活进行 INT8 计算。在涵盖 3B 至 14B 参数的四个 LLM 上，AlignQuant 在保持模型质量的同时，相较于 BF16 实现了最高达 $2.50\times$ 的生成加速。评估还涵盖了三种 GPU 以及最长达 64K token 的上下文。这些结果表明，通过共享的瓦片单位，局部精度灵活性与规则化 GPU 执行可以并存。实现代码可在 https://github.com/HanzhiZhang-Ulrica/AlignQuant 获取。
12:00 arXiv cs.LG 79
arXiv:2610.07197v1 发布类型：新 摘要：精确遗忘要求，已部署的预测器必须与一个在删除请求所指定的信息不存在的情况下重新构建的预测器相匹配。现有的通用精确方法通过互不相交的数据分片来定位重训练范围，但每个请求仍会使一个模型失效，而较小的分片会减少每个组成预测器可利用的数据量。我们提出量化充分统计量（Quantized Sufficient Statistics，QSS），将一个较小的冻结模式与可变的、可进行求和分解的内容分离开来。模式学习全局结构；内容则将局部预测修正存储为按量化区域索引的加性统计量。因此，删除内容可以通过精确减法完成，而无需进行优化。我们区分了两种保证：QSS-L 在保留未标注输入的同时精确删除标签，而 QSS-E 则通过不使用可删除样本来学习模式，从而精确删除输入和标签。一次删除以 $1-\rho$ 的概率走算术快速路径，并以 $\rho$ 的概率触发完整重建；报告的所有预期延迟均包含这两种情况。在 $\rho=0.5\%$ 的条件下，针对 15 个视觉、文本和表格数据集，QSS-L 在 11 项任务上与 SISA 的差距不超过 2 个百分点，并且在紧凑模式有效的低类别数任务上，将预期删除延迟降低了 4--483 倍。QSS-E 量化了移除输入的所有痕迹所带来的额外准确率代价。
12:00 arXiv cs.LG 79
arXiv:2610.07121v1 公告类型：new 摘要：扩散大语言模型（dLLMs）通过基于双向扩散的词元生成，成为自回归语言模型的一种有前景的替代方案。然而，模型规模不断增大以及高昂的推理成本，使高效部署面临挑战：全序列去噪需要反复执行计算密集型的前向传播，而块扩散模型还会额外引入内存密集型的 KV-cache。因此，低比特权重-激活量化颇具吸引力，但现有的 dLLM 训练后量化方法依赖校准数据，尽管激活分布会随着掩码状态和去噪步骤的变化而发生偏移。我们提出 SoloQ，一种无需校准的量化框架，可将权重和激活映射到具有可预测边缘分布的归一化旋转基中，从而实现与数据无关的量化。SoloQ 将结构化 K-RPBH 旋转与轻量级重缩放校正相结合，以实现无需校准的量化。其可预测的旋转后分布既支持分布匹配码本，也支持硬件原生的 NVFP4。对于块扩散模型，SoloQ 进一步在提交时对 KV-cache 进行量化，在不扰动当前去噪块的情况下压缩持久化状态。在全序列 dLLMs（LLaDA 和 Dream）以及块扩散 dLLMs（Fast-dLLM v2 和 Nemotron-Labs-Diffusion）上，SoloQ 在 4 位量化下保持了准确率，并在知识密集型和推理密集型基准测试中优于基于校准的方法。使用 NVFP4 时，SoloQ 可将峰值内存最多降低 2.61 倍，并将端到端推理速度最多提升 2.24 倍。
12:00 arXiv cs.LG 80
arXiv:2610.06996v1 公告类型：新 摘要：块扩散语言模型在整个生成过程中保留大型键值（KV）缓存，并在每个去噪步骤中对其进行注意力计算，这限制了内存容量和生成速度。降低这些开销需要决定哪些过去的 token 用于当前块的去噪（选择），以及哪些 token 保留在内存中供未来块使用（淘汰）。我们提出了 MaskAhead，这是一种无需训练的方法，通过单一的基于掩码查询的排序机制同时解决这两个任务。当前块的掩码用于指导选择，而对即将到来的掩码块进行探测则用于指导淘汰。两者都根据 KV 条目对注意力输出的估计贡献为其排序。我们的量化变体 Q-MaskAhead 直接从低比特 KV 中计算选择结果和注意力，在很大程度上保留了所选条目。在 Fast-dLLM-v2、DreamReasoner 和 LLaDA2.0-mini 上进行的实验涵盖了长文本生成推理、长提示词问答以及大海捞针检索任务。在长提示词问答任务中，相较于稠密推理，MaskAhead 平均将 KV 内存减少 $9.5\times$，平均 F1 分数仅损失 1.2 个百分点。Q-MaskAhead 将内存缩减幅度提升至 $20.1\times$，平均 F1 分数损失为 2.3 个百分点。在 batch-32 的系统测试中，相较于稠密推理，MaskAhead 端到端速度提升 $1.23\times$，解码阶段速度提升 $1.68\times$。
12:00 arXiv cs.LG 79
arXiv:2610.06988v1 发布类型：new 摘要：知识追踪（KT）模型主要使用曲线下面积（AUC）和准确率等聚合指标进行评估。然而，这些全局分数掩盖了剩余误差的来源，也无法表明某个基准是否正在接近饱和。在现实的KT场景中，估计全局理论性能上限具有挑战性，但量化局部可预测性是可行的。为此，我们提出了一个用于KT基准诊断的信息论评估框架。我们在题目—作答历史和当前题目查询上使用Context Tree Weighting（CTW），将其作为一种可操作的因果不确定性坐标，同时将其与完整KT信息集下未观测的局部不可约不确定性（Local Irreducible Uncertainty，LIU）区分开来。通过将预测投影到这一共享不确定性坐标上，我们在不同熵区间内评估模型性能增益，而不仅仅是在全局层面进行评估。在NIPS Task 3/4和Algebra 2005上的全面评估表明，模型改进具有高度不均匀性。现代KT模型在高熵区域取得了显著增益，此外，题目感知的参照方法、对数损失和等频分析也支持了这种局部化现象。该框架还指出了一些表面增益可能需要检查其对噪声敏感的行为的区域。通过将这些局部建模失败与真实增益同时呈现出来，该方法为研究剩余预测结构以及当前KT基准和模型的局限性提供了诊断工具。
12:00 arXiv cs.LG 77
arXiv:2610.06974v1 公告类型：新 摘要：知识图谱嵌入（KGE）方法将实体和谓词表示为连续向量空间中的向量，以推断缺失的知识。尽管在基准测试中表现出色，但其预测通常缺乏有原则的可靠性保证，限制了其在高风险应用中的使用。此外，从不完整或概率化的输入知识，到随机训练和预测，KGE流程的各个环节都会产生不确定性。本论文系统研究了KGE中的三类不确定性来源：知识不确定性，源于不完整、含噪或概率化的输入知识；算法不确定性，由模型训练中的随机性引起；以及预测不确定性，涉及模型输出的可靠性。为解决算法不确定性问题，本论文证明，在相同设置下训练的模型可能产生显著不同的预测结果，并提出一种基于投票的聚合框架，以减轻这种不稳定性。为量化预测不确定性，本论文将保序预测应用于KGE，构建具有分布无关覆盖率保证的答案集，并进一步扩展该方法，为特定谓词提供条件可靠性保证。为支持知识不确定性下的推理，本论文针对带有置信度评分的三元组构建具有统计有效性的预测区间，并提出一种基于嵌入的方法，用于近似统计本体上的概率推理，同时提供形式化的可靠性保证。总体而言，这些互补且与模型无关的方法为KGE中的不确定性提供了一种实用且具有理论依据的处理方案，推动知识图谱推理超越预测准确性，迈向可靠且具备不确定性感知能力的方向。
01:40 arXiv cs.AI 76
序列推荐器通常采用固定的候选列表大小，尽管一个会话中有用备选项的数量会不断变化。我们提出强化学习校准剪枝方法（RLCP），利用评论家评分和在线阈值调整保留的动作集合。该阈值根据二元反馈进行更新，该反馈表示集合是否包含代理目标中的某个动作。我们证明了自适应轨迹上观测到的代理目标漏检率的一个确定性界。为量化剪枝对奖励的影响，我们将价值损失精确分解为过滤损失和选择损失。在明确的代理目标与评论家近似条件下，该分解给出了有限会话奖励界，同时考虑了不完美选择和集合截断的影响，而无需学习参数收敛。在 KuaiRand-Pure 和 MovieLens 1M 上的实验将两种 RLCP 实现与四种 RL 基线进行了比较。在 19 种配置中，每种配置至少有一种 RLCP 变体取得最高的目录多样性，达到最强基线的 1.11 倍至 5.21 倍，同时保持具有竞争力的会话深度，且保留的集合并未更大。
18:06 arXiv cs.AI 77
前沿 LLM agents 已被证明能够解决日益复杂、且人类已有可量化解决方案的任务。这引出了一个重要问题：LLM agents 能否超越人类已经解决的问题？随着那些由人类充分探索并开发出的解决方案对于缺乏背景信息或训练数据不足的问题变得不再适用，发展复杂策略以应对重大问题的能力变得至关重要。我们通过电子游戏速通这一共同实践，研究 agents 形成此类策略的能力。在速通中，参与者竞相寻找在特定条件下完成电子游戏的最快方式，并在这一过程中发掘出有趣且非正统的玩法，而这些玩法要求对底层游戏机制进行深入理解并熟练掌握。我们推出 SPEEDRUNBENCH，这是一个在 9 款不同游戏中评估前沿 LLM agents 的基准。要在该基准上取得良好表现，agents 必须不断改进策略、反思自身表现、利用已获得的知识，并对长时间跨度的行动进行推理，从而解决一个日益困难的问题：比自己和其他所有人都更快。我们的实验表明，尽管前沿 agents 在简单的平台游戏中已接近人类世界纪录，但在实际资源预算下，它们在更长、更复杂的游戏中的表现仍落后于人类。这些结果表明，SPEEDRUNBENCH 不仅是研究 agents 策略形成能力的有用测试平台，也是一种不易饱和的评估指标，因为几乎总有更快的完成时间等待被发现。
20:00 OpenAI Blog 69
Jump Trading 使用 OpenAI 扩大量化研究。了解运行时间更长的 AI 工作流如何结合多个数据源与人工审核。
01:56 arXiv cs.AI 79
我们将 Kokoro-82M——一个广泛使用、拥有 54 种音色的开放文本转语音模型——蒸馏为 Paradee，一个能够使用其中一种音色说话的 8.07M 参数模型。Paradee 保留了 Kokoro 的架构，但将各层大幅缩窄，并分别针对冻结的教师模型训练其两个部分。它的参数量减少了 10 倍，所需计算量降低了 15 倍。我们首先使用教师模型合成语料库，并保留其时长、音高、能量和音素特征。随后，我们训练一个小型文本侧网络来预测这些数值，并训练一个小型解码器，将教师模型保存的数值转换为教师模型的音频：先使用频谱损失训练，再进行对抗训练。最后，我们连接这两个部分，并将权重量化为 int8。它无需学习对齐，也无需联合训练，并且可以在一台笔记本电脑上运行。以 int8 存储时，Paradee 的大小为 8.5 MB，在单个 CPU 线程上运行速度达到实时的 25 倍；其 UTMOS 得分为 4.41，而教师模型为 4.52。学生模型起初保留了轻微的嗡嗡声，我们追溯发现其来源是 2 至 8 kHz 范围内有声语音的相位。在合成后应用相位锁定滤波器可以消除其中大部分噪声，且无需训练或增加额外参数。代码、模型文件和音频样本位于 https://github.com/sahilmahendrakar/paradee
23:48 arXiv cs.AI 76
计算机视觉中的许多视觉解释方法能够突出像素的重要性，却难以将这些低层次线索与具有语义意义的概念联系起来，从而限制了其可解释性与可信度。我们提出概念解释（Concept-based Explanations，ConEx），这是一种新型框架，将显著性可视化与基于概念的推理相结合，同时提供忠实性与可解释性。ConEx能够自动发现类别特定的概念，并通过概念激活向量（CAVs）表示这些概念。该方法利用一种无需人工监督的、特定于架构的掩码机制进行学习，减少分割掩码引入的噪声，从而提升概念纯度。ConEx生成忠实的显著性图，揭示每个概念在图像中的出现位置及其对预测结果的贡献。为评估所学习概念的可靠性，我们提出了两个互补指标：向量—概念匹配（VCM）和概念—类别匹配（CCM），用于量化概念对齐程度，并支持与现有方法进行直接比较。在多种设置下开展的大量实验表明，ConEx在忠实性、分割和概念质量基准测试中均取得了当前最优的性能。总体而言，ConEx推动了视觉模型朝着真正可解释且以概念为基础的解释方向发展。
00:36 arXiv cs.AI 79
推理系统决定语言模型服务的速度和成本，因此提升其速度具有直接的实际价值。然而，既有工作主要专注于优化大型系统中的特定部分，例如内核或内存。在本文中，我们采取整体性方法，应用智能体自我演化来端到端地优化整个系统。我们的 SEIS（自我演化推理系统）通过继承经验和代码变更的迭代会话，在无需人工干预的情况下自主优化整个 mini-sglang 引擎。在 H100 上服务 Qwen3-0.6B 时，最终引擎的吞吐量达到原始 mini-sglang 实现的 3.27 倍，并且在单请求工作负载下击败了 vLLM、TensorRT-LLM 和 SGLang 等 SOTA 引擎。我们从数值差异以及数学和长上下文检索任务上的下游准确率两个方面，测试了经 SEIS 优化的推理引擎的正确性。代码和会话历史表明，加速效果源于对整个引擎的重新设计，并且在早期会话成果的基础上继续构建优于彼此独立的尝试。这些结果表明，智能体自我演化能够端到端地优化复杂系统。评测也必须随着引擎一同演化，而让智能体推动评测演化是自然的下一步。
00:49 arXiv cs.AI 79
神经音频编解码器将波形压缩为紧凑的离散 token，为语音语言模型、实时通信和大规模音频存储提供基础。几乎所有主流设计，包括残差向量量化、有限标量量化和单码本变体，都遵循 VQ-VAE 模板，通过学习得到的码本或固定的标量网格对编码器隐变量进行划分。我们探讨这种划分是否是必要的。我们提出 GS-Codec——一种神经语音编解码器，其瓶颈并非量化器，而是参数化信号分解。我们将 Gaussian splatting 从三维场景重建改用于一维隐变量。内层优化循环会将编码器的每个片段拟合为一组一维 Gaussian 基元的加权和。随后，解码器根据渲染得到的总和重建波形。为避免推理时执行这一迭代内层循环的成本，我们还训练了轻量级的 GS Predictor Net，通过单次前向传播回归这些基元的参数。编码器和解码器通过内层循环进行端到端训练，整个训练流程中完全不使用量化器：瓶颈就是分解本身，而标量量化仅在训练完成后应用于拟合得到的参数。我们的表示不依赖离散码本阶段来控制比特率，而是提供了细粒度的码率—质量权衡：单个训练好的检查点即可通过改变基元数量和每个参数的位深，在训练后控制比特率，无需重新训练。在相近比特率下，GS-Codec 在说话人相似度（SIM）、可懂度（STOI）和感知质量（UTMOS）方面达到或超过 EnCodec 和 DAC 等成熟的开源编解码器，同时实现了相当的语义性能（WER）。代码和音频样例见 https://ronaluf.github.io/gs-codec/
01:26 arXiv cs.AI 78
线性辐射输运方程（RTE）构成了核工程、惯性约束聚变、医学成像和天体物理学中设计与分析任务所依赖的仿真基础，但要以工程所需的精度解析高维相空间，其成本仍然高昂，以至于设计优化、不确定性量化和参数扫描等外循环工作流在传统求解器上通常受到预算限制。神经代理模型有望通过在数千次下游查询之间摊销仿真成本来缓解这一瓶颈，但使代理模型在某一输运问题上实现高精度的架构选择和工程化归纳偏置，并不能直接迁移到不同的模型族。我们对两个参数规模匹配的神经代理模型架构进行了基准测试：具有物理注意力机制的 Transolver，以及多尺度图网络 Bi-Stride Multi-Scale MeshGraphNet（BSMS-MGN），将其作为二维线性 RTE 在经典 Lattice 和 Hohlraum 基准测试上最终时刻粒子浓度的端到端近似模型。针对傅里叶特征和区域加权训练损失的消融实验揭示了强烈依赖架构的归纳偏好，表明物理信息代理模型工作流中常见的设计选择必须针对每种架构重新审视，而不能在不同模型族之间直接照搬；同时，下游效用取决于其对具体 QoI 的敏感性，而不是单一的场级评分。本文同时发布模型训练方案、训练数据和评估流程，以支持结果复现、向相关输运问题迁移，以及将这些模型作为摊销前向模型组件纳入更大型的外循环仿真工作流中进行评估。
12:00 arXiv cs.LG 82
arXiv:2609.35882v2 公告类型：替换交叉版本 摘要：基因组基础模型在生成序列的场景中最有用，但最大的模型需要数据中心加速器，并且需要一个用来发送私有 DNA 的地方。我们探讨这样一种可能性：一个拥有 150 亿参数的基因组混合专家（MoE）模型，能否改为运行在志愿者的 Web 浏览器中，让各个专家分布在许多不受信任的设备上，同时既不改变其预测结果，也不让任何单台设备获知完整序列。我们构建了一个系统：由受信任的协调器执行注意力计算和路由，而浏览器工作节点通过手写的 WebGPU 内核运行每个专家的前馈网络；同时，我们使用实值 Lagrange 编码计算来保护专家输入：每个工作节点只接收一个经过高斯填充的份额，计算专家的线性映射，协调器则可从三个工作节点中的任意两个进行解码。在 GenomeOcean-MoE（8 个专家、top-2 路由、24 层）上，浏览器路径在每个量化级别都与原生 llama.cpp 相匹配；分布式路径始终处于 BF16 数值噪声下限（每个 token 的 KL 散度为 0.0036 nats）；未经拟合的延迟模型在模拟广域网链路下预测解码时间的误差中位数为 0.74%。我们首先证明，明文专家输入并不具有隐私性：探针在每个深度都能从单个向量中恢复 token；而单个工作节点仅凭 300 个无序 token，就能以 92% 的准确率识别源基因组。采用编码专家后，在份额上训练的自适应攻击者的表现会降至最高频 token 基线；单个工作节点关于每个 token 的信息量被限制在每次前向传播 1 bit 以下，同时保真度损失仍低于 BF16 噪声下限；在 Chrome 中，编码解码的每 token 延迟为 220 至 376 毫秒，具体取决于隐藏了多少路由信息，并且即使某个工作节点发生故障，也无需副本即可继续运行。
12:00 arXiv cs.LG 78
arXiv:2608.21134v2 公告类型：replace-cross 摘要：由于对内存和计算资源的需求较高，将视觉语言模型（VLMs）部署到移动设备上颇具挑战。我们提出了一种用于在资源受限硬件上实现高效推理的 VLMs 量化框架。我们的方法结合了一套量化流程：利用模型自身生成训练数据，且无需访问训练配置；同时采用一种新颖的每参数 2.7 比特格式，支持在 Arm CPU 上高效执行。我们通过将 Llama 3.2 11B Vision Instruct 模型压缩至 3.7 GB（使用 8 比特激活值）验证了该方法，在一组标准视觉问答任务上仍保持了出色的性能。
12:00 arXiv cs.LG 81
arXiv:2606.18043v2 公告类型：replace-cross 摘要：通用机器人策略（例如视觉-语言-动作模型（VLAs）和世界-动作模型（WAMs））将强大的预训练骨干网络与富有表现力的生成式动作头相结合，后者通过在大规模机器人数据集上进行流匹配训练得到。尽管这些策略在机器人操作任务中展现出强劲的实证性能，但缺乏量化预测置信度以及检测动作可能不可靠情况的机制。这对其在非平稳环境中的现实部署构成了关键限制，因为模型不可避免地会遇到超出预训练分布的场景，并可能在毫无预警的情况下失效。为解决这一问题，我们利用小型模型集成中速度场分歧（VFD），推导出一种高效量化流匹配模型认识不确定性的方法。我们成功地将这一不确定性估计用于基于流的通用策略部署期间的故障检测和主动微调。对于后者，我们提出了SAVE——一种简单而有效的不确定性引导主动多任务微调方法，可减少将通用策略适配到新任务所需的高成本专家示范数量。我们在仿真环境和真实世界中，针对VLAs和一个WAM开展了实验。VFD能够产生校准效果更好的不确定性估计，可预测下游性能，并且相比现有方法以高出8个百分点的总体准确率检测故障。在三个真实世界任务中，在固定示范预算下，SAVE将最终平均成功率从39%提升至47%。我们的结果表明，使用VFD测量认识不确定性能够增强通用机器人策略的故障感知能力和适应能力。项目网站：tum-lsy.github.io/uq_generalist_policies。
12:00 arXiv cs.LG 74
arXiv:2511.07270v4 公告类型：replace-cross 摘要：在差分隐私中，发布敏感数据集的汇总统计量之前，会引入随机噪声以实现隐私保护。噪声水平决定了隐私损失，它量化了攻击者利用已发布的统计量检测目标个体是否存在于数据集中的难易程度。大多数隐私分析会提供隐私损失的非渐近上界，并且该上界对所有数据集一致成立。在某些情况下，对于给定数据集，这些界可能较为保守。因此，可以利用精确的隐私刻画来补充这些隐私界，从而量化某一机制在给定数据集上的确切隐私损失。基于这一目标，我们研究差分隐私主成分分析（PCA），其目标是对包含 $n$ 个样本和 $p$ 个特征的数据集的主导主成分进行隐私保护。我们分析指数机制，并在高维极限（$p \rightarrow \infty$）下对其效用和隐私损失给出精确的渐近刻画。我们证明，在这一极限下，利用经过隐私保护的主成分检测目标个体是否存在，在渐近意义上等价于区分两个均值不同的高斯分布，其中均值差异取决于数据集的某些谱性质。我们的分析结合了 Dong、Roth 和 Su（2022）提出的隐私保证的假设检验表述，以及 Le Cam 的相 contiguity 论证。
12:00 arXiv cs.LG 81
arXiv:2609.38599v2 公告类型：替换 摘要：面向大语言模型的分组训练后量化器会将权重舍入到一个不会针对所得整数编码重新拟合的网格上。我们表明，这会造成精度损失：最佳网格取决于编码，输入相关性会耦合不同分组的误差，而有益的编码变化通常会同时涉及许多编码。我们提出 JARQ，这是一种即插即用的细化方法，可从任意分组量化器出发，交替执行所有分组尺度的联合最小二乘拟合，以及基于当前网格、通过有界 Babai 候选使一个分组中的多个编码共同移动的操作。该问题是一个双线性、盒约束混合整数最小二乘问题；其求解器无需反向传播，在精确求解尺度时不会增加逐层目标函数，并且保留宿主量化器的位宽、分组、零点和推理成本。在 Llama-2、Llama-3 和 Qwen 模型上，以 RTN、GPTQ、OmniQuant 和 AWQ 作为宿主量化器时，JARQ 在 96 项比较中的 90 项降低了困惑度，将三比特 RTN 的困惑度最多降低 36%，在 24 种配置中的 23 种提高了平均多选题准确率，并改善了 QEP、QuaRot 和 OJBKQ 的输出；对于每个 7B 模型块，耗时不到一分钟。
12:00 arXiv cs.LG 75
arXiv:2602.18674v2 公告类型：替换 摘要：我们对参数化神经网络应对随机输入扰动的鲁棒性进行了理论研究。具体而言，我们通过量化给定输入受到随机 L_2 扰动后仍能被正确分类的概率，分析其局部鲁棒性。对于深度 ReLU 网络，我们结合高维几何学中的工具，尤其是测度集中现象，以及一种对其输入—输出函数所诱导几何结构的新刻画，推导出局部鲁棒性的下界。我们证明，由 ReLU 网络诱导的输入空间划分中，每个凸多面体区域的面数至多等于网络单元的数量，而与网络深度或架构无关。这一几何性质是我们进行鲁棒性分析的关键。最后，我们分析局部鲁棒性如何随输入维度变化，并刻画其邻域最有可能包含对抗样本的输入集合。我们表明，包含脆弱点的决策边界邻域宽度会随着维度增加而迅速缩小，而仅随网络单元数量呈对数增长。我们还从决策边界近似填充空间的形状这一角度，讨论脆弱点集合的体积。
12:00 arXiv cs.LG 79
arXiv:2601.22352v2 公告类型：替换 摘要：语言模型智能体在工具调用执行失败后通常表现出自我恢复能力，但这一行为缺乏形式化解释。我们提出了一种预测理论，通过表明可恢复性遵循一条可测量的规律来弥合这一缺口。具体而言，我们通过预期恢复遗憾（Expected Recovery Regret，ERR）对可恢复性进行形式化，该指标量化了在随机执行噪声下恢复策略与最优策略之间的偏差，并推导出 ERR 与一个可通过经验观测的量——效率得分（Efficiency Score，ES）——之间的一阶关系。由此，我们得到了工具使用智能体恢复动态的一条可证伪的一阶定量规律。我们在五个工具使用基准上对该规律进行了实证验证，这些基准涵盖受控扰动、诊断推理和真实世界 API。在不同模型规模、扰动机制和恢复时域下，根据 ERR-ES 规律预测的遗憾与通过 Monte Carlo rollout 测得的失败后实际遗憾高度吻合，差值小于或等于 0.05。我们的结果表明，可恢复性并非模型规模或架构的产物，而是交互动态所支配的一种属性，为语言智能体在执行层面的鲁棒性提供了理论基础。
12:00 arXiv cs.LG 76
arXiv:2510.23463v4 公告类型：替换 摘要：联邦学习（FL）是一种分布式学习范式，通过在训练过程中无需交换原始数据来保护隐私。在其典型的边缘应用中，底层无线传输由模拟空中计算（AirComp）实现，这种应用被称为\emph{空中联邦学习（AirFL）}。其中，固有的信道噪声发挥着独特的\emph{亦敌亦友}作用：一方面，噪声全局聚合会导致训练性能下降；另一方面，它又为隐私保护机制提供了天然的随机性来源，这一点可通过\emph{差分隐私（DP）}进行形式化量化。然而，有效利用此类信道损伤仍然具有挑战性，因为现有研究大多基于简单信道模型或受限类型的损失函数，并且主要考虑通过单轮隐私损失界或不收敛的隐私损失界来增强（局部）DP。本文研究了具有多天线基站（BS）的多址衰落信道上的AirFL，并考虑用户级DP要求。尽管近期一项研究声称，在类似设置下通常必须注入人工噪声（AN）才能确保DP，但我们反而证明，即使\emph{不}使用任何AN，也可以将DP作为一种\emph{福利}获得。具体而言，在模型参数满足一般有界域假设的条件下，我们推导出了一个新颖且能够收敛的DP界，并给出了适用于一般光滑非凸损失函数的收敛界。随后，我们对接收波束成形和功率分配进行优化，以刻画最优的收敛性—隐私权衡关系，同时揭示在不损害训练性能的情况下实现DP的明确条件。最后，我们通过大量数值结果验证了理论发现。
12:00 arXiv cs.LG 72
arXiv:2610.03201v1 公告类型：cross 摘要：Gaussian Processes（GP）是对函数关系进行建模和量化不确定性的强大工具。然而，它们要求实践者做出多项设计决策，例如选择核函数和观测模型。次优选择可能产生设定错误的模型，无法捕捉潜在的数据生成过程。我们提出 Predictively Oriented Gaussian Processes（PrO-GPs），将预测不确定性作为主要推断目标，为标准 GP 提供一种稳健的替代方案。尽管对于非参数模型而言，直接计算 PrO 后验在计算上是不可行的，但我们推导出一种简化形式和实用的采样方案，以实现高效计算。通过合成数据和真实数据实验，我们表明，在模型设定错误的情况下，与标准 GP 方法相比，PrO-GPs 能够产生校准性更好的预测分布。
12:00 arXiv cs.LG 72
arXiv:2610.03039v1 发布类型：cross 摘要：长篇思考轨迹可以显著提升大型语言模型（LLM）的多步推理性能，但会带来较高的推理时开销，其延迟主要由顺序解码造成。我们提出 HyperThink，一种文本到参数的方法，将这部分推理计算摊销为一次由查询条件决定的参数更新：轻量级超网络读取问题，并预测基础 LLM 少量参数子集的更新；同时，矢量量化解码器将这些更新约束为有限组可复用模式，以提升鲁棒性和迁移能力。HyperThink 在基础模型自身生成的输出上进行端到端训练，从而在测试时无需生成冗长的思考轨迹：经过一次超网络前向传播后，适配后的模型即可生成简洁的逐步解答和最终答案，无需中间思考轨迹，在保留较强推理性能的同时显著减少所需 token 数量。实验结果表明，在数学和通用推理任务上，HyperThink 改善了准确率—延迟权衡的低延迟区域，其中在接近不思考的工作模式下收益最为显著。
12:00 arXiv cs.LG 79
arXiv:2610.02952v1 公告类型：cross 摘要：测试驱动开发为 AI 编码代理实现软件提供了可执行的需求。由于这些代理能够调整其实现以适应所观察到的示例，通过预先确定的测试集合并不能保证预期行为的大部分内容都已实现。我们提出生成式测试驱动开发（GTDD），这是一种测试驱动开发形式：每当候选实现确定后，由独立的测试代理根据人为指定的行为契约和早期轮次的反馈生成新的输入。受信任的评估器检查这些输入，将经过约减的反例返回给编码代理，并将其保存用于回归测试，从而使开发过程持续面对初始示例之外的失败。我们通过对自适应候选选择下错误接受的有限总体分析，刻画这一过程所提供的证据。所得界限量化了测试可见性和重复反馈如何影响接受结果，并表明，在候选实现确定后进行新的随机审计，可以控制各开发轮次中的错误接受。在一个有状态键值存储上的配对实验中，两种在开发过程中重新生成测试的策略，其最终平均失败率都低于使用同一语言模型一次性生成测试的策略；而将候选实现的源代码提供给测试代理，并未带来可检测的额外改进。进一步要求测试数量相等的条件，未能将这种差异归因于这些策略中的任何单一特征。GTDD 将这种自适应开发反馈与既有回归测试及独立的接受规则相结合。
12:00 arXiv cs.LG 82
arXiv:2610.02765v1 公告类型：cross 摘要：监测规划的驾驶轨迹需要准确估计与交通参与者发生碰撞的可能性，而这些参与者的运动本身也会受到自车运动的影响。现有的经典方法通常受限于其预测模型的质量。视觉语言模型（VLMs）在推理高层动作后果方面展现出良好潜力，但其近似预测并不适用于自动驾驶等安全关键型应用。保形预测（CP）已成为一种基于数据量化黑盒模型预测不确定性的框架。我们提出 Split Label-Localized Conformal Prediction（SLLCP），这是一种作用于冻结 VLM 的事后校准层，可将其不可靠的预测转换为经过概率校准的安全预测集。我们研究了安全估计能力如何取决于观测到的驾驶场景，并引入一种局部化过程，在计算不确定性阈值时提高相关历史经验的权重。在可交换性条件下，我们提供了标签条件的有限样本分布无关覆盖保证。在从未见过的场景中的 15k 条 CARLA 轨迹上进行评估时，SLLCP 使用 Qwen 主干网络正确标记了 89.6% 的致碰撞轨迹，使用 Cosmos 主干网络正确标记了 88.4%；相比之下，基础 VLM 分别仅标记出 4.6% 和 39.1% 的致碰撞轨迹。这些结果表明，局部化的标签条件校准能够减少漏检的不安全轨迹。
12:00 arXiv cs.LG 77
arXiv:2610.02713v1 公告类型：cross 摘要：大多数 KV 缓存压缩方法只对注意力头进行一次分类，无论是在离线阶段还是预填充期间，并在整个生成过程中保持该分类不变。我们在三个模型（1.5B-8B）和三种场景（针尖检索、长链式思维和多轮回忆）下进行评测，在四种模型-场景组合中测量注意力头的行为，发现大多数注意力头在生成过程中至少会改变一次其读取行为。我们提出 WakeKV，这是一种响应式驻留策略：它将进入冷却状态的注意力头移入可恢复的 CPU 储存区，而不是冻结其状态或永久驱逐其状态。在相同内存或预算条件下，与冻结式分类和破坏性驱逐相比，WakeKV 始终能够降低未命中率；我们在五种模型-场景组合上进行了评估，并在其中四种符合条件的组合上与三个文中引用的基线（SnapKV、uniform R-KV 和 ReasonAlloc）进行了比较。基于 Mistral-7B 的 FlexiCache/vLLM 实现证实了其在真实硬件上的优势：在保持 LongBench 质量的同时提高了吞吐量。
12:00 arXiv cs.LG 76
arXiv:2610.02634v1 公告类型：cross 摘要：磁共振弹性成像（MRE）是一种通过剪切波传播来量化软组织黏弹性性质的无创成像方法。从测得的位移场中恢复复值剪切模量会导致一个严重不适定的逆问题，尤其是在存在噪声和边界激励有限的情况下。我们研究了基于伴随方法的优化、卷积神经网络（CNN）重建，以及结合这两种方法的混合框架。正向模型基于具有复值剪切模量的修正定常 Stokes 系统的标量形式。我们为基于伴随方法的模型建立了正向问题的适定性、极小值的存在性以及一阶最优性条件，并实现了结合 Armijo 线搜索的非线性共轭梯度方法。尽管 PDE 约束优化能够准确地细化系数重建结果，但其性能严重依赖于初始化。因此，我们构建了一个二维 CNN，将复值位移测量映射为空间变化的复值剪切模量场，并快速提供具有信息量的初始重建结果。所提出的混合方法使用 CNN 重建结果初始化基于伴随方法的优化，从而实现更快的收敛和更高的精度。CNN 在包含单个扰动的系数场上进行训练，并在单个扰动配置和此前未见过的组合配置上进行测试。数值实验表明，CNN 能够推广到这些更具挑战性的配置，而后续的 PDE 约束优化则进一步细化了重建得到的系数。这些结果展示了将数据驱动的初始化与基于物理的优化相结合，在高效且准确的 MRE 重建方面的潜力。
12:00 arXiv cs.LG 76
arXiv:2610.02564v1 公告类型：cross 摘要：我们提出了一个闭合建模框架，利用 Kernel Ridge Regression（KRR）识别动力系统中缺失的组成部分。该框架处理两类闭合问题：ODE 和 PDE 场景中的差分方程闭合，以及动力学方程中由矩闭合产生的代数闭合。对于第一类问题，我们在 ODE 场景下推导了一个误差界，用于量化时间积分、未解析尺度近似，以及将未解析尺度效应与已解析求解器耦合所需插值的贡献。在 Lorenz-63 系统和 Kuramoto-Sivashinsky 方程上的数值实验表明，该方法能够进行准确的长时间预测，并且相较于基于 LSTM 的闭合模型有显著改进。对于第二类问题，我们针对一维动力学方程研究矩闭合，将动力学通量与宏观通量之间的差异建模为已解析宏观变量的函数。我们比较了基于 PCA 坐标的全局 KRR 模型与空间局部模型。对于单峰初始条件，全局模型表现良好；但对于双峰初始条件，其准确性会下降。采用适当建模输入的空间局部模型提高了鲁棒性，并取得了更高的预测准确性。
12:00 arXiv cs.LG 82
arXiv:2610.02241v1 公告类型：cross 摘要：混合专家（MoE）架构使前沿语言模型能够扩展至万亿级参数规模，但其部署受到庞大内存占用和内存带宽限制的制约。尽管现代加速器提供了稀疏张量核心（SpTCs），可通过低精度半结构化稀疏性减少权重存储并提升吞吐量，但由于模型质量显著下降以及缺乏分组稀疏 GEMM 原语，将其用于 MoE 仍然面临挑战。我们提出了一种端到端的软硬件协同设计框架，将专家权重压缩为硬件原生的低精度稀疏表示，并在 SpTCs 上加速其执行。在算法层面，我们通过连续重参数化放松离散的半结构化支持集选择，从而在路由器加权重构目标和可扩展专家并行压缩下，实现与量化权重的可微联合优化。在系统层面，我们开发了定制的分组稀疏 GEMM 内核，专为 SpTCs 上的低精度稀疏 MoE 推理而设计。在参数规模从 300 亿到 1 万亿的 MoE 模型上，我们的框架将当前最先进的联合稀疏量化精度最高提升 4.35 个百分点，同时保持原始模型 96.09% 的性能。在 NVIDIA B200 GPU 上，我们的内核相较厂商基线最高实现 1.65 倍的性能，服务吞吐量提升 1.18 倍，端到端延迟最高降低 4.03 倍。这些结果表明，软硬件协同设计是实现可扩展、高效 MoE 部署的一条切实可行的路径。
12:00 arXiv cs.LG 76
arXiv:2610.03556v1 公告类型：新 摘要：关于 GNN 中过度挤压与长程交互之间联系的经验性论断，只有在用于验证这些论断的基准确实需要长程交互时，才值得信赖。事实上的标准 Long Range Graph Benchmark 已被反复证明会被经过调优的短程模型饱和，而现有的合成替代方案则与特定拓扑结构绑定。因此，在任意图上，都缺乏一种具有原则性的长程性证书。这一现状反映出人们尚未对长程基准作出精确刻画。我们通过提出四条可验证公理来弥补这一根本性空缺：可预测性、紧致性、严格 $k$-范围性和拓扑不变性；任何声称测试 $k$-跳交互的任务都必须满足这些公理。我们从形式上证明，违反其中任意一条，都会产生损害基于该任务所得结论的失效模式。在这些公理的基础上，我们提出 TRIP（Truly Ranged Interactions Problem）及其推广 GRIP（Generally Ranged Interactions Problem），这是一组构造性程序，通过从稳定分布中抽取特征，将任意图转换为具有可证明长程性的任务。此外，GRIP 的构造使其能够针对每个范围给出闭式最大似然 oracle，从而为任何基准首次提供先验的逐范围测试误差下界。利用我们的框架，我们：(i) 审查 4 个常见的长程基准，并根据我们的公理识别其失效模式；(ii) 在由 TRIP 实例化的拓扑结构上发现，一种流行的曲率概念与 GNN 性能不相关，从而支持拓扑瓶颈与计算瓶颈之间的区分；(iii) 展示一种新基准的过度挤压度量还受到纯粹长程性之外的因素影响。用于使用该框架并复现实验的代码已发布于 https://github.com/ferranhernandezc/graph-grip。
12:00 arXiv cs.LG 73
arXiv:2610.03551v1 发布类型：新 摘要：大型语言模型（LLMs）在竞赛数学中达到专家级表现，很大程度上得益于围绕模型进行的大量搜索：批量采样候选解，只有在外部标准接受它们时才予以保留。这种做法改善了最终保留下来的结果，却没有改变模型所表征的内容。我们在不存在外部标准的情形下考察这一问题：在相邻子领域的不同术语体系之间翻译陈述，其中的忠实性取决于内容所断言的概括层次。源文本通过其词汇将这一层次隐含起来，因此忠实的翻译必须从理论之间的关系中恢复它。我们引入了一种工具，将真值、内容和范围分别编码到相互隔离且不相互知晓的队列中，并用一种无需评判者的指标衡量改写是否陈述了源文本中隐含的假设；我们还通过植入正例的对照实验验证了该工具的敏感性。在来自四个系列的七个模型中，向更一般的表述框架翻译时，60.6%的改写扩大了量化范围，没有任何改写缩小范围；向更具体的表述框架翻译时，28.3%的改写缩小了范围，0.3%的改写扩大了范围。本可阻止这种偏移的假设，在模型改写中有21.6%被明确陈述，而在人类陈述中仅有4.2%被明确陈述。能力并不能决定这种不对称性：我们测试的每个模型都表现出这种现象，而且能力最强的模型扩大范围的程度最小。按照预注册规则留出的那一半基准测试数据上，以及数学家撰写的陈述上，该现象均得到复现。指示模型陈述其所需的每一个假设，会提高该比例，却不会提高其对方向的敏感性。我们认为，这些系统已经习得了子领域词汇之间对象层面的对应关系，却没有习得理论之间的翻译必须将假设映射为假设这一约束。
12:00 arXiv cs.LG 75
arXiv:2610.03402v1 公告类型：新 摘要：为了将深度神经网络部署到边缘硬件上，需要采用能够保持高精度的高效推理方案。本文提出了 W16A16，一种高精度（16位）、高速、低能耗的量化方法。在广泛应用的 Armv7E-M 微控制器架构上，与其他量化方案相比，我们提出的方法在层级和模型级别均实现了更快的速度和更低的能耗。我们分析了 Armv7E-M 的架构，解释了16位方法具备性能优势的基本原理，并评估了回归和分类任务中的经验量化误差，以及在 MCU 部署中的经验时间和能耗。我们观察到，与8位量化方案相比，量化误差降低了约10倍，同时推理时间和能耗相当或更优。
12:00 arXiv cs.LG 77
arXiv:2610.03303v1 发布类型：新提交 摘要：随机偏微分方程（PDE）的不确定性量化（UQ）在计算科学与工程中无处不在。然而，针对这类问题的经典谱求解器面临维数灾难，而现有的神经网络求解器通常忽略了随机结构，而正是这种结构使矩和校准变得易于处理。我们提出了一种随机可分离物理信息神经网络，称为 S$^{2}$-PINN。该网络通过可学习的高斯空间字典、傅里叶时间特征以及广义多项式混沌（gPC）随机基来表示随机偏微分方程的解 $u(t,\mathbf{x},\mathbf{Z})$，并由低秩 Canonical Polyadic（CP）张量分解核心将三者耦合起来。该方法采用强形式残差损失与 gPC 投影残差损失相结合的混合损失进行训练。我们的理论分析表明，在温和条件下，可分离函数类在 $L^2$ 中稠密，并且投影残差恰好对应于随机 Galerkin 约束。此外，我们证明了小批量投影系数与 gPC 模态数量呈对数依赖关系，并且正交性惩罚能够控制所学习空间字典的条件数。通过四个构造的随机偏微分方程基准测试，我们表明，与九种基线方法相比，S$^{2}$-PINN 在均值和方差精度以及校准方面均表现更优，同时使用的参数显著更少。在非构造的 Poisson 和 Darcy 问题、一个随机 Navier--Stokes 问题、高随机维度下的扩散尺度研究以及两个随机逆问题上的进一步评估，揭示了所提出结构的泛化能力。综上，这些结果表明，随机可分离性是物理信息神经网络不确定性量化的一项有效设计原则。实验代码可在 https://github.com/DMax1314/s2pinn 找到。
12:00 arXiv cs.LG 76
arXiv:2610.03027v1 公告类型：new 摘要：在长上下文 LLM 推理中，键值（KV）缓存已成为主要的内存瓶颈，对内存容量和带宽造成巨大压力。为缓解这一瓶颈，向量量化（VQ）已成为一种很有前景的 KV 缓存激进压缩方法。然而，现有 VQ 方法在 1 比特场景下性能会大幅下降。在如此极端的压缩条件下，每个码本必须使用有限数量的质心来表示更大的一组通道，因此如何有效利用其容量变得越来越困难。为此，我们提出了 $\textbf{TaSQ}$，通过结合查询引导的通道加权、跨头归一化和感知协方差的通道分组，对 VQ 目标空间进行定制，使其更好地反映缓存激活值的误差敏感性和统计结构。由于这些变换与 RoPE 兼容，并且可以轻松合并到投影权重和码本中，TaSQ 保留了传统的 VQ 查找结构，同时几乎不会增加服务开销。在通用推理、长链式思维推理和长上下文检索基准测试中，TaSQ 始终优于现有的低比特 KV 缓存 VQ 基线，同时保持推理稳定性。在单张 RTX 6000 Ada GPU 上，其 SGLang 实现支持最高达 BF16 基线 $14\times$ 的批量大小，并实现了 $1.87\times$ 更高的峰值吞吐量。
12:00 arXiv cs.LG 76
arXiv:2610.02865v1 公告类型：新摘要：时间序列预测广泛应用于敏感领域。在这些场景中，模型通常基于用户级或实体级的纵向记录进行训练，而这些记录之后可能因包含敏感或专有信息，或因传感器故障而损坏，需要被移除。为在无需高成本重新训练的情况下处理此类删除请求，机器遗忘作为一种切实可行的隐私保护与数据治理机制，已得到广泛研究。然而，机器遗忘在时间序列预测中的应用尚未得到充分实现，主要原因在于以下独特挑战：基于梯度的遗忘可能不稳定，因为被删除的观测会参与多个具有因果连接的预测窗口，导致参数更新传播到请求删除的时间区间之外，并降低保留数据上的预测效用。标签引导的更新提供了一种更可控的替代方案，但连续且依赖上下文的预测缺乏合适的替代目标，而精确重训练得到的输出在遗忘过程中又无法获得。此外，保留数据对某个被删除时间模式的支持程度高度不均衡。一些受影响的窗口在保留数据中仍能找到结构相似的对应样本，而另一些窗口则变得代表性不足或孤立。我们提出了 RDTU，一种用于时间序列遗忘的残差扩散框架。RDTU 首先利用基于保留集的神经切线核预测器，获得与删除操作相容的基础预测。随后，它利用保留参考数据的体积贡献，量化每个受影响窗口的全局与局部结构支持程度。接着，扩散模型生成残差修正，以估计反事实预测，从而得到引导轻量级模型更新的伪标签场。实验表明，RDTU 始终能够生成与精确重训练结果最为接近的遗忘模型。
12:00 arXiv cs.LG 72
arXiv:2610.02511v1 公告类型：new 摘要：高分辨率数值天气预报（NWP）和数据同化（DA）的进展推动了用于模拟大气动力学的深度学习（DL）架构的发展。天气预报模拟器在从数天到次季节时间尺度的预报时效范围内，展现出与基于物理的模型相当的预报质量。这些模拟器在自回归推理过程中依靠硬件加速的矩阵乘法驱动，从而显著减少了 NWP 所需的计算时间和资源。对 GPU 架构中的矩阵乘法过程进行优化，为扩展至高分辨率区域提供了机会，并支持开箱即用解决方案的实现。已有研究表明，训练后量化（PTQ）可应用于多种深度学习架构，在降低功耗的同时加速计算并提高单位时间内的计算量，从而支持在边缘硬件上的应用。在本研究中，我们探讨了 PTQ 对用于全球尺度天气预报的预训练 AI 模拟器的影响。我们在 Deep Learning Weather Prediction（DLWP）和 FourCastNet（FCN）模型中实现 PTQ 算法，作为其在地球物理流体动力学应用中的概念验证。我们系统地研究了 PTQ 对模拟器在短期预报时效内推理结果的影响。使用模拟量化对 PTQ 配置进行评估的结果表明，在短时间尺度内可以获得具有定性意义的预报。这些结果为自回归天气模拟器的 PTQ 提供了首个基准，并为基于量化的动力系统深度学习模型优化奠定了基础。
12:00 arXiv cs.LG 75
arXiv:2610.02488v1 公告类型：新 摘要：语言模型智能体日益依赖各种框架机制来管理有界上下文、持久化记忆、工具、验证和重复执行，但现有的模型能力概念并未量化这些机制所消耗的计算资源。我们提出语言模型智能体机（Language Model Agent Machine，LAM），这是一种资源有界的抽象：在固定底层语义模型的同时，明确计入框架层面的资源开销。我们建立了四类结果。通信方面：在同时调用—传输预算下，LAM 的执行与红—蓝 pebbling 逐实例等价，从而将经典的输入/输出下界转移到上下文—记忆流量上。访问方面：记忆接口会导致渐近分离；在指针追踪问题上，随机访问与非推测性顺序访问之间存在 $\Theta(n)$ 的差距。重计算方面：对于具有上下文容量 $C$ 和持久化记忆容量 $S$ 的系统，位反转 DAG 需要 $\Theta(n^2/(C+S)+n)$ 次模型调用，从而量化存储中间状态何时能够避免重复的语义计算。可靠性方面：我们推导出紧的阶段局部采样界、精确的不完美验证成本，以及一种 Young--Daly 型检查点定律，并给出最优验证间隔的闭式解。在 GPT-6 Astra 上开展的受控实验和留出实验检验了关于通信和可靠性的预测，包括检查点最优点、程序化检查下的策略选择，以及在链式 MATH 任务中调用粒度、逻辑输入流量和可靠性之间的权衡。总体而言，这些结果为语言模型智能体框架的计算成本提供了一套资源理论。
12:00 arXiv cs.LG 82
arXiv:2610.02462v1 公告类型：new 摘要：大语言模型压缩能够降低推理成本和内存需求，但由于相当的资源缩减可能带来不同程度的能力损失，方法和配置的选择仍主要依赖经验。我们系统研究了大语言模型压缩在剪枝、量化和蒸馏方面的能力缩减规律。我们的框架衡量模型在数学、代码生成和问答任务上的能力损失，并将这些测量结果与模型规模、训练阶段、压缩设置、数据可用性和训练暴露量联系起来。我们构建了简单的预测关系，并评估其准确性、测量效率，以及对未见过的配置和模型状态的泛化能力。在不同剪枝水平之间共享密度响应后，拟合剪枝预测器所需的配置测量数量减少了一半：在新的 Pythia 状态、预注册的 OLMo-2 测试状态以及 Wanda 剪枝条件下，这一紧凑关系在数学和代码任务上与使用全部测量结果拟合的回归模型相差不超过每个词元 0.020 纳特，其中系数针对每种设置分别重新拟合。受控蒸馏实验表明，在不同问答分布中，大量重复使用数据的成本会反复出现，而其净收益取决于评估分布。我们进一步通过将数值选择与配置中位数和固定方法优先级进行比较，评估这些预测的决策价值。在两个模型系列上的独立评估显示，在所测试的候选集合中，对于问答任务，选择方法能够捕获大部分可获得的跨方法收益；固定的方法优先级也能达到相同的遗憾值，而数学和代码任务的改进空间较小。这些结果阐明了能力缩减规律的预测范围，以及如何利用它们选择压缩方法。我们的代码公开于：https://github.com/LabRAI/scaling_down_law】【。
12:00 arXiv cs.LG 76
arXiv:2610.02359v1 公告类型：新 摘要：从可验证奖励中进行强化学习（RLVR）通常优化答案正确性，但有用的语言模型行为还需要高质量的推理和简洁的响应。现有的多奖励后训练方法通常会将奖励标量化，或组合多个专家模型，却没有明确保护奖励的优先级顺序。当权衡关系不对称时，这会带来问题：例如，简洁性不应以牺牲正确性为代价而提升。我们提出词典序多目标在策略蒸馏（Lexicographic Multi-Objective On-Policy Distillation，LMOPD），这是一种在明确优先级下整合专门化奖励策略的多教师方法。对于学生模型的每次采样，LMOPD 会选择第一个目标对应的专家模型，只要该目标的门控机制检测到不足；随后，它对该专家模型居中的策略对数修正进行局部投影，移除其中与更高优先级专家模型相冲突的成分。我们在三个数学基准上，以双专家和四专家设置评估了30B-A3B混合专家Transformer模型，并衡量专家模型增益的保留程度。在双专家设置下，LMOPD的点估计完全保留了准确性和推理质量方面的增益，同时获得了简洁性增益的46.9%。在四专家设置下，相较于评估的下一佳基线仅保留约57%的准确性增益和推理正确性增益，LMOPD保留了二者约90%的增益。匹配的四专家消融实验表明，词典序路由优于随机路由，而投影操作进一步增强了两项最高优先级能力。在这两种规模下，与我们评估的现有基线相比，LMOPD都能更有效地保留最高优先级能力，证明了明确优先级对于整合专家模型的价值。
09:47 MarkTechPost 68
Cantina Security, with Yeta Labs, has released apex-flash-1, an open-weights model trained specifically for vulnerability research. It is a reinforcement learning fine-tune of Z.ai’s GLM-5.3-Flash, released on Hugging Face under the MIT license. Is it deployable? Yes, the MIT weights serve on vLLM, SGLang or Transformers, but BF16 needs roughly 640 GB of GPU memory. […] The post Can an Open Model Do Security Research? Cantina’s apex-flash-1 Solves 40 of 60 Held-Out Bug Tasks appeared first on MarkTechPost .
01:33 arXiv cs.AI 81
稠密检索服务必须根据延迟、质量和内存预算的变化，在嵌入前缀维度和索引比特率之间切换。针对每种码率分别调优量化器可以获得最佳质量，但这样一来，检索层就必须同时保存多个代码流和量化器状态。我们提出 Matryoshka Residual Vector Quantization（MRVQ），一种面向冻结嵌入的事后残差量化器。其最高码率代码可通过两种方式截断：去除残差阶段可以降低码率，去除嵌入坐标可以降低维度。因此，一个常驻工件即可服务于我们评估的所有（维度、码率）组合。在 FiQA 和 NFCorpus、四种嵌入系列以及 {4, 8, 16} 字节代码的评估中，MRVQ 是我们测试的内存占用最低的设计。与分别训练的三个 QINCo2 索引相比，它的内存占用减少了 17.8–22.0 倍；与一种精简的共享模型强基线相比，则减少了 1.89–2.02 倍。这种节省并非没有代价：在 FiQA 上，按码率分别训练的 QINCo2 的 nDCG@10 高出 0.026–0.107。不过，在代码大小相同的情况下，MRVQ 击败了 PQ、OPQ 和 AdANNS-OPQ。我们还评估了一种构建成本较低的 PCA-scalar 设计；其质量与 RaBitQ 及其扩展版本相当，而在中位数意义下的拟合速度快 420 倍。最后，我们报告了两个负面结果：在高码率下训练时，QINCo2 会崩溃；而一个排序上界假设未达到预先设定的验收标准。因此，MRVQ 是弹性检索的一种低内存工作点，而不是在质量上普遍占优的方案。
18:48 arXiv cs.AI 79
量化交易策略设计旨在从历史数据中发现能够在未来市场中保持有效的交易程序，这可以视为一个黑盒程序优化问题。基于 LLM 的文本梯度通过提供明确的优化方向，为迭代式策略改进带来了有前景的方法。然而，直接应用文本梯度面临两项挑战：（1）优化过程具有短视性，未能充分利用以往评估中的经验；（2）汇总式回测反馈忽略了时间稳健性，可能偏向于仅在特定市场时期表现良好的策略。为应对这些挑战，我们提出 TradeGrad，一种由经验引导的文本梯度框架，用于实现稳健的交易策略优化。TradeGrad 利用积累的优化经验估计文本梯度，并采用多尺度修订机制，同时进行策略探索与细化。此外，该方法引入跨周期稳健目标（Cross-Period Robust Objective，CPRO），强调在历史不利时期的表现，以提升时间稳健性。在中国 A 股和美国股票市场上针对横截面和时间序列策略设计开展的实验表明，TradeGrad 在四种设置下均取得了最佳的样本内和样本外表现。值得注意的是，其中国横截面策略实现了 27.99% 的年化收益率、12.19% 的最大回撤和 1.63 的夏普比率，较沪深 300 基准高出约 68%。进一步分析验证了所提出组件的有效性，并表明在整个优化过程中，样本内和样本外表现均得到持续改善。代码可从 https://github.com/transcend-0/TradeGrad 获取。
13:37 MarkTechPost 63
Prime Intellect has launched Prime Inference, an OpenAI-compatible platform for serving frontier open models on NVIDIA Blackwell. Its GLM-5.3 deployment uses Dynamo, vLLM and NVFP4 KV compression to serve 66 sessions per prefill group at 101 tok/s per user. The post Prime Intellect Launches Prime Inference: Serverless and Reserved Serving for Frontier Open Models appeared first on MarkTechPost .
12:00 arXiv cs.LG 83
arXiv:2609.28870v2 公告类型：替换交叉版本 摘要：长时间运行的 LLM 应用会反复发送不断增长的上下文，使前缀缓存对于降低预填充成本至关重要。然而，在智能体工作负载下，前缀缓存的行为仍未得到充分理解。我们研究了来自两家公司的生产环境跟踪数据，并在 HBM 受限和大型内存池两种场景下评估了 14 种驱逐算法。尽管与 Belady 相比仍存在较大差距，但为传统缓存设计的复杂策略相比 LRU 几乎没有带来收益。其原因具有结构性：前缀复用主要受活跃会话的规律性节奏支配，因此近期性具有异常强的预测能力。尽管如此，前缀缓存仍带来了新的挑战，包括会话占用空间呈重尾分布，以及随着序列长度增加、注意力计算量增大而导致的缺失成本高度可变。我们提出了计算节省比率和两个离线预言机，用于量化这些影响。结果表明，有效的前缀缓存管理应以近期性为基础，同时有选择地加入针对仅命中一次的前缀的快速降级、面向计算开销的昂贵缺失部分驱逐，以及依赖容量的驱逐粒度。我们将发布这些跟踪数据和模拟器，以支持未来研究。
12:00 arXiv cs.LG 80
arXiv:2607.17384v3 公告类型：替换交叉版本 摘要：本文提出了一条经实验验证的形式化定律，用于计算思想多样性为大型语言模型（LLM）集成带来的提升。我们从第一性原理出发，将 LLM 集成提升精确分解为挽救质量和损害质量，由此得到一种用于计算提升幅度的紧凑启发式方法。基于此，我们提取出能够预测集成性能的指标：经过准确率调整的正确性相关系数 $\phi_{\mathrm{adj}}$，以及两者之间的准确率差距和二者的集体准确率。我们在来自十个开放权重模型的 767,520 次推理上检验了该定律，这些推理涵盖两个研究生水平的科学基准，以及一个全新的智能体网络安全基准。在后者中，每个模型都在网络隔离的沙箱中通过多轮工具调用开展数字取证调查（包括弃答在内共 23,520 次评分试验）；所有投票结果均公开发布。该启发式方法仅在 SuperGPQA 上以 40:60 的投票比例校准一次后，在校准集上以 Spearman's $\rho=0.84$ 预测提升幅度；在冻结其系数的情况下，它还能迁移到两个从未用于校准的数据集上（在 GPQA Diamond 上 $\rho=0.51$，在取证任务上 $\rho=0.84$），同时，交换质量始终能够以 $R^2\ge 0.96$ 追踪实际实现的提升幅度。原始 $\phi$ 几乎没有预测能力（始终为 $R^2\le 0.09$）；经过准确率调整的 $\phi_{\mathrm{adj}}$ 明显更优（在 SuperGPQA 上为 $R^2=0.67$），而结合这些指标的启发式方法，是三个数据集中最稳定的池化前预测指标。
12:00 arXiv cs.LG 84
arXiv:2609.39223v2 Announce Type: replace Abstract: Large language model (LLM) inference is increasingly moving toward lower precision to realize the throughput of hardware accelerators, but aggressive post-training quantization (PTQ) can degrade model quality. We present QATFactory, an open-source framework for deployment-aligned quantization-aware distillation (QAD) and reinforcement learning (QARL). QATFactory simulates deployment-time quantization while performing matrix multiplications in BF16, allowing models to adapt to quantization noise without requiring training hardware that natively supports the target format; for example, it supports NVFP4 training on H100 GPUs, which lack FP4 Tensor Cores. The framework supports NVFP4, MXFP4, and $\text{llama}.\text{cpp}$'s Q4_K format; dense and mixture-of-experts models; and both full-parameter and LoRA-based training. It exports checkpoints directly to vLLM and $\text{llama}.\text{cpp}$ without an additional lossy conversion step or added inference overhead. With QATFactory, we conduct extensive experiments on models ranging from 8B to 230B parameters and evaluate exported checkpoints in production inference engines. Across models and formats, QAD consistently improves deployed-model quality over strong PTQ baselines. On Qwen3.5-9B, QAD achieves average benchmark accuracies of 68.9% under NVFP4 and 66.0% under MXFP4, outperforming the best PTQ results of 65.4% and 56.4%, respectively. Through our experiments, we found that although both FP4 formats quantize weights and activations at deployment, the best training strategy is format-dependent: NVFP4 generally performs better when only weights are quantized during training, whereas MXFP4 benefits from quantizing both weights and activations. At a fixed training token budget, training on fewer 32K sequences improves average accuracy by 1.9 points over training on more 4K sequences.
12:00 arXiv cs.LG 71
arXiv:2609.26959v2 公告类型：替换 摘要：在受负荷限电影响的地区，太阳能光伏（PV）预测面临挑战，因为可靠的历史观测数据十分稀缺。本研究提出了一种结合保形化分位数回归（CQR）的迁移学习框架，以在严重数据稀缺条件下提升光伏功率预测性能并提供可靠的不确定性估计。研究使用来自澳大利亚爱丽斯泉的源域光伏数据集，对时序预测模型进行预训练，随后将其适配到模拟的孟加拉国光伏数据，以表示不同程度的历史数据可用性。实验结果表明，当目标域仅有一个月数据时，迁移学习最多可将均方根误差（RMSE）降低23.7%；当数据量为三个月时，RMSE可降低13.7%。所提出的迁移学习加 CQR 框架在拥有三个月目标域数据时实现了94.3%的经验覆盖率，同时生成的预测区间比不采用迁移学习时窄14%。这些结果表明，当目标域光伏数据严重受限时，将迁移学习与保形不确定性量化相结合，能够同时提升点预测精度和不确定性估计的可靠性。
12:00 arXiv cs.LG 74
arXiv:2607.03651v3 公告类型：替换 摘要：尽管传统的枢纽容量规划模型能够有效优化量化输入，但通常难以理解定性的业务背景。我们提出了一种新颖的框架，其中大语言模型（LLM）智能体在自然语言业务背景描述的引导下，迭代提出枢纽容量决策。其核心机制是一种思维链推理协议：LLM 构建结构化决策表，根据每项背景信息所暗示的变化方向和幅度，将其映射为具体的容量调整。随后，通过与优化模型构成的反馈循环对新的容量决策进行验证；优化模型提供基于路径规划的性能指标，以指导智能体进行选择。在美国东南部一个包含 13 个枢纽的真实货运网络上，相较于隐藏的真实最优解，我们的框架实现了 2.8% 的最优性差距，显著优于不使用文本业务输入的传统优化模型所产生的 11.0% 差距。这表明，LLM 可以充当情境桥梁，将定性的业务洞察整合到运筹学工作流程中。
12:00 arXiv cs.LG 76
arXiv:2606.18967v2 公告类型：替换 摘要：强化学习（RL）已成为大型语言模型（LLM）的代表性后训练范式，使模型具备强大的推理和智能体能力。然而，rollout 生成仍是延迟的主要瓶颈，因为自回归（AR）采样需要按顺序逐个解码响应，而少量长尾生成往往决定了整体完成时间。推测解码（SD）是一种成熟的固定 LLM 服务技术，通过快速生成草稿 token 并利用并行验证接受这些 token，在保持目标模型分布不变的同时降低延迟。然而，其实际加速效果无法直接迁移到 RL rollout 中，原因在于：（i）不断演化的目标策略会使任何固定草稿模型与策略输出分布之间的失配日益严重；（ii）在 rollout 解码过程中，有效批次大小会逐步缩小，使解码从计算受限转变为内存受限，此时并行验证能够利用未充分使用的计算资源。因此，加速 RL rollout 既需要一个能够适应演化策略下长序列、高温度生成的高效草稿模型，也需要系统感知地使用 SD，以避免在计算受限阶段进行推测。我们提出 EfficientRollout，一种面向系统感知的自 SD 框架，旨在解决 RL rollout 中的这一问题。EfficientRollout 从目标模型中生成量化草稿模型（即自推测解码），使其与不断演化的策略保持耦合，而无需单独进行草稿模型预训练或在线适配。此外，该方法将系统感知的 SD 开关策略与接受率感知的草稿长度自适应相协调，仅在有利的阶段启用推测，同时根据草稿模型质量的变化匹配草稿生成预算。与加速的 AR rollout 基线相比，EfficientRollout 可分别将 rollout 延迟和端到端延迟最多降低 24.2% 和 15.6%，同时保持最终模型质量。
12:00 arXiv cs.LG 79
arXiv:2605.10793v2 公告类型：替换 摘要：由于大型语言模型（LLM）具有庞大的内存占用和较高的推理成本，部署这类模型代价高昂。权重-激活量化可以降低这些成本，但低比特激活量化仍然困难，因为激活异常值会引入较大的量化误差。近期基于旋转的方法通过应用正交变换，在不同维度之间重新分配激活幅值来解决这一问题；然而，现有方法要么需要代价高昂的端到端旋转训练，要么依赖存储的激活语料库，从而带来显著的计算或存储开销。我们提出了一种用于 LLM 激活量化的轻量级训练后旋转校准方法。该方法学习正交旋转，使归一化激活与内接超立方体的顶点对齐，从而促使激活能量在各个维度之间更加均匀地分布。该目标可通过正交 Procrustes 问题实现高效的闭式更新，避免在正交群上进行基于梯度的优化。我们进一步提出了一种在线校准流程，在处理校准样本的同时更新旋转矩阵，从而无需将激活存储在磁盘上，并使旋转矩阵能够在校准过程中适应量化后的激活分布。在参数规模从 3B 到 70B 的 Llama-2 和 Llama-3 模型上进行的实验表明，该方法在困惑度基准和常识推理任务中取得了具有竞争力或更优的性能，同时避免了高成本的端到端训练和大规模离线激活存储。
12:00 arXiv cs.LG 80
arXiv:2604.02751v3 公告类型：替换 摘要：扩散模型在潜在空间中往往会出现性能下降，但其理论原因仍缺乏充分理解。我们通过刻画扩散轨迹上最小均方误差（Minimum Mean Squared Error，MMSE）的变化率，量化潜在空间的可扩散性。我们的框架将 MMSE 变化率分解为 Fisher 信息（Fisher Information，FI）和 Fisher 信息率（Fisher Information Rate，FIR）的贡献。我们证明，等距嵌入能够保持内在 FI，并针对更广泛的一类具有受控弱体积畸变的双 Lipschitz 编码器，建立定量的内在 FI 界；而 FIR 则由编码器几何与数据几何之间的相互作用所决定。我们的分析在高斯平滑 FIR 的局部稳定性界中区分出四种几何贡献：维度压缩、切向畸变、高频编码器曲率以及数据流形曲率。在多种自编码架构上的实验为理论所揭示的几何机制提供了定性支持，并表明在所测试的设置中，经验 FI 和 FIR 能够反映生成质量与潜在空间几何的若干度量。我们建立了 FI 和 FIR 这一套用于理解潜在空间可扩散性的综合分析框架。
12:00 arXiv cs.LG 72
arXiv:2610.01662v1 发布类型：cross 摘要：我们为非凸--凹极小极大优化中的随机一阶算法建立了复杂度下界，并允许算法使用方差缩减。我们的主要贡献是针对允许方差缩减的零尊重算法类给出一个下界，从而突破了某些现有下界所施加的算法限制。我们考虑目标函数具有 $L$-Lipschitz 连续的联合梯度，具有欧氏半径至多为 $D_Y$ 的紧凸对偶域，以及一个原始值函数；该函数定义为对对偶变量最大化目标函数，并且初始次优性至多为 $\Delta$。目标精度 $\varepsilon$ 通过带参数 $1/(2L)$ 的受约束原始值函数的 Moreau 包络的梯度范数来度量。在方差至多为 $\sigma^2$ 且满足均方光滑性的无偏随机一阶预言机下，我们证明了下界 $\Omega\!\left(L^2D_Y\Delta\varepsilon^{-3}+L^3D_Y^2\Delta\sigma^2\varepsilon^{-6}\right)$。即使允许使用方差缩减，该结果仍量化了复杂度对精度、对偶域半径和预言机噪声的依赖关系。我们还为非凸--强凹极小极大优化建立了互补的下界。设对偶强凹参数为 $\mu>0$，条件数为 $\kappa:=L/\mu$，则在有界方差预言机模型下，我们得到 $\Omega\!\left(L\Delta\sqrt{\kappa}\,\varepsilon^{-2}+L\Delta\kappa\sigma^2\varepsilon^{-4}\right)$。在额外满足常数为 $\bar L$ 的均方光滑性条件时，我们得到 $\Omega\!\left(L\Delta\sqrt{\kappa}\,\varepsilon^{-2}+\Delta\bar L\sigma\kappa^{3/2}\varepsilon^{-3}\right)$。综上，这些结果揭示了凹和强凹情形下的复杂度壁垒，其中主要的非凸--凹下界对于使用方差缩减的算法仍然成立。
12:00 arXiv cs.LG 80
arXiv:2610.01578v1 公告类型：cross 摘要：为什么掩码预测能够学习到有用的表征，而无掩码重构却无法做到？我们在一个高维掩码自动编码器（MAE）模型中研究这一问题，该模型在具有共享潜在结构和异质噪声的数据上进行训练。我们证明，在某些无掩码线性重构（等价于 PCA）失效的情形下，掩码线性重构仍能以线性样本复杂度恢复潜在特征。我们还量化了掩码重采样的统计优势，这是掩码预训练中一个公认的重要组成部分。通过为每个样本引入固定的 $K$ 个掩码，我们刻画了其对特征恢复和下游性能的影响，并确定了掩码多样性更高能够降低样本复杂度的情形。受这一预测启发，我们发现，在标准图像训练流程中，随机裁剪和翻转即使在图块掩码固定时也会通过更新预测任务，掩盖掩码重采样的优势。移除这些变换后，我们在 CNN 自动编码器和视觉 Transformer 中发现，相较于静态掩码，动态掩码具有下游优势。一项互补的 BERT 试验发现，更高的掩码多样性能够提升下游语言任务的表现。我们的结果区分了掩码预测目标本身与掩码多样性所带来的收益，并展示了一个易于处理的理论如何指导实验，从而揭示被标准训练实践所隐藏的优势。
12:00 arXiv cs.LG 77
arXiv:2610.01533v1 公告类型：cross 摘要：现有关于生成式推荐中语义 ID（SID）的研究将 SID 构建视为表示学习问题：将物品编码到量化潜在空间中，并读出相应编码。我们认为，这种观点只是偶然形成的。SID 构建的本质是一个递归聚类问题；一旦这样表述，自然的聚类对象便是一个图，其节点承载语义内容，边承载协同信号；SID 分配则转化为层次化图划分。基于这一重新诠释，我们提出了统一框架 Graph-Informed Semantic IDs（GrIS），它涵盖而非取代已有方法。RQ-VAE 和 RQ-KMeans 可被视为图为空时的特例，这表明仅基于内容的量化只是更大设计空间中的一个角落，而该设计空间沿着两个迄今被合并的维度展开：图构建方式和递归划分算法。我们探索了两种对比鲜明的实现：RecDMoN 通过可微图池化执行层次化分配；RQ-GAE 则利用图感知的物品表示和图重构目标扩展了 RQ-VAE。在多个真实世界数据集上，GrIS 持续优于考虑 CF 的 SOTA 方法，Hit@10 最高提升 +52\%。由于图构建和划分是显式且可分别配置的组件，因此可以将两个维度上的改进结合起来，并进行系统评估。
12:00 arXiv cs.LG 79
arXiv:2610.01509v1 发布类型：cross 摘要：关于大语言模型（LLMs）强化学习（RL）后训练，一项新兴假设认为，后训练只是在锐化基础模型已有的行为，以牺牲解法覆盖度为代价提升单次准确率。尽管这一权衡已在数学和编程任务中得到观察，但它未必适用于智能体任务，因为多轮工具使用和交互可能需要模型在后训练期间新获得的能力。我们出人意料地发现，配备轻量级推理框架的预训练 LLMs 可以充当能力不俗的智能体。尽管其准确率（pass@1）低得多，但在拥有充足测试时预算的情况下，它们在解法覆盖度（pass@K）方面往往超过经过后训练的对应模型。我们进一步分析了其底层机制，发现后训练会将任务推向两个极端：要么总能解决，要么永远无法解决，从而以牺牲解法覆盖度为代价，提高采样效率和一致性。为衡量这一代价，我们提出 Sharpening Tax，这是一项诊断指标，用于量化后训练后测试时可扩展性的损失。在来自四个系列的 14 对基础模型/后训练模型，以及三个智能体基准测试中（总计 42 个案例），该税负在大多数设置下普遍存在，可以通过少量 rollout 进行估计，并且与其他指标具有良好的相关性。最后，我们提出后验温度调节组采样（PTGS），这是一种简单、即插即用的贝叶斯采样器，可根据估计的难度为每个提示自适应地调整采样温度。在两个智能体环境中应用于 RL 训练期间时，PTGS 相比固定温度基线承担的税负更低，在重复采样下能够解决更多任务，同时还能提升单次准确率。
12:00 arXiv cs.LG 75
arXiv:2610.00899v1 公告类型：cross 摘要：自回归视觉-语言-动作模型通常将连续机器人动作表示为离散标记序列，从而能够使用标准的下一个标记预测目标进行动作预测。FAST 通过将包含多种时间频率的动作紧凑地编码为相对较少的标记，显著改进了这种表示方式。然而，尽管这种压缩减少了自回归预测所需的动作标记数量，却未必能提高从有限示范中进行策略学习的效率。具体而言，FAST 通常为每个量化动作序列分配一种确定性的标记化方式，尽管多个标记序列都可以表示并解码为相同的机器人运动。我们研究了利用这种表示冗余是否能够改进策略学习。在本文中，我们提出带随机采样的动作序列标记化（TOkenization of Action sequences with STochastic sampling，TOAST），这是一种随机动作标记化方法，在策略训练期间对同一量化动作序列的不同标记化方式进行采样。这种方法在保留底层机器人动作的同时，使离散监督更加多样化，且不需要额外的示范。在 LIBERO 上的实验表明，TOAST 始终优于其确定性对应方法；随着训练数据减少，其提升幅度进一步增大：当仅有 1/16 的训练数据可用时，成功率提升了 6.8 个百分点。在四项真实机器人操作任务中，TOAST 相较于确定性对应方法进一步将平均成功率提高了 15.8 个百分点。这些结果证明了随机动作标记化对于自回归机器人策略学习的有效性，尤其是在训练数据有限的情况下。
12:00 arXiv cs.LG 82
arXiv:2610.00694v1 公告类型：交叉 摘要：压缩报告通常通过 KL 散度总结压缩语言模型偏离稠密模型的程度；而依赖稠密模型输出的部署则需要知道其决策有多少发生了变化。我们表明，直接回答这一问题的是全变差，而不是 KL 散度。在五个语料库、九类机制上互不相关的扰动，以及 19 个开放模型的 802 个压缩版本和扰动副本上，arg-max token 发生变化的比例（\emph{翻转率}）与全变差的比值相当稳定，中位数为 $1.05$，且无需拟合常数。KL 散度只有通过其平方根以及一个在不同模型和语料库之间变化幅度达四倍的因子才能转换为翻转率，这是因为 KL 散度先对 token 求平均，再开平方；而像 Hellinger 距离这样的、按 token 求平均的一阶统计量则避免了这一问题，但报告很少提供这些指标。因此，在两个分别针对不同模型和语料库的压缩器中，如果它们的翻转率相差至少 $10\%$，KL 散度会在 $11\%$ 的情况下将较小的散度归给决策变化更多的压缩器，而全变差出现这种错误的比例仅为 $1\%$。两项预注册测试揭示了这一结论的边界：在一个留出的代码语料库上，该比值对全部八个模型都成立，而关于 KL 散度的三项预测分别有一半或更多模型未通过；在三个新的、使用真实内核的模型上，该比值在 38 个检查点中的 37 个保持在其区间内，但对其中两个模型，在代码任务上降至 1 以下。在 vLLM 的推测解码中，在教师强制条件下测得的全变差能够预测贪心草稿的接受率，平均相对误差为 $1.1$--$2.4\%$，无需 KL 散度所需的任务特定校准。
12:00 arXiv cs.LG 80
arXiv:2610.00610v1 公告类型：cross 摘要：可解释的自杀风险评估不仅要求模型估计风险严重程度，还要求识别帖子中表达的支持性语言以及风险因素和保护性因素。我们介绍了参加 IEEE BigData 2026 Cup 社交媒体可解释自杀风险评估赛题的系统，该系统涵盖三个任务：风险等级分类、证据短语提取和多标签因素识别。我们采用量化低秩适配（QLoRA）和答案掩码因果语言模型目标，对 Qwen2.5-Instruct 模型进行适配。针对风险分类，我们在全部三个任务上进行联合训练；针对证据提取，我们在 Task~1a 和 Task~1b 上进行联合训练；针对因素识别，则单独适配 Task~2。我们还针对不同输出定制了聚合方法：对 32B 和 72B 模型输出的风险等级概率取平均；通过跨折共识合并证据短语；根据折外运行点，通过速率匹配校准特定因素的决策。在官方排行榜上，最终系统取得了 0.7738 的综合得分，其中 Task~1 得分为 0.8089，Task~2 得分为 0.6919。在评估的各项配置中，三任务训练在 Task~1a 上表现最佳；在 Task~1a 和 Task~1b 上进行联合训练在 Task~1b 上表现最佳；针对任务的专门训练在 Task~2 上表现最佳。当组成模型的错误具有互补性时，概率平均进一步提升了 Task~1a 的表现。这些发现表明，在统一的语言模型框架内，根据每个任务的输出结构定制训练目标和聚合策略具有重要价值。
12:00 arXiv cs.LG 75
arXiv:2610.00569v1 公告类型：cross 摘要：在高亮度大型强子对撞机中，对撞机事件进行完整探测器模拟与重建预计将成为主要瓶颈，这推动了快速、基于 ML 的替代模型的发展。与此同时，LLMs 推动了生成式离散建模的快速进展：在标记化数据上训练的自回归 transformer，如今已在一系列生成任务中代表最先进水平。我们通过引入一种在残差量化的完整事件数据上训练的粒子级生成模型，扩展了离散建模范式。我们展示了此类模型能够基于探测器稳定粒子进行条件生成；研究了其在不同数据集规模和模型规模下的扩展行为，刻画了重复接触数据的影响，并证明词元级损失能够系统性地预测下游物理保真度。这些结果为基于残差量化表示的可扩展对撞机完整事件生成提供了一个经验框架。
12:00 arXiv cs.LG 74
arXiv:2610.00535v1 公告类型：cross 摘要：不确定性量化在科学机器学习中至关重要，因为基于黑盒图像的模型正日益应用于高风险场景。在许多此类应用中，模型输出会影响高成本决策，但大多数方法只能提供点估计，无法量化预测不确定性。模型内部信息难以获取和解释，使得评估模型在输入空间不同区域的可靠性变得更加困难，进一步加剧了这一挑战。因此，人们越来越需要能够提供依赖于输入的不确定性估计方法，以指导模型开发和后续实验。为满足这一需求，我们提出了使用最近邻的自适应保形预测（ACPNN），这是一种面向图像回归的输入自适应保形框架。ACPNN利用邻近样本的信息生成局部自适应的不确定性估计，同时保持较低的计算成本。该邻域结构使用通过带有自动相关性确定（ARD）核的高斯过程学习得到的缩放距离度量来定义。我们在一个用于模拟惯性约束聚变（ICF）仿真的扩散模型上验证了 ACPNN 的有效性，结果表明，该方法能够实现可靠且自适应的不确定性量化。
12:00 arXiv cs.LG 80
arXiv:2610.00465v1 公告类型：cross 摘要：下一代大型语言模型（LLM）正从云端扩展到无处不在的边缘设备。然而，边缘设备通常要么没有足够的内存来存储日益庞大的 LLM 权重，要么即使拥有足够内存，也会因加载权重而消耗难以承受的能量。这引出了我们的问题：边缘设备能否在不存储或加载权重的情况下运行 LLM，而是通过无线方式接收权重并即时使用？受无线广播启发，我们提出了 AIR-LLM，这是一种面向边缘设备的 LLM 推理架构，由以下部分组成：（i）中央无线电设备（例如 5G 基站），将 LLM 权重广播到空中；（ii）边缘用户接收这些权重，并利用射频混频器，直接在射频（RF）域中完成 LLM 推理的一般矩阵-向量乘法（GEMV）。为进一步缩短空中传输时间，AIR-LLM 利用 MIMO 空间复用，并在边缘侧提出一对节能的预编码器和后编码器，以校准其自身的无线信道。由于中央无线电设备无需感知用户，AIR-LLM 具备用户可扩展性，因此一次广播即可服务覆盖范围内的无限用户。我们在两个真实城市场景的 NVIDIA Sionna 射线追踪信道上实现了 AIR-LLM，并结合真实射频混频器的性能分析进行了评估。在 LLaMA-3.1-8B 上，WikiText-2 困惑度仅下降 4.0%，与 FP16 和仅权重量化基线相比，AIR-LLM 分别节省了 157.7 倍和 40.4 倍的能耗；在 20 个用户的情况下，其空中传输时间分别缩短了 104.1 倍和 26.0 倍。
12:00 arXiv cs.LG 76
arXiv:2610.00382v1 公告类型：cross 摘要：模型量化通过降低神经网络权重和激活值的数值精度，减少存储和计算成本。模型反演攻击从模型输出或中间特征中恢复或重构敏感训练数据或推理输入，因此量化也可能改变其有效性。然而，仍有两个问题尚未解决：模型量化如何影响模型反演？数据特征如何影响这种关系？针对第一个问题，我们界定了量化导致的输入与由预测概率定义的分类变量之间互信息的变化，并区分信息层面的影响与攻击优化障碍。针对第二个问题，我们识别出特征分布和反演结果中依赖于数据的变化，并发现量化敏感性在4比特下存在显著差异。这些发现为一种注重隐私的训练后量化方法提供了指导，该方法在恢复模型效用的同时提高了对反演攻击的抵抗能力。该方法使用Fisher型任务敏感性代理指标进行预算感知的比特分配，校准激活值范围，并通过任务恢复和几何结构保持目标，以及尺度和舍入正则化，联合优化权重与激活值的缩放因子和权重舍入决策。实验涵盖多种指标、神经网络架构，以及人脸、掌纹和虹膜识别任务。在ResNet-50上，4比特的Palm将RL-MIA的严格成功率从54%降至26%，而相较于FP32，准确率从99.01%降至96.55%。我们的方法还支持输出级防御：在4.5比特的Iris上加入Stealthy Shield Defense（SSD，epsilon = 0.1）后，BREP-MI的严格成功率从63.33%降至37.33%，而相较于仅进行量化，准确率从92.8%降至87.6%。
12:00 arXiv cs.LG 76
arXiv:2610.00157v1 公告类型：cross 摘要：对称性会降低量子学习模型的容量，但所施加的群必须同时与测得的信息和标签变换相匹配。我们建立了一套有限测量理论，用于从候选变换中推断该群。核心结构性结果表明，只要探针张成空间具有不变性，对观测不可见的变换就对应于投影态的稳定子。该结果将恢复出的生成元转化为有效子群，并将连续的不可见空间确定为其李代数。对于有限字典，一种无偏的阴影统计量能够以与间隙倒数成正比的测量速率，区分平方期望差异为零和为正的情形，从而改进均匀差异估计中与间隙平方倒数成正比的测量速率。在固定快照规模下，交换量子比特的下界证明了这种间隙依赖性的最优性；同时置信区间则支持数据依赖的容差设置。任务验证随后通过特征核检验联合分布，或通过经典--量子差异检验其编码均值。一个精确的群平均恒等式将后者与联合态的不对称性联系起来，并规定其向二元任务破缺质量的转换方式。投影偏差量化了对称性过强所付出的代价，而 $\ell_1$ 读出界则量化了放宽对称性所获得的容量增益。在不变纯态骨架处，保留扇区与非平凡破缺扇区在 Fisher 度量下正交。Ising-chain 计算将有限样本恢复、标签依赖的对称性和物理扇区漂移联系起来。这些结果确定了测量所支持的对称性，并为后续的发布决策提供统计与几何基础。
12:00 arXiv cs.LG 80
arXiv:2610.00025v1 公告类型：cross 摘要：Agent harnesses 越来越希望在前沿大语言模型（LLM）规划器周围的微任务上运行小语言模型（SLM）：自动批准 shell 命令、写入记忆、选择工具、对过往轮次进行排序。我们考察现成 SLM 是否达到从业者定义的阈值；当其未达到时，分析原因，并探究量化是否会改变结论。我们构建了一个包含 4 类此类微任务的基准，使用固定提示词和自动化指标；每项任务都有一个预先指定的阈值 $\tau$，该阈值以低成本的非 LLM 基线为锚点，并采用考虑 CI 的达标规则（只有当某配置的置信界限超过 $\tau$ 时，该配置才算通过）。我们测试了 Qwen3 0.6/1.7/4/8B 的最佳设置（FP16、贪心解码、一个固定不变的提示词、不进行调优），发现存在达标差距：16 个配置（4 项任务 $\times$ 4 个模型）无一通过（通过检查原始输出和解析器行为进行了验证）。一个基于 logprob 的决策阈值诊断方法（T1/T3/T4；T2 则通过上下文长度/级联探测）将失败区分为能力不足，以及可以通过改变解码阈值加以解决的失败（共 4 种情形）。量化为 4-bit（RTN/GPTQ/AWQ）造成的损害取决于模型规模，且没有使任何配置达到达标标准（在可重建的硬标签任务 T1/T3 上进行了认证；在 T2/T4 上进行了诊断/窗口化稳健性分析），因此差距更多地取决于模型规模，而非精度；在 Llama-3.x 上也复现了这一结果（12/12 个配置均未达标），并且对锚点选择（通过 $\tau$ 扫描）和提示词措辞都具有稳健性（在原始提示词及每个单元格额外的 3 个中性释义提示词中，达标配置均为 0/112）。实践上的启示是：应将 SLM 置于一个满足 CI 支持阈值的基线之后，仅在基线未达到阈值时使用 SLM；例如，在 BM25 候选列表上使用 4B 重排序器，其表现优于 BM25（$+0.047$ [0.020, 0.073]），但其自身并未达到可认证的达标标准。
12:00 arXiv cs.LG 77
arXiv:2610.02186v1 公告类型：新 摘要：分子学习模型在很大程度上受到其底层表示的影响。然而，标准的序列形式化和图形式化难以显式编码环系统和反复出现的基元等高阶拓扑结构。现有的高阶表示能够直接捕捉这些结构，但通常计算开销较大，并且难以解码为有效分子。在此，我们提出高阶文法表示（Higher-order Grammar Representation，HGR），这是一种具有严格原理且感知拓扑的框架，可将分子提升为组合复形，并依据上下文无关高阶文法，将每个复形解析为紧凑的生成规则序列。通过将高阶拓扑序列化为规则序列，HGR使这些结构能够直接兼容标准序列模型，在保留拓扑表达能力的同时，避免显式高阶编码带来的计算开销。为减少基准测试对简单环系统的偏向，我们构建了RingDiv，这是一个包含118万种分子的富环基准数据集，其中包括经过整理的RingDiv300k子集；同时引入环多样性指数（RDI），用于量化环系统覆盖范围。在分子生成方面，基于HGR的模型独特地将由构造保证的100%有效性与领先的分布对齐能力结合起来，并在全部五项生成基准测试中均以FCD排名第一。在表示学习方面，HGR-FM在七项MoleculeNet基准测试中、两种迁移协议下均取得最高平均AUC；在探测和完全微调设置下，分别比最强基线提升8.3和3.3个AUC点。总体而言，这些结果表明，HGR是一种高效的高阶表示，适用于分子生成和可迁移表示学习。
12:00 arXiv cs.LG 79
arXiv:2610.01894v1 公告类型：新 摘要：机器学习（ML）已成为改进弥散磁共振成像（dMRI）纤维束追踪的一种有前景的方法，但该任务仍受限于局部弥散信息与全局解剖学合理性之间固有的矛盾。在本研究中，我们系统评估了用于迭代式纤维束追踪的循环神经网络（RNN）和 Transformer 模型，重点关注训练策略、输入表示（包括基于卷积神经网络（CNN）的嵌入和序列结束（EOS）标记）以及超参数选择。我们引入了一个生成-验证阶段，使训练期间能够在流线层面进行监督，从而尽管局部损失函数与全局流线质量之间存在不匹配，仍可实现监督。使用 ISMRM2015 纤维束追踪挑战赛数据集时，我们的模型取得了迄今报道的最高性能。通过受控实验，我们量化了缺失纤维束、含噪或不完善的训练流线，以及训练集中的无效纤维所产生的影响。最后，我们展示了性能最佳模型在 Tractoinferno 数据库体内数据上的适用性。总体而言，我们的结果突出了 Transformer 和 RNN 等基于序列的深度学习模型用于纤维束追踪的潜力与局限，并强调了改进仿真体和评估方法对于体内验证的必要性。我们为未来训练和验证基于序列的监督式纤维束追踪方法的研究人员提供了总结与建议。
12:00 arXiv cs.LG 80
arXiv:2610.01889v1 公告类型：新 摘要：低精度 Transformer 推理应使用随机舍入（SR）还是舍入到最近值（RN）？答案取决于考察网络中的哪个位置。我们固定数值格式，仅改变各个操作位置的舍入规则，以隔离这一影响。为了能够在任意选定的精度下进行实验，我们将 PRISM 向量化舍入库扩展到任意虚拟精度，实现了可变精度随机舍入（VPSR）算法，并证明舍入决策是在硬件浮点数中精确求值的。我们提出了两种互补的分析方法，以深入理解这种操作位置层面的权衡。首先，针对线性投影的概率前向误差界表明，随着归约长度 $n$ 的增加，SR 的误差包络以 $O(\sqrt{n} u)$ 增长，而 RN 则以 $O(n u)$ 增长；在低精度下，这一差距会迅速扩大，并且在较长的多层感知机（MLP）下投影中最为明显。其次，在输出 softmax 处对期望交叉熵损失变化进行二阶分解，将其拆分为有符号漂移、漂移曲率和 Fisher 加权方差惩罚，从而揭示了两个位置为何表现相反：MLP 噪声主要表现为统一的 logit 偏移，而 softmax 对此具有不变性，因此 SR 的方差大多会被折扣；头部噪声在词汇表中并不均匀，因而不会被折扣。在 $t=6$ 个有效数位的 DistilGPT-2 上，观测结果与理论一致：在 MLP 中使用 SR 时，困惑度为全精度参考值的 1.15 倍，而使用 RN 时为 2.21 倍。在语言模型头部，排序则发生反转，因为 SR 会引入不均匀方差，而确定性的 RN 不会。在混合精度配置中（MLP 输出使用 $t=6$），将 SR 分配给 MLP、将 RN 分配给头部，可使困惑度控制在全精度参考值的 1.10 倍以内；与位数匹配的 RN 相比，困惑度降低了 28%。
12:00 arXiv cs.LG 75
arXiv:2610.01819v1 公告类型：new 摘要：基准性能提升往往无法明确归因于具体机制：复现某项改进本身并不能说明改进为何发生。我们研究有限机制库中的机制判别问题，其中后验加权的候选机制、可执行探针和有限的实验预算共同构成一个序贯实验选择问题。MECHVAR通过最大化探针预测响应的后验加权方差来选择下一个探针。在共享高斯预测模型下，该评分与经典的 Box--Hill 后验加权成对 KL 准则严格成正比，同时支持 O(KE) 的向量化重新评分，并可对机制对进行透明的加性审计。局部展开进一步表明，当预测响应之间的差异较小时，该评分与期望信息增益（EIG）相关。在包含 25 个区块的压力审计中，MECHVAR 在若干中等程度的模型失配情形下优于 confirmation-first，但其与 EIG 的主要比较在统计上仍无法得出明确结论。在留出的 Digits 循环中，MECHVAR 的归一化机制识别 AUC 为 0.8975，score-greedy 策略为 0.7825，EIG 为 0.9092。在 K = 100、E = 200 时，在记录的环境中，MECHVAR 对完整机制库进行单线程评分的中位耗时为 10.36 微秒，而采用六节点求积的 EIG 为 57.69 毫秒。因此，当共享预测尺度是一种合理的近似时，MECHVAR 为有限机制库实验选择提供了一种轻量且可审计的采集规则。
12:00 arXiv cs.LG 75
arXiv:2610.01537v1 公告类型：新 摘要：联邦学习（FL）能够在保护隐私的前提下对大型语言模型（LLM）进行微调，但巨大的通信开销仍然是一个关键瓶颈。此外，在FL中应用低秩适配（LoRA）面临着准确的乘积之和（SoP）实现与通信高效的和之积（PoS）实现之间的根本性“聚合困境”。为应对这些挑战，我们提出了FedFit。首先，为显著降低通信开销，我们引入了一种不相交共享向量库参数化方法，通过两个紧凑且互不相交的全局向量库重构高维适配器矩阵。其次，为解决聚合困境，我们设计了一种交替优化方案。该方案在解耦的单向量库更新（支持准确聚合）与通过残差谱聚合机制校正的联合更新之间循环交替，从而解决SoP与PoS之间的冲突。此外，我们结合分块量化与客户端侧误差反馈，进一步压缩传输的向量。我们还为所提出的算法建立了理论收敛保证。在Qwen2.5模型上的大量实验表明，FedFit实现了与标准联邦LoRA方法相当的困惑度性能，同时提供最高达100倍的压缩比。
12:00 arXiv cs.LG 77
arXiv:2610.01384v1 公告类型：new 摘要：可靠的不确定性量化对于在高风险场景中部署深度学习模型至关重要，因为分布外输入和对抗性输入可能导致模型给出自信但不可靠的预测。Evidential Deep Learning 能够通过一次前向传播高效地估计不确定性，但对于那些没有得到所学习表征充分支持的输入（例如对抗性输入），仍可能赋予其较高的证据强度。我们提出 CLEAR，这是一种轻量级、与任务无关的事后处理方法，无需重新训练或改变基础预测即可提升证据鲁棒性。利用留出的校准数据，CLEAR 刻画模型潜在空间中按组条件划分的几何结构。在推理阶段，它直接在潜在空间中高效生成扰动视图，并根据预测组经过校准的几何结构，度量这些视图与其之间的冲突程度。较高的潜在冲突表明证据缺乏支持，CLEAR 据此选择性地降低证据强度，同时保留潜在一致输入的证据。在 ImageNet$\rightarrow$CUB 上，CLEAR 将 OOD 和对抗性 AUROC 分别提升 $+8.29$ 和 $+5.01$，运行速度比具有竞争力的事后处理方法快 17.4 倍，同时在分类、回归和目标检测基准测试中保持预测性能。
12:00 arXiv cs.LG 81
arXiv:2610.01110v1 公告类型：new 摘要：测试时计算能在多大程度上提升语言模型，其代价又是多少？测试时扩展通常被视为更大模型的替代方案，但现有比较大多一次只评估一个领域，而且很少将候选选择计入预算。我们推出 SELF-POT，这是一个基准测试与评估框架，用于衡量模型在竞赛数学、竞技编程和智能体工作流中的测试时潜力。SELF-POT 在静态任务上将候选覆盖率与最终准确率分开，跟踪修订过程中的正确性变化，并在智能体环境中同时衡量协议完成情况与任务成功率。在统一的预算规则下，它将 Direct 推理与并行采样及自我修订进行比较，后两者的预算固定为 Direct 预算的若干倍；同时，以美元计费每次模型调用，包括选择和批评调用。该设计支持两类比较：模型从额外推理中获得的提升，以及较低成本模型通过额外推理与更强模型之间的比较。在 350 个密封任务上对五个低成本推理模型进行评估，并以 Claude Opus 5.5 Direct 作为参照后，我们发现，收益取决于领域、选择规则和失败处理方式。在重放保留的编程候选池时，基于公开样例进行选择，使 500 个计划单元格中的正确提交数从 376 个提高到 453 个，同时在不同模型上节省 12%–49% 的逻辑 API 成本；而在评判失败时简单保留一个可用候选，则能在成本不变的情况下挽回 61 个提交。在相同的数学候选池上，带回退机制的评判得到 186 个正确提交，而投票得到 182 个；但投票可节省 12%–21% 的逻辑 API 成本。这些受控重放展示了选择和失败处理如何改变从相同生成候选中获得的收益，并量化了模型评判器的边际价值。
12:00 arXiv cs.LG 77
arXiv:2610.00835v1 公告类型：新 摘要：文本到音乐生成模型基于海量音乐合集进行训练，因此越来越需要能够量化单个训练样本贡献的数据归因方法。然而，由于缺乏可靠的真实基准，现有归因方法难以进行严格评估，使得可靠判断其实际有效性变得十分困难。为弥补这一空白，我们提出了 TrueMuse，这是一个用于文本到音乐数据归因的受控数据集和基准。TrueMuse 通过在精心筛选的归因样本上对三个基于扩散的文本到音乐模型进行微调而构建，这些样本已知会被纳入微调过程，从而为评估提供了受控的归因目标。该基准涵盖四种归因设置，涉及旋律结构、音色特征、艺术家层面的风格特征以及流派层面的共享模式；包含 133 个属性、648 个微调模型，以及基于两种提示类型生成的 95,456 个样本。借助 TrueMuse，我们从四个维度系统评估了现有的黑盒归因方法：微调改进、提示类型难度、多任务训练以及微调数据规模。结果表明，归因仍然具有挑战性，现有方法在不同评估设置下表现出显著差异，凸显了文本到音乐生成领域对更可靠、更具泛化能力的归因方法的需求。代码和数据集将在论文接收后发布。
12:00 arXiv cs.LG 73
arXiv:2610.00831v1 发布类型：新 摘要：类型化决策是在固定选项集合中进行选择，并以概率而非文本形式返回结果。如今，需要类型化决策的系统使用的是专门为此训练的模型。本报告介绍 AnyJev：它通过对预训练的指令微调语言模型进行一次预填充，读取一个类型化决策。读取过程会将答案位置处的下一个词元分布限制为选项词元。该方法存在两个缺陷：无论输入是什么，模型都会为某些标签分配更高的概率，并偏向选项列表中的某些位置。AnyJev 无需梯度更新，也无需修改参数，即可纠正这两个问题：利用无标签输入估计出的标签先验进行除法校正，并对选项列表的 K 个循环移位的对数概率取平均。在两个包含 20 个选项的任务上，循环移位将顺序翻转率分别从 0.33 降至 0.14 和从 0.33 降至 0.18，并且在两个任务中都使 11 个模型中的全部 11 个模型准确率提升。读取每个循环移位需要进行 K 次预填充。针对无标签状态、以完整循环移位决策为参照所选出的停止规则可以减少这一开销。在一个无标签划分上选择阈值，并在第二个划分上界定其不一致率后，对于四个单元格中的两个，系统在经验证的不一致率 0.008 上读取 18 个循环移位中的 10.6 个；如我们的服务运行所做的那样，在同一个划分上完成选择和界定时，系统读取 7.3 个循环移位，并在 vLLM 上每秒处理的决策数量达到 2.2 倍。代码已开源。
12:00 arXiv cs.LG 77
arXiv:2610.00814v1 公告类型：新 摘要：合成数据正日益被用于扩展 LLM 训练规模，然而，更多的合成数据并不一定能产生更好的模型。有用的合成数据必须为目标任务补充相关信息，同时不能引入抵消其收益的错误；而且，随着训练集不断扩大，一个样本的价值也可能发生变化。我们建立了一个线性理论，用于刻画这种权衡关系，并确定合成数据在何时有用、应添加多少数据，以及向现有数据集添加一个样本的边际价值。分析表明，在何种条件下仅凭输入覆盖率就已足够，以及何时还必须考虑合成错误。在这些结果的指导下，我们提出了 \emph{Training-Aware Target Coverage}（TATC），一种用于 LLM 微调的合成数据选择方法。TATC 识别出其训练效果有利于目标任务的候选样本，并从中进行选择，以扩展现有数据尚未覆盖的、与目标相关的方向。针对文本和图像数据的实验验证了线性理论。对于数学推理任务，TATC 为微调 Qwen2.5-Math-1.5B-Instruct 选择合成解答，并在不同选择预算下于 GSM8K 上优于其他合成数据选择方法。总而言之，我们通过量化并最大化合成数据对目标任务的价值，为合成数据选择提供了一种有理论依据的方法。
12:00 arXiv cs.LG 79
arXiv:2610.00665v1 公告类型：新 摘要：背景：蛋白质语言模型（PLM）越来越多地用于序列生成和性质预测，但其规模使微调和部署成本高昂。量化和参数高效微调对性能、表征及生成的影响仍缺乏充分表征。结果：我们在 ESM-2、ESMC、ProtBERT、ProtT5、Ankh、Ankh3 和 Profluent-E1 上评估了 4 位量化和低秩适配器微调（QLoRA）。在各类蛋白质预测任务中，许多模型—任务组合保留了超过完整微调性能 90% 的表现。对于规模最大的模型，GPU 峰值内存节省接近 90%，但性能和效率因模型、数据集及训练配置而异。QLoRA 通常能够保留早期层的表征，同时在中间层和后期层引入任务特异性适配，其效果类似于完整微调，但表征变化更小。训练速度和功耗方面的影响则更加多样。对于使用 ProLLaMA、ProtGPT2、ProGen2、ProteinGLM 和 ESM3 进行的无条件生成，4 位量化基本保留了预测的结构和序列级性质，但词元级分析揭示了自回归输出分布中依赖于模型的偏移。结论：QLoRA 和 4 位量化降低了 PLM 的计算需求，尤其是 GPU 内存占用。我们的结果支持将 QLoRA 作为内存受限适配的首选初步策略，而对于具有挑战性的任务、不稳定的架构或验证集性能恢复较低的情况，则保留使用完整微调。对于生成式 PLM，应将序列级和结构指标与分布分析结合起来，因为仅依赖下游预测可能无法发现量化引起的偏移。这些方法能够扩大大规模蛋白质建模的使用范围，但仍需要针对具体模型和任务进行验证。
12:00 arXiv cs.LG 73
arXiv:2610.00432v1 公告类型：新 摘要：基于格构编码的量化能够在超低比特宽度下对大语言模型（LLM）权重进行高维压缩，而无需传统向量量化所要求的指数规模码本。然而，实际部署仍面临两项挑战：以足够高的并行吞吐量重建压缩权重，避免反量化成为推理瓶颈；以及在不依赖高成本非相干变换的情况下保持量化精度。我们通过两项互补技术应对这些挑战。首先，我们提出一种超低复杂度的格构反量化器，采用结构化且硬件高效的状态到数值映射，同时保留多样的重建选项以供格构搜索。其次，我们使用能够直接反映模型在原始坐标空间中敏感性的感知曲率目标函数，重新表述离散格构路径优化问题。结合这两项技术，我们在无需依赖基于 Hadamard 的非相干处理的情况下，实现了高质量的超低比特格构量化，并支持成本低廉且高度并行的运行时重建。
12:00 arXiv cs.LG 74
arXiv:2610.00083v1 发布类型：新 摘要：人类通过语言标记（例如“可能”“很可能”）来表达不确定性，然而大多数LLM不确定性量化（UQ）依赖于对基于似然或一致性的信号进行评估。从认知角度来看，准确表达语言不确定性反映了元认知监控，即表征知识边界（“知道自己不知道”），从而支持调节和信息寻求。在本文中，我们研究LLMs在语言不确定性量化方面如何偏离人类，以及语言标记能否可靠地量化LLM的不确定性。我们整理了心理学和决策科学文献中的人类不确定性标记语料库，并以此对LLMs进行基准测试。我们观察到，LLMs对语言不确定性的编码所对应的数值水平与人类存在显著差异。随后，我们提出METHODNAME，这是一种新颖的基于优化的算法，能够直接从LLM输出中学习不确定性标记的最优不确定性分布。通过拟合标记—不确定性映射，以最佳解释经验正确性，METHODNAME揭示了每个语言标记应传达多少概率质量，而不是通过重复采样来估计不确定性。METHODNAME支持在人类与LLMs之间进行直接的标记层面置信度语义比较，区分其中的不匹配，并揭示语言表达中系统性的置信度差异。
12:00 arXiv cs.LG 82
arXiv:2610.00053v1 公告类型：new 摘要：四位浮点（FP4）Tensor Cores 可加速矩阵乘法，但尺度计算、操作数打包、布局构建以及保存的反向传播状态可能抵消这一优势。我们提出\emph{面向格式的融合}，针对每个量化生产者及其尺度域和消费者布局进行协同设计，以支持原生 \mxfp{}、全局 \nvfp{} 以及协作线程阵列本地 \nvfp{}。我们使用 bfloat16 输出投影和编译后的交叉熵，对 Llama-3 系列 8B 模型进行了 1600 亿 token 的预训练评估。在匹配的同加速器测试中，bfloat16 和 Transformer Engine \nvfp{} 的速度分别达到每 GPU 18.8K 和 27.6K tokens/s，而我们最快的自定义路径达到 37.9K。采用行梯度随机舍入和固定符号 32 值 Hadamard 权重梯度预条件的 \mxfp{} 达到每 GPU 37.2K tokens/s（bfloat16 模型 FLOP 利用率为 86.3%），最终训练损失比原始 bfloat16 训练损失终点高 2.11%。采用四个末端 bfloat16 模块的 Transformer Engine 配方达到每 GPU 27.1K tokens/s，最终结果比 bfloat16 高 0.87%。下游排名与训练损失排名存在差异，表明 FP4 的效果取决于尺度约定、操作数和执行路径的共同作用。
08:00 Hugging Face Blog 86
08:00 Hugging Face Blog 65
08:00 Hugging Face Blog 69
08:00 Hugging Face Blog 62
08:00 Hugging Face Blog 68
08:00 Hugging Face Blog 68
08:00 Hugging Face Blog 73
08:00 Hugging Face Blog 83
08:00 Hugging Face Blog 65
08:00 Hugging Face Blog 63
08:00 Hugging Face Blog 77
23:47 Hugging Face Blog 61
08:00 Hugging Face Blog 77
03:06 Hugging Face Blog 64
08:00 Hugging Face Blog 73
08:00 Hugging Face Blog 69
19:39 Hugging Face Blog 73
08:00 Hugging Face Blog 68
01:13 arXiv cs.AI 72
陶瓷材料研究是考古学研究的基石之一，但陶器记录的后期制作流程仍然十分耗费人力，并造成严重的出版瓶颈。本文介绍了 PyPottery，这是一套由 AI 驱动的开源工具，旨在实现完整陶瓷记录流程的半自动化。该套件由四个集成模块组成：用于自动提取图像和识别手写文字的 PyPotteryScan；用于自动为铅笔绘图勾勒墨线的 PyPotteryInk；用于语义感知矢量化的 PyPotteryTrace；以及用于自动生成版式的 PyPotteryLayout。在对来自 Terramara di Montale（意大利）的 50 张手绘图纸（包含 240 幅陶器绘图）进行评估后，该框架显著节省了时间。可用性研究参与者证实了这一点，他们报告称，相较于传统流程，感知到的速度提升中位数为 40$\times$（范围：17.5$\times$--120$\times$）。这些结果凸显了 AI 辅助工具在考古记录中的潜力；同时，本文还探讨了将认知劳动战略性地重新分配至增强而非自动化的问题。
01:58 arXiv cs.AI 79
分子学习模型在很大程度上受到其底层表示的影响。然而，标准的序列和图形式化方法难以显式编码环系统和重复基元等高阶拓扑结构。现有的高阶表示能够直接捕捉这些结构，但通常计算开销较大，且难以解码为有效分子。在此，我们提出高阶文法表示（Higher-order Grammar Representation，HGR），这是一种具有理论原则且感知拓扑结构的框架，可将分子提升为组合复形，并在高阶上下文无关文法下，将每个复形解析为紧凑的生成规则序列。通过将高阶拓扑序列化为规则序列，HGR 使这些结构能够直接兼容标准序列模型，在保留拓扑表达能力的同时，避免显式高阶编码所带来的计算开销。为减少基准测试对简单环系统的偏向，我们构建了 RingDiv，这是一个包含118万种分子的富环基准数据集，其中包括经过筛选的 RingDiv300k 子集；同时引入环多样性指数（ring diversity index，RDI）来量化环系统覆盖范围。在分子生成方面，基于 HGR 的模型独特地兼具由构造保证的100%有效性和领先的分布对齐能力，在全部五个生成基准测试中均以 FCD 排名第一。在表示学习方面，在两种迁移协议下，HGR-FM 在七个 MoleculeNet 基准测试中均取得最高的平均 AUC；在探测和全量微调设置下，其性能分别比最强基线提高8.3和3.3个 AUC 点。总体而言，这些结果表明，HGR 是一种适用于分子生成和可迁移表示学习的高效高阶表示。
16:48 arXiv cs.AI 72
生成式建模在多变量时间序列（MTS）预测中展现出巨大潜力，尤其适用于扩展至高维场景。基于扩散的方法能够取得具有竞争力的性能，但通常需要在推理阶段执行大量采样步骤。因此，基于VAE的非迭代式预测框架逐渐成为一种高效替代方案。在这一研究方向中，矢量量化（VQ）通过将多变量序列映射为紧凑的离散表示，实现了可控的潜在空间建模。然而，现有的基于VQ的预测方法通常依赖自回归（AR）令牌生成，容易受到暴露偏差以及训练与推理不匹配问题的影响。流匹配为潜在变量预测提供了一种高效的非自回归替代方案，但现有方法通常从通用高斯先验初始化传输过程。我们注意到，训练得到的VQ码本已经捕获了具有代表性的潜在原型，因此可以作为流匹配中信息量更丰富的先验。基于这一认识，我们提出了ProtoFlow，一种将矢量量化自编码与原型先验流匹配相结合的预测框架。该方法首先将多变量序列映射到离散潜在空间，然后利用学习到的码本构建结构化先验，最后学习一个基于DiT的整流流，将样本从该先验传输至以历史观测为条件的未来潜在表示。通过以学习到的原型先验替代通用噪声初始化，ProtoFlow避免了AR令牌预测中的滚动不匹配问题，并促进了更快的训练收敛。在基准数据集上的大量实验表明，ProtoFlow能够以高效的推理持续取得更优的预测性能。
04:32 Hacker News 熱門 54
I found that I'm not using even 1/3 of vim/vscode features anymore. That's wht I'm building rhun - a small code editor for Linux, Windows and Apple silicon Macs. It obviously has Vim mode, a terminal, Git diffs and a panel for Claude Code or Codex sessions. The editor and pixel renderer share an x86-64 assembly core. For Apple silicon, a build-time translator converts that core to AArch64, with separate platform adapters around it. The latest release can draft commit messages using a local Ollama model or an existing Claude Code or Codex subscription. It's a solo project, MIT licensed and still early. Comments URL: https://news.ycombinator.com/item?id=49926726 Points: 7 # Comments: 2
00:41 arXiv cs.AI 78
具有可验证奖励的强化学习（RLVR）已成为后训练阶段提升推理能力的重要方法。近期研究表明，即使某些困难提示偶尔能够生成正确解答，它们仍然难以被学习。我们重新审视了这一不可学习现象，发现受影响的提示确实会得到改进，但其学习速度约为可学习提示的三分之一；与此同时，用于研究这些提示的按难度划分的数据集，其可复现性远低于预期。这些难度标签是根据数量有限的采样响应估计得到的。在不同随机种子之间进行合并，可能会进一步改变被选中的提示，而不只是降低测量噪声。我们提出了一个基于采样的框架，用于量化这种不稳定性，并确定需要多少评估才能使难度划分可靠地复现。我们还重新审视了用于解释不可学习现象的梯度相似性证据，并表明，所观察到的部分差异源于困难提示能够提供的正确 rollout 更少，因而用于估计其梯度的样本也更少。在匹配样本数量后，梯度差异有所减弱，但并未消失。总体而言，慢学习现象经我们的重新分析后依然存在，但用于定义该现象的提示以及用于解释它的证据，都需要更加谨慎的测量。
01:37 Hacker News 熱門 79
大家好，HN 用户们，我是 Anders，Tom 也在这里。我们正在开发 Magnitude，这是一个面向智能体的推理引擎，能够自我优化，以便在你的硬件上尽可能快速地运行。它支持 Mac、Linux 和 Windows，可运行于任何硬件上，速度最高可达 llama.cpp 的 2 倍。 我们都是软件工程师，此前曾构建过一个开源浏览器智能体，获得了 4k+ GitHub 星标和 100k+ 下载量。我们越来越希望在本地模型上运行它，但发现没有任何推理引擎适合我们的使用场景。 如今的推理引擎都需要在性能上做出取舍。它们要么是： - 面向数据中心硬件上的批量推理构建，以牺牲单会话性能为代价（vLLM、SGLang） - 注重广泛兼容性，而不是针对特定硬件进行优化（llama.cpp、Ollama） - 针对特定硬件或模型进行了专门优化，但引擎功能不够完整（oMLX、ds4） 此外，它们都不是为在本地运行智能体而设计的。智能体会运行很长时间，通常还会同时运行多个实例，而你仍然希望电脑能够处理其他任务。 Magnitude 专为在你的硬件上实现最高性能以及运行本地智能体而构建： - 设备端编译与调优：内核使用灵活的参数编写，并会在模型运行前根据你的实际设备进行调优。这让我们在保持与广泛硬件兼容的同时，也能达到与硬件专用内核相同的性能上限。 - 专注于最佳架构：我们会针对最流行的开放权重模型系列编写可调优且高效的内核。这使我们能够达到并超越硬件或模型专用引擎的性能，而不必为了过度泛化而牺牲性能。 - 动态内存分配：Magnitude 在启动时只预留足以容纳模型权重的内存。随着智能体会话增长，内存堆会动态扩展；智能体停止后，所占内存也会自动释放。这样，智能体运行期间，你的硬件仍可用于其他任务。 - 混合分页注意力：我们借鉴了 SGLang 等引擎中的优秀理念，让并发会话能够共享前缀缓存，同时针对内存邻接性优化数据布局，从而不会影响单会话性能。 Magnitude 完全开源（Apache 2.0）。我们使用 Rust 构建了它，其中包括定制的 GPU 内核运行时和自动调优器。为了达到性能上限，我们从学术界的最佳推理创新（例如 FlashAttention、FlashInfer、TurboQuant）以及其他引擎（例如 SGLang 的基数注意力）中汲取灵感。 在 Qwen 3.6 35B A3B（4 bit）、64k 上下文且不使用推测解码的条件下，与 llama.cpp 进行基准测试： Metal（Mac M4 Pro 48 GB） - 解码速度提升 92%（30 tok/s → 57 tok/s） - 预填充速度提升 9%（466 tok/s → 507 tok/s） - 每个智能体的内存占用降低 28% CUDA（DGX Spark） - 解码速度提升 19%（49 tok/s → 58 tok/s） - 预填充速度提升 23%（2,033 tok/s → 2,507 tok/s） - 每个智能体的内存占用降低 27% Magnitude 以桌面应用的形式发布，你可以轻松地将它连接到已经在使用的各种智能体（Pi、OpenCode、Hermes、Codex 等）。只有当这些智能体确实需要模型时，它才会按需自动运行模型，并在闲置后将其关闭。 效果如下： https://www.youtube.com/watch?v=0qE8BWEZu7o 我们很期待进一步推进 Magnitude，让你能够在相同硬件上运行更大的模型，同时持续提升性能。我们的计划包括： - 专家流式加载：将专家存储在 RAM 或磁盘中，并在需要时即时加载。这样，你就能运行原本无法装入 GPU 的更大模型。 - 内核编译器：目前，我们的内核会调优少量参数以适配你的硬件。借助完全定制的编译器，我们可以更进一步，自动选择内核融合方式和实现方案，从而让它更好地适配你的硬件。 - 多设备利用：通过检测系统中的所有硬件（CPU、GPU、RAM、磁盘），自动求解最佳模型布局，以尽可能充分地利用它们。 我们希望有更多人来试用并向我们提供反馈。欢迎在这里留言，我们一整天都会在线！ 评论链接： https://news.ycombinator.com/item?id=49911995 得分：5 评论数：0
00:58 arXiv cs.AI 76
现代计算机视觉模型在大规模标注数据集上训练时能够达到较高准确率。在建筑安全监测等关键领域，数据收集成本高、具有危险性，并且受到伦理约束。本文系统研究了两种互补的数据生成范式：(1) 基于 Unity Simulation 的渲染，以及 (2) 基于 Controllable Diffusion 的生成（CIA），用于真实数据稀缺条件下的目标检测。一个统一的实验框架支持在真实、仿真和生成数据源之间进行受控的数据集混合，同时保持相同的模型和训练设置。使用 Precision、Recall、mAP 以及自定义 $Δ$-metrics 进行的定量评估表明，无论是单独使用仿真还是生成增强，都无法获得最佳迁移能力。仅使用 Unity 训练相对于真实数据的 mAP@0.5 下降了 $-50\%$，而仅使用 CIA 训练的性能退化较轻，为 $-16.5\%$。混合组成显著提升了性能，其中 90\% 真实 + 10\% Unity 的配置取得了最佳整体 mAP@0.5，达到 $62.68\%$（较基线提升 $+7.64\%$），而 90\% 真实 + 10\% CIA 的配置使 precision 达到最高，为 $74.45\%$。结果表明，有限的合成数据引入能够增强泛化能力，而过度替代会导致领域漂移。
01:33 arXiv cs.AI 80
随着大语言模型的思维链推理能力不断提升，对其推理置信度进行评估和校准对于量化答案的不确定性变得愈发重要。当前，大语言模型置信度估计方法通常基于所选关键词元的概率，但其背后的机制仍不明确。我们的初步研究发现，用粗粒度替代值替换所选词元的概率同样可以改善校准效果，这促使我们进一步探索模型置信度的有效信号。我们提出 Divergent Token Confidence（DTC），一种通过统计两个模型在解码过程中强烈不一致的词元数量来估计置信度的框架。DTC 使用沿同一推理轨迹评估得到的下一词元分布之间的 Jensen-Shannon 散度来识别这些分歧词元。我们发现，分歧词元的数量与答案准确率几乎呈负相关，因此可以作为一种简单而有效的不确定性量化信号。DTC 支持借助辅助模型进行白盒和黑盒评估，无需显式训练，也不会影响生成过程。在多个模型系列和六个数学基准上的实验表明，相较于基于概率的方法和言语化基线，DTC 能够实现更好的校准效果。在白盒评估中，仅依赖计数的估计器的平均期望校准误差为 13.0%，而标准的完整序列置信度方法为 32.7%–42.4%。在黑盒设置下，DTC 相较于原始言语化分数同样改善了校准效果。例如，在 DeepSeek-V3.2 上，平均期望校准误差从 32.1%–40.2% 降至 13.7%–16.3%。这些发现为改进大语言模型中的推理不确定性量化提供了新的思路。代码发布于 https://github.com/szu-tera/DTC.git。
01:59 arXiv cs.AI 81
近期的 LLM 越来越多地采用混合架构，以线性注意力取代标准注意力，例如 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）。尽管这类方法将上下文压缩为固定大小的循环状态，并显著降低了长上下文处理的成本，但反复读取和更新该状态仍然是推理过程中的主要瓶颈。量化为降低这一成本提供了一种自然的方法，但由于舍入误差的累积，以及状态中存在离群行和离群列，量化可能会严重降低模型质量。为应对这些挑战，我们提出了 LeapQuant，这是一种无需训练的方法，可在 8 位循环状态量化下实现近乎无损的性能。首先，为减轻误差累积，我们提出按窗口量化，在跨越一个 token 窗口后，仅在窗口末尾对状态进行一次量化。在窗口内部，输出由固定的低比特状态与高精度的缓冲更新共同计算。其次，为减少每次量化引入的误差，LeapQuant 保留状态中幅值最大的离群项，将其作为少量高精度的 Compensator Tokens，并使其与真实 token 共享更新路径。随后，我们在量化前对剩余残差进行平滑，以进一步降低误差。在 Qwen、Kimi 和 GLM 模型系列上的综合实验表明，LeapQuant 能够显著降低推理期间的内存和计算成本。在精度与 FP32 基线相当的情况下，该方法在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 GPU 上实现了内核级平均 2.05--3.70$\times$ 的加速，以及端到端推理 1.47$\times$ 的加速。
01:59 arXiv cs.AI 83
线性注意力以固定大小的循环状态取代不断增长的 KV 缓存，但在并发服务场景下，这些持久化状态可能成为严重的内存瓶颈。直接将循环状态量化为低精度通常会导致准确率大幅下降，因为量化误差会在连续的状态更新中传播。我们发现，这些误差的影响取决于两个互补维度：在时间维度上，长生命周期记忆中的误差可能跨越许多解码步骤持续存在；在空间维度上，不同键行中的误差对模型输出的影响各不相同，而状态幅值在行和列两个方向上也存在显著差异。受此启发，我们提出了 STEPQuant，一种面向 Delta-rule 循环状态的时空训练后量化框架。STEPQuant 根据误差幅值和记忆生命周期分配精度，并基于状态分布以及键行对输出误差的影响，联合拟合键行和数值列的缩放因子。在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上，针对长生成和短生成基准的实验表明，在名义上的 6 位预算下，STEPQuant 的准确率接近 FP32 状态，并且其 4 位配置优于统一 INT8。将 STEPQuant 集成到 SGLang 并配合优化后的 GPU 内核后，6 位 STEPQuant 实现了超过 5 倍的循环状态压缩，并使服务总内存最多降低 68.7%。我们的代码可在 https://github.com/Dreamer-Toby/STEPQuant 获取。
05:03 arXiv cs.AI 80
单个随机 Gaussian 探针可以无偏估计某一层量化误差的平方 Frobenius 范数。该估计器表现良好，因为舍入到最近值的误差在频谱上是平坦的。在来自一个 35B MoE 和一个 9B 稠密模型的 1,683 个张量中，有效维度为相同形状的独立同分布噪声值的 0.93 到 0.96 倍，并且在 MoE 上，从 2-bit 到 8-bit 的中位数保持不变。探针变异系数可由张量形状预测。一个探针可在 4% 到 7% 以内测量每个张量的敏感度；二十个探针可达到 1.3% 到 1.4%。RAM 将该估计器的传播形式应用于无需校准数据、面向预算的混合精度量化。携带网络自身输入统计信息的 Gaussian 探针会在六种位宽下为每个张量评分。一个背包求解器在精确字节预算下分配位数，并设置防护机制以避免灾难性的 2-bit 分配。一次探针传递即可服务任意预算。孤立评分和传播评分在 Qwen3.5-35B-A3B 上对张量的排序彼此独立（Spearman -0.01），但传播探针与来自真实激活的 GPTQ 层目标之间的秩相关为 0.81 到 0.83，而孤立估计器与其不相关。该目标并不是正确的分配目标：在 Qwen3.8-27B 上字节数匹配时，块输出探针优于厂商 IQ3_M 混合方案，也优于基于真实激活目标进行分配的 oracle。在 Qwen3-8B 上，传播探针在字节数匹配时与 HAWQ-V2 打平。跨越从 8B 到 122B 的七种架构，并且在单台工作站上对一个 400B 模型进行探针计时最多九分钟的情况下，RAM 在测试的 MoE 模型上，相比大小相近的统一 4-bit 构建，将 WikiText-2 中位困惑度降低了 3.5% 到 13.6%。
01:33 arXiv cs.AI 69
AI tutoring could markedly improve learning outcomes for students in developing regions such as Vietnam, yet the two obvious paths both fall short. Cloud assistants such as ChatGPT route sensitive student data to foreign servers---violating data-sovereignty laws such as Vietnam's Decree 53---and, pre-trained on Western-centric corpora, are not organized around the national textbook curriculum, so their knowledge of local content is unsystematic and frequently hallucinated. Self-hosting an open model keeps data on-premise but hits a two-fold wall: post-training quantization (AWQ, GPTQ) tames the static weight footprint, yet the dynamic KV cache and prefill latency of long tutoring contexts still cause out-of-memory failures and slow responses on consumer GPUs, while the model keeps hallucinating on region-specific material. We present DeepEdu-v1, an AI-tutoring system for Vietnamese education built on SCALE (Self-improving Context-Aware Learning Engine), a framework with two innovations. First, a long-context inference engine amortizes token selection from per-sub-chunk to per-cluster granularity; on long-context retrieval it issues x7.7 fewer retrieval calls than a state-of-the-art selective-attention baseline, cutting prefill latency (TTFT) by roughly 35% while matching or improving task accuracy. Second, a self-improving agentic layer continuously curates a verified playbook from past interactions instead of fine-tuning, a design intended to progressively reduce reliance on dominant-language priors as trustworthy local knowledge accumulates. In its deployed configuration, DeepEdu achieves a nearly x2 TTFT speedup over standard vLLM serving and lifts agentic accuracy from 70.0% to 79.5% on complex tasks, with the strongest per-track gains across financial-reasoning and interactive-agent benchmarks.
20:56 arXiv cs.AI 74
将大型语言模型（LLMs）用作评判器可以实现可扩展的评估，但其判断可能对回答顺序敏感，而且即使在消除此类位置效应之后，仍可能系统性地偏离人类偏好。我们提出 DIAL，这是一个统一框架，将大量 LLM 比较与有限的人类比较相结合，以分离特定于评判器的位置效应，学习位置去偏后的 LLM 偏好中的共享结构，并将该结构自适应地校准到人类偏好目标。在理论上，我们研究 DIAL 的三个方面：（i）潜在 LLM 偏好、位置效应和人类校准的识别；（ii）在 LLM 锚定与有限人类证据之间取得平衡的自适应估计；以及（iii）针对校准后人类偏好的固定权重不确定性量化。在实证上，我们在受控模拟和三个人类偏好基准上分别评估位置去偏和人类对齐，结果表明 DIAL 在回答顺序不均衡的情况下仍保持稳健，能够用有限标签实现与人类高度一致的排名，并在 LLM 信息不完善时向人类证据自适应调整。我们的真实数据研究从 21 个 LLM 评判器在两种展示顺序下收集了超过 410K 条判断，为未来研究 LLM 评判器偏差、异质性和人类对齐提供了资源。
22:01 arXiv cs.AI 73
大词表使输出头成为小型语言模型推理成本的重要组成部分。我们提出 Softmax 重参数化，这是一种训练后方法，可在量化前选择一个功能等价的输出头。该方法从每个输出行中减去词表行均值的一个标量倍数，并分别针对 RTN、激活加权 MSE 和全 Hessian GPTQ 通过验证 KL 选择系数。这个一维搜索包含原始头和固定均值中心化，保留全精度 Softmax 分布，并使训练好的解码器保持不变；秩一校正可处理非线性 logit 路径，例如 soft-capping。在七个头上，W4 的收益集中在基线量化显著扭曲预测的地方：在 Phi-4-mini 上，AW-MSE KL 从 0.936 降至 0.256。这些收益在更强的 GPTQ 校准下仍然存在，并且与精确的逐通道缩放和仿射量化保持互补。在四个头和三种 W4 量化器上，使用 WikiText 选择并冻结的系数也能迁移到 C4 和 OpenWebMath，在冻结系数不同于 $1$ 的全部 18 次比较中均优于均值中心化，并在其余 6 次中与之相当。在 W2 这一压缩压力测试设置下，收益扩展到几乎整个模型--量化器矩阵。匹配残差分析表明，保真度的提升可以伴随更大的 logit 重构误差，同时降低残差的 Fisher 加权成本。对于与平移兼容的头，重参数化不增加推理操作，并保留打包 W4 执行：在解码器保持 BF16 的情况下，量化 Phi 输出头相对于 BF16 头基线将 batch-one 生成延迟降低了 10.8%。
22:43 arXiv cs.AI 74
信息抽取流水线应处理页面图像还是解析后的文本取决于文档，并且答案会随着版面复杂度谱系而反转。我们在一项排除（封闭式）云服务的约束下研究这种权衡：由小型（$\le 8\mathrm{B}$ 参数）纯文本模型和视觉—语言模型在本地处理隐私敏感文档，并在涵盖输入表示、模型家族和推理配置的设计空间中，从准确率和能耗两方面进行评估。通过在近乎纯文本的 Kleister-NDA 合同和版面丰富的 VRDU 表单上进行基准测试，我们发现批处理是最主要的能耗调节手段，在不损失准确率的情况下将每页能耗降低 38-85%；而 FP8 量化在逐个处理请求时可节省 27-32% 的能耗，但一旦应用批处理，每页节省不到 1mWh（9-19%）。预处理主导了剩余能耗：神经 OCR 的每页能耗是传统 OCR 的 $17\times$，且从未达到 Pareto 前沿。哪种表示更优会随文档类型而反转：对于版面丰富的文档，视觉—语言模型胜出；对于近乎纯文本的文档，搭配廉价解析器的小型纯文本模型胜出，其准确率更高，成本也低于任何视觉—语言配置。我们的工作为能耗高效、符合隐私要求的本地信息抽取提供了具体指南。
03:57 Hacker News 熱門 65
文章 URL： https://jadidbourbaki.github.io/blog/prompt-lookup-llama-cpp/ 评论 URL： https://news.ycombinator.com/item?id=49859982 得分：25 评论数：2
23:49 Hacker News 熱門 56
We found an approach to get Jev-like properties from standard LLMs like GLM-5.3-Flash. The core idea is to craft the input prompt so that the first output token answers the question. This makes it possible to get a decision with a single forward pass. In the blog post, we describe the approach in detail for GLM-5.3-Flash and vLLM. We benchmark this setup against Jev and Laya. We find that our setup is on-par with Jev in terms of accuracy and speed and that it substantially outperforms Laya. Still, in terms of costs per decision, Jev is several x better than our setup. In turn, our setup supports vision inputs. Comments URL: https://news.ycombinator.com/item?id=49857656 Points: 5 # Comments: 1
02:33 Hacker News 熱門 49
22:34 arXiv cs.AI 85
随着 Large Language Models（LLMs）逐渐演变为能够改变现实世界状态的自主智能体，确保多步骤工作流中的操作安全已成为一项关键挑战。尽管近期研究已从单轮评估转向多轮范式，但仍存在一些关键局限：步骤级方法将动作孤立处理，忽视了风险如何累积；而轨迹级评估则在事后进行，无法提供及时干预的机会。为解决这些局限，我们从三个维度对解耦式主动安全监控进行了形式化：是否干预、何时干预以及风险是什么。我们推出了 PASTABench，这是一个包含 1,139 条多轮轨迹的基准，涵盖 5 类风险和 13 个子类别。我们进一步提出了最佳干预窗口（Optimal Intervention Window，OIW），以标注的 Earliest-Signal 轮次和 Trigger 轮次为依据，用于量化干预的及时性。对 16 个 LLMs 的评估表明，主动干预仍基本未得到解决，最佳模型仅有 40.74% 的干预处于最佳时机。细粒度诊断进一步揭示了普遍存在的词汇过拟合现象：较小模型看似具有竞争力的安全得分，掩盖了其对关键词的过度敏感，而非真正的风险理解能力；一旦将危险词汇中和，其主动能力便大幅崩溃。
22:55 arXiv cs.AI 79
病理基础模型（PFMs）通过从组织病理学图像中进行强大的表示学习，推动了计算病理学的发展。PFMs能够为全视野切片图像（WSI）分析提供丰富且具有判别性的表示，从而支持多实例学习（MIL）下的切片级分类等任务。然而，这些表示也可能编码与采集中心相关的非生物学信号，进而将虚假的捷径引入下游预测。在本研究中，我们采用受控训练设置，通过Cramér's V量化不断增强的类别—中心相关性，评估WSI分类中的中心相关鲁棒性。我们在四个数据集和两种MIL聚合器上对六个PFMs进行基准测试，同时评估ComBat作为一种鲁棒化策略的效果。我们进一步提出Cramér's V曲线下面积（AUCC），用于综合衡量绝对分类性能以及随着虚假相关性增强而产生的性能下降。结果表明，PFMs编码的中心相关信息会传播到WSI级预测中，其鲁棒性取决于PFM表示和MIL聚合策略。此外，ComBat harmonization在不同数据集上并未带来一致的鲁棒性提升。
00:30 arXiv cs.AI 78
微缩放量化技术正日益用于以 8 位或更少位数表示神经网络参数，同时保持接近全精度的准确率。然而，在卷积层中高效应用这些方法并不简单。一种朴素方法是将全精度权重和激活传输到处理单元，并对每个张量进行两次量化，这会导致内存移动量远超预期。额外开销还来自激活张量：由于量化前应用了 im2col 变换，其规模会大幅增长。我们提出了 MicroQonv，通过仅对每个张量量化一次，并在应用修改版 im2col——channel-batch-first im2col——之前对激活张量进行量化，将微缩放与卷积层的前向和反向操作相结合。MicroQonv 将权重和梯度的量化成本降低了 $\times2$，将激活的量化成本最多降低了 $\times9$，且几乎不损失准确率。与全精度对应版本相比，它将内存移动和存储量最多降低了 $\times7.53$。借助这一方法，MicroQonv 将当前最先进的目标检测模型 YOLOV8nano 和 YOLOV26nano 中经微缩放量化的激活内存移动量分别降低了 $\times3.5$ 和 $\times2.2$。此外，它还支持在面向边缘端持续学习的量化潜在重放策略中采用 4 位微缩放，使准确率提升 +5.7% 至 +11%。
01:40 arXiv cs.AI 73
在不改变含义的情况下重新排列一组数学规则，应该保持正确答案不变，但模型的内部表征是否也必须保持不变？我们使用合成的多步函数复合问题研究这一问题：每个问题都以多种规则顺序呈现，但正确答案相同。我们测量准确率和排列信噪比（SNR）；后者用于量化相对于不同问题实例之间的变化，规则顺序模式在表征中的区分程度。在涵盖 1B 至 8B 参数规模的 16 个语言模型中，我们发现了一种规律：在重新排序的问题上求解得更准确的模型，也会更加清晰地区分不同的规则顺序。我们评估的每种合成设置中，按层平均的排列 SNR 都与准确率呈正向秩相关，Spearman 相关系数最高达到 0.86。这些发现凸显了答案不变性与表征不变性之间的区别：成功的数学规则复合可以伴随着等价规则顺序之间不同的内部表征。这促使我们将答案不变性与表征不变性区分开来，并从表征角度为数学推理提供一种超越单纯答案准确率的理解。
17:08 arXiv cs.AI 75
现有的机器学习（ML）Scaling Laws 将预测损失与计算量、模型参数和数据联系起来。然而，随着模型越来越多地通过智能体框架进行部署，仅凭损失已不足以刻画下游性能：损失相近的模型在推理、检索、规划和适应能力方面可能表现不同。然而，目前尚无统一框架能够将这些能力与整个 ML 生命周期中可用的耦合资源联系起来。为弥合这一缺口，我们引入了能力流形，这是一种多维框架，通过有界缩放函数将下游能力映射到预训练、后训练和测试时资源。解析雅可比矩阵量化了能力对资源变化及其相互作用的敏感性。作为初步应用，我们将 Kaplan- 和 Chinchilla- 类型的 Scaling Laws 以及测试时计算纳入该框架，展示了如何将现有的缩放关系统一为共同能力流形上的轨迹。
00:48 arXiv cs.AI 72
代码代理必须先发出有效的工具调用——即按照所提供模式可解析的工具调用——测试框架才能执行其选定的操作。我们研究了本地服务栈如何影响这一协议步骤，并表明测得的结果可能取决于服务层，而不仅仅是模型行为。在 Ollama 中，默认的 tools= 请求由每个模型的静态模板标志控制：一些模型会被接受并以文本形式返回调用，一些模型会返回原生的 tool_calls，而 Phi-3 和 Gemma-3 则会在推理开始前被拒绝。在我们的测试框架中，拒绝和重试耗尽不会以结构化失败元数据的形式保留，因此下游分析可能会将其误判为模型未发起调用，并简单地报告 0% 的保真度。对于被接受的模型，在保留原生通道的同时加入文本工具列表，可以恢复相当一部分测得的保真度；而统一采用文本协议则会降低 Llama-3.2 的保真度，因为该模型支持原生工具调用。针对 Ollama、llama.cpp、vLLM 和 SGLang 的跨服务栈探测显示，它们对同一请求的处理方式各不相同。受约束解码可以消除解析失败，但可能导致不终止；按轮次汇总与按实例计算的估计值最多相差约 55 个百分点。最后，我们给出一份检查清单，用于将服务行为视为评估协议的一部分。
01:01 arXiv cs.AI 77
量化感知蒸馏（QAD）恢复了低于 3 比特量化所损失的大部分短答案问答性能，但数学推理和代码推理仍受到严重影响。较长的生成往往会退化为重复循环，在未完成解答前耗尽解码预算。我们将这一差距归因于量化放大的暴露偏差：QAD 在固定的语料前缀上进行训练，而量化引起的偏差会沿着模型自身的自回归轨迹不断累积。为解决这一失配问题，我们引入在策略蒸馏（OPD）阶段，将教师监督置于量化模型实际到达的位置。从一个 QAD 检查点出发，学生模型通过部署时所使用的量化前向路径进行生成，并由冻结的全精度教师模型针对其自身前缀提供反馈，将密集的词元级指导与任务验证器奖励相结合。在四个模型、2.79 和 1.88 有效比特的设置下，OPD 将 MATH-500 上的平均 BF16 性能保持率从 35% 提升至 70%，将 HumanEval 上的平均 BF16 性能保持率从 66% 提升至 91%，同时保持短答案性能不变；在预算匹配的对比中，其推理能力增益显著超过继续进行教师强制 QAD 所取得的增益。通过结合 QAD 稳定的低比特初始化与 OPD 对在策略推理能力的恢复，我们的框架提供了一种全面的低于 3 比特解决方案，在保留广泛能力的同时恢复长程推理能力。
01:37 arXiv cs.AI 85
X 射线是医学中使用最广泛的成像方式，却仍然是定量化程度最低的成像方式之一。不同于 CT 或 MRI 等容积成像方式，X 射线会将三维解剖结构压缩为二维投影，导致结构相互重叠，解剖边界变得模糊，即使是专家也难以准确辨认。因此，为训练通用分割系统而标注 X 射线数据库并不现实，这使得形态测量和功能性 X 射线分析局限于狭窄的解剖区域和应用场景。为此，我们提出 FleXray，这是一种用于临床 X 射线全身解剖结构分割的通用模型。我们没有整理大规模人工标注的 X 射线数据集，而是构建了一个可扩展的、基于物理原理的生成式 X 射线数据引擎。利用现有的三维全身 CT 分割数据集和生成式图像编辑模型，我们模拟生成了带有完整标注的二维 X 射线图像，涵盖多样的外观、身体生理特性和成像几何结构。在这些模拟数据上训练后，FleXray 能够在未见过的研究数据集和真实世界 X 射线图像中，准确分割 60 种解剖结构。我们进一步表明，FleXray 可使 X 射线直接适用于定量分析，从而实现疾病分级的自动测量、X 射线引导介入过程中的稳健导航，以及对病理学目标的数据高效学习。我们将在 https://flexray.csail.mit.edu 发布该模型、代码、全身 X 射线分割数据集，以及一个本地运行、易于使用的基于浏览器的工具。
17:28 arXiv cs.AI 72
网络安全文献已广泛记录人工智能（AI）在威胁检测、事件响应和预防方面的运营效益，同时也对过度自动化、算法偏见以及分析师技能弱化提出了定性担忧。然而，现有研究在很大程度上缺乏一种形式化且可证伪的模型，用于连接这些文献中反复出现的三个构念：纵深防御理论、人工智能模式识别理论，以及安全运营中的人机协作。本文构建了这样一个模型。我们将分层防御形式化为伯努利检测级联模型，其中 AI 增强以乘法方式作用于各层；将每一层的模式识别行为形式化为 Neyman-Pearson/Bayesian 检测器，并推导出其闭式最优阈值；同时，将人机分流形式化为容量受限的级联模型，明确量化检测概率与误报（“告警疲劳”）率之间的权衡。在具有说明性但符合实际的运行点上进行的 Monte Carlo/解析模拟表明：（i）AI 增强效果会跨防御层累积，在传统分层防御趋于饱和的地方，恰恰能够带来最大的边际收益；（ii）对 AI 标记的告警进行全面人工复核并非最优方案：将分析师容量提升至覆盖 100% 的告警，虽然可使误报减少约 20 倍，却会同时降低系统层面的检测概率，因为此时分析师的不完美准确性被应用于每一条告警，而不是经过筛选的告警子集。这些结果为广泛重复的“平衡人机协作”定性建议赋予了精确且可检验的形式，并提出了一个内部最优的容量比率，可作为安全运营中心（SOCs）的具体设计目标，包括负责保障 IT/OT 融合型关键基础设施安全的安全运营中心。
20:50 arXiv cs.AI 72
残差向量量化将连续表示转换为离散的多级令牌序列。然而，尽管所得编码具有由粗到细的结构，且许多数据领域都存在潜在层次结构，大多数方法仍在欧氏空间中运行。双曲几何为层次化表示提供了自然的替代方案，但简单的双曲扩展会引入几何不一致性：双曲加法不满足结合律，因而无法实现一致的残差聚合；同时，标准的直通式梯度估计忽略了潜在空间的几何结构。我们提出了一种几何感知的双曲残差量化方法，在前向和反向传播过程中同时解决这些问题。在前向传播中，Hyperbolic Residual Aggregation 在庞加莱球上恢复了残差量化的望远镜式行为。在反向传播中，带衰减的 Hyperbolic Straight-Through Estimator 将重构梯度作为一个统一的几何模块通过量化器传递，避免在多个残差阶段之间进行不稳定的递归梯度传输。在层次化预测、推荐、图像令牌化和神经音频编码任务上的评估表明，与朴素的双曲基线方法相比，我们的方法提升了双曲残差编码的稳定性和结构组织性。同时，我们观察到明显的结构—压缩权衡：对于纯粹的压缩任务，欧氏残差量化仍然更具优势；而对于具有层次化组织的离散潜在空间，几何感知的双曲量化最为有用。
23:59 arXiv cs.AI 76
训练后量化（PTQ）能够实现大语言模型的高效部署，而 PTQ 方法通常通过通用重构、困惑度或答案准确率进行优化和评估。然而，在解释至关重要的领域，仅保留最终答案可能并不足够，因为用户还可能检查生成的推理说明，以判断预测是否值得信任。我们在医学选择题问答任务中研究了这一问题；在该任务中，推理说明应提供支持所选答案的证据。 我们提出了一种面向基于变换的 PTQ 的解释感知目标。该方法从全精度教师模型的推理说明中构建离线忠实性缓存，并在优化过程中使用该缓存，以保留支持答案的证据词元以及由证据条件化的答案行为。我们在 W4A4KV4 量化设置下将其应用于 OSTQuant，并在 MedExQA、MedExpQA 和 ChallengeClinicalQA 上评估了四个 7B--8B 医学及指令微调 LLM。尽管使用相同校准数据的 OSTQuant 基线能够保留任务准确率，但它可能显著削弱支持答案的推理说明。我们的目标并非提升金标准标签准确率，而是保留全精度模型支持答案的行为；实验结果表明，我们的方法能够更好地保留全精度模型的答案行为以及推理说明对答案的支持关系。这些结果表明，在解释至关重要的场景中，PTQ 应评估支持答案的证据是否得到保留，而不应仅关注答案准确率。代码和评估脚本见 https://github.com/dut0817/EAQuant】【。
00:15 arXiv cs.AI 77
由于能够在开放且动态的环境中同时执行推理与行动（ReAct），智能体受到了日益广泛的关注。ReAct 过程通常表现为多轮轨迹，其中，大型语言模型（LLMs）以交错的方式生成推理链和特定于任务的行动。然而，智能体往往存在显著的不确定性，即相同的任务会产生不同的轨迹；不确定性较高的轨迹通常会产生难以理解的行为，严重削弱智能体的可信度。本文推测，这种轨迹层面的不确定性通常源于由 LLMs 引起的累积性轮次级推理不确定性；后者往往表现为多条分 divergent 的推理链及其所产生行动构成的分支集合。在此基础上，我们提出了基于图的轨迹推理不确定性（Graph-based Reasoning UncErtainty in Trajectories，GRUET）方法，用于量化 ReAct 的不确定性。该方法包括轮次级推理不确定性量化和轨迹级不确定性聚合两个部分：前者通过将潜在推理分支所构成的推理空间建模为图，并利用图复杂度近似推理空间复杂度，从而精确量化推理不确定性；后者采用简单的聚合策略来量化整体轨迹的可信度。在九个 LLMs 和五个基准数据集上的实验证明，所提出的 GRUET 在选择性生成性能方面具有有效性，该性能通过 AUROC、AUPRC 和 AUARC 进行衡量。
17:26 arXiv cs.AI 77
我们展示了这样一个现象：即使量化模型保持分类准确率不变，其 top-1 检索结果仍有 $14$% 到 $46\%$ 会发生变化，而且聚合排名指标只能揭示这种损害的一部分。我们将这一失败归因于最高分与次高分之间的差距，并利用这一差距来判断量化答案何时可信，以及应在何处投入额外精度。我们证明，只有当这一差距超过最大舍入误差的两倍时，top-1 结果才能保证在量化后保持不变。在分类任务中，分数是 logits，损失函数会将正确类别与其他类别推开，从而促成这一差距。在检索任务中，分数是查询-文档分数，没有任何机制将 top-1 项与第二项分开。这一差距无需标签即可测量。在部署前，它可以预测哪些模型会在量化后出现问题；在部署时，它则能针对每个输入判断量化答案是否仍与全精度答案一致。大多数分类输入的差距足够大，可以信任量化答案，但只有少数检索查询具备足够大的差距。这一差距促使我们针对不同任务采用不同的修复方法。在检索任务中，为那些量化对差距影响最大的层分配额外位宽，可以用一半的成本获得额外一位所带来收益的四分之三，最多如此。在分类任务中，将少量低差距输入路由至全精度计算，可以用一小部分成本恢复大部分损失的准确率。
17:52 arXiv cs.AI 69
Sandboxed computer environments support multi-step reasoning with tools, executable programs, and persistent files, yet their extension from language models to vision-language models (VLMs) introduces a distinct state-management problem. Visual reasoning produces intermediate image-valued evidence---crops, masks, overlays, zoomed regions, and analytic renderings---that must remain addressable without accumulating unboundedly in multimodal context. We introduce VLM-in-Sandbox, a training-free framework for agentic multimodal reasoning in controlled computer environments. Its Visual Workspace registers generated artifacts in an image ledger, maintains a bounded active visual context, and lets the model explicitly promote selected evidence for subsequent inspection. This separates visual evidence generation, performed by sandbox tools, from visual evidence management. Across seven benchmarks and four base VLMs, VLM-in-Sandbox achieves the highest sample-weighted average accuracy among Vanilla VLM, Append-only Sandbox, and the proposed method. A compiler-matched $2\times2$ study on 1,260 examples further separates model-directed visibility from bounded retention: VLM-in-Sandbox reaches 66.27% accuracy with 18.6% fewer total tokens than the automatic, retain-all control. Over all 6,350 submitted GPT-4.1-mini examples, it produces 302 rescues and 142 regressions relative to Original Append-only. A local vLLM study with prefix caching confirms that the smaller request workload also reduces uncached tokens, time to first token, and end-to-end latency. These results identify explicit visual evidence state as a central abstraction for sandboxed VLM agents.
19:28 arXiv cs.AI 72
低比特视觉-语言-动作推理必须在保持机器人行为的同时降低从观测到动作的延迟。我们提出 FoldQuantVLA，这是一种训练后量化框架，在校准、权重舍入和原生整数执行过程中保持一致的激活表示。它结合了通道缩放和块 Hadamard 变换，并采用动态逐 token 量化，无需策略再训练。自定义 TensorRT 插件在 Ada GPU 和 Jetson AGX Orin 上，以四比特权重和激活（W4A4）执行语言骨干网络和迭代式动作专家中的投影。评估涵盖 LIBERO、SimplerEnv 和两个机器人平台。在三个 GR00T 检查点和 $π_{0.5}$ 上，W4A4 相较于 Orin 上的浮点 TensorRT 实现了 $1.20$ 到 $1.33\times$ 的加速，在桌面端实现了 $1.25$ 到 $1.52\times$ 的加速。将语言注意力输出和前馈下投影保留为八比特（W8A8）可提升全部四个检查点上的留出动作保真度。在四个真实机器人任务中，该配置将观测到的 GR00T N1.7 成功率从统一 W4A4 的 $80.0\%$ 提高到 $92.5\%$，每种配置进行 80 次试验，同时测得 Orin 额外延迟为 1 ms。
00:58 arXiv cs.AI 78
大型语言模型（LLM）推理正从引擎本地的优化问题演变为分布式控制问题，涉及可复用状态、阶段放置、异构加速器、网络通信、自动扩缩容、可靠性和服务级别目标。本文结合经同行评审的系统研究、开源实现以及有文档记录的生产环境研究，梳理这一转变。本文将 vLLM 和 llm-d 视为互补层：模型服务引擎通过 PagedAttention、连续批处理、内核、量化和并行化等机制优化执行，而推理控制平面则可以在整个集群范围内优化执行发生的位置、时机以及所遵循的策略。本文的贡献在于综合分析，而非提出新的基准测试；文中报告的所有性能和部署结果均归属于其原始来源。综合证据表明，现代推理中的稀缺资源正从单纯的原始 FLOPs 转向受管理的状态、放置、网络传输、可靠性和决策质量。我们提出一种推理执行规划器，用于选择可行的执行方案，而不只是选择端点；这些方案包括聚合式与分离式拓扑、KV 来源及传输操作、硬件变体、路由/准入策略，以及较慢时间尺度上的扩缩容决策。我们还提供按来源归属整理的基准测试图谱、瓶颈迁移分类法、实用部署指南、基于 SLO-goodput 的评估框架，以及面向智能体、多模态、异构和高韧性推理的研究问题。
23:06 arXiv cs.AI 76
视觉语言模型（VLM）近来被认为是人脸识别领域颇具前景的工具，因为它们能够在输出相似度分数的同时生成自然语言解释。对于法证场景中的人脸比对而言，这一能力颇具吸引力，因为相关决策需要透明且可审计。然而，现有针对VLM在该应用场景中表现的评估主要集中于识别准确率，而生成解释的有效性仍未得到量化。在本研究中，我们提出了一个针对基于VLM的人脸识别的基准测试框架，将解释质量作为核心评估维度。我们提出了解释应满足的两个标准：相关性，即依赖于身份稳定的人脸特征；忠实性，即与图像中可见的内容一致且不虚构不存在的特征。我们共同设计了一套方法，通过将模型输出限制为结构化解释格式，实现对受评模型相关性和忠实性的量化，并支持自动化查询与审计。借助该框架，我们对多个系列的开放权重VLM进行了基准测试，同时评估人脸验证准确率和解释质量。结果表明，模型生成的解释仍存在诸多不足，并强调了解释质量指标对于全面了解模型性能的必要性。所提出的基准和开源评估工具为可解释人脸识别系统的规范化基准测试及未来微调奠定了基础。
20:49 arXiv cs.AI 72
边缘 AI 加速器正越来越多地部署于安全关键环境中，在这些环境里，模型输出可能控制物理执行器、作出访问控制决策或触发警报。在此类场景中，运行时故障往往难以被检测到，因为模型损坏、分布偏移和对抗性输入仍可能产生格式良好且置信度很高的预测。本文提出 TERMon，这是一种轻量级硬件运行时监视器，通过观察推理行为而非重新执行或形式化验证模型来检测此类异常。TERMon 将类别条件下的可信行为表示为硬件高效的三值模式，并将其与温度计编码的指纹进行并行匹配。该三值编码能够精确复现相应的未量化范围判定。TERMon 能够按照权重损坏对行为的影响程度检测有害的权重损坏；而在严格的误报工作点下，利用所监测的特征基本无法区分分布外输入和对抗性输入。我们在 PYNQ-Z2 FPGA 上实现了 TERMon，该流水线设计无需片上块 RAM 或 DSP，并且判定延迟为两个周期。
22:39 arXiv cs.AI 83
前沿语言模型如今能够生成专业交付成果，在相当大比例的具有经济价值的任务上，专家评审者认为其质量可与人类工作相匹敌；然而，大多数企业 GenAI 项目未能显示出可衡量的业务成效，而且预计很大一部分智能体项目将被取消。我们认为，这在很大程度上是一个衡量问题：公共基准回答的是“模型能做什么？”，而部署决策需要回答的是“在这里、基于我们的数据、受我们的控制，这个工作流程是否适用、可靠、安全，并且值得扩大规模？”我们提出 EnterpriseVal，这是一个在用例层面进行评估的系统，旨在弥合这一差距。该系统包括：（i）对待评估用例及其冻结的社会技术配置进行形式化规范，其中涵盖模型、提示词、检索、工具、防护措施和人工监督，并通过自主程度与后果等级共同确定所需的评估强度；（ii）一个涵盖保真度、效用、效率、可靠性、保障与监督的指标目录；（iii）一种评分协议，通过预测驱动推断，结合经过校准的 LLM-as-judge 评分，扩大盲审专家判断的规模；（iv）一个以可执行算法形式表述的两级阈值门控机制，将带有置信区间的指标向量映射为 REJECT/CONDITIONAL/SCALE 决策；以及（v）一个将审查者发现率作为测量参数的价值与风险模型。我们报告了在一家全球性银行的三个工作流程上开展的试点结果。在信贷备忘录起草流程中，最佳模型的人工评审引用精确率达到 88%，幻觉率为 1.6%，而门槛分别为 70% 和 5%；在流程转换中，分析师对每份文档进行完善所需的时间从预计的 27.4 小时降至 2.9 小时。我们区分了已确立的结果、有文档记录的试点证据、所提出的系统以及尚待验证的假设，并明确了完成全面验证所需开展的实验。
01:43 Hacker News 熱門 57
23:12 arXiv cs.AI 76
在重复交互中接受训练以最大化自身奖励的强化学习智能体，可能在没有通信或共同设计的情况下，收敛到类似于明确合谋的超竞争性结果。现有的缓解方法大多依赖于特定的经济场景，例如双边平台和拍卖，因此如何为一般重复博弈设计干预措施仍是一个悬而未决的问题。我们通过形式化阐明以往关于 Q-learning 合谋的研究中经验观察结果与经典 Simple Penal Codes（SPCs）理论之间的联系，弥补了这一空白。我们证明，任何非平凡 SPC 都会在智能体的策略中诱导出可量化的条件依赖性，这种依赖性可以通过比较合作历史和背叛历史下智能体动作分布的总变差距离来检测。在此基础上，我们提出 CURB（Collusion Unwinding via Reward shaping and Belief injection），一种奖励塑形框架，在 Q-learning 过程中对这一总变差（TV）距离信号施加惩罚，并且能够保证将动力学中的任意 SPC 固定点转化为平凡固定点，从而排除由惩罚威胁维持的合谋均衡。在 Bertrand 和 Cournot Competition Repeated Games 中，CURB 均能显著减少 Q-learning 智能体的合谋。我们进一步证明，CURB 可以扩展到 Bertrand 竞争中的深度 Q 网络智能体，这表明该机制能够推广到表格型 Q-learning 之外。
23:59 arXiv cs.AI 81
前沿 AI 模型正迅速获得利用复杂软件中漏洞的能力。这种风险并非理论上的，OpenAI 和 Anthropic 的前沿模型近期实施的沙箱逃逸便证明了这一点。关于如何对推理栈组件进行沙箱隔离的讨论，通常侧重于推理引擎本身以外的组件（例如网络代理或代码执行环境）。然而，推理引擎对于不对齐模型而言是一个颇具吸引力的目标。例如，如果模型仅通过生成经过特殊构造的输出令牌，就能触发该引擎中的漏洞利用，那么它便可以在引擎中发起一条多步骤、直达裸机的利用链，而不依赖推理栈其他组件中的漏洞，也不需要外部提供的恶意构造输入令牌。 在本文中，我们展示了不对齐模型能够执行推理引擎指纹识别，以确定执行该模型的具体引擎（例如 vLLM、SGLang）。完成引擎指纹识别后，模型便可以利用特定于引擎的漏洞，仅使用经过精心选择的输出令牌来控制该引擎。我们给出了五种流行引擎中的模型指纹具体示例，并演示了现实的智能体运行框架如何让模型利用这些指纹识别本地引擎。我们还描述了一条概念验证性质的、直达裸机的利用链，该利用链源自一个已完成指纹识别（并随后遭到攻陷）的推理引擎。最后，我们讨论了几种可以改进推理引擎、从而增加指纹识别攻击难度的方法。
01:59 arXiv cs.AI 83
前沿编码智能体越来越多地被信任，能够长时间自主工作，但智能体的最终响应往往是用户唯一能看到的关于这项工作的记录。我们量化了前沿智能体对任务完成情况进行\emph{过度宣称}的倾向，这种错误表述可能误导用户。当智能体的最终响应与其上下文中的信息相矛盾时，我们称其存在过度宣称。这一定义不要求推断智能体的意图，并且独立于任务是否成功。我们推出了\emph{OverclaimBench}，这是一套评测方案，由五种文件审查场景、基于交互记录的覆盖率测量以及已登记的植入缺陷组成。我们在各自的生产命令行界面中评估了八个专有前沿模型，并在 OverclaimBench 上使用单一固定测试框架评估了四个开放权重模型，结果发现：1）在 67.9\% 的运行中，智能体没有读取要求其审查的全部文件；2）在未读取全部文件的运行中，智能体有 80.4\% 的概率具有\emph{误导性}（各模型分别为 59--96\%），具体表现为虚假声称已读取全部文件，或未说明覆盖范围并不完整；3）要求将任务委派给子智能体提高了文件读取覆盖率，但在仍未完成审查的情况下，其中绝大多数仍然具有误导性；4）虚假声称完成了完整审查的智能体漏掉植入缺陷的概率约为读取每个文件的智能体的 1.8 倍，这表明完成声明可能掩盖实质性失败。总体而言，这些结果表明，智能体的最终响应并不能可靠地记录其实际行为。
20:47 arXiv cs.AI 72
各个领域中无处不在的时间序列数据，为交通系统、电力网络等领域的关键应用提供了支持。近年来，在海量数据集上训练基础模型，以实现精准的零样本预测，已成为研究重点。然而，当前研究大多侧重于架构创新，却未能充分解决数据多样性问题，往往依赖简单的数据采样策略，难以有效管理复杂的数据分布，导致训练数据利用效率低下和性能不佳。为此，我们提出了大规模时间序列语料库均衡框架 QUALS。QUALS 显著提升了数据效率，即仅使用原始训练数据中的一小部分，就能使现有模型取得更优性能。具体而言，QUALS 通过两种核心机制实现这一目标。首先，模式量化框架通过向量量化和均匀分箱，从混合语料库中系统地解码异构模式。其次，可学习性同步框架校准异构模式的采样权重，弥合简单模式与复杂模式之间的优化差距，从而最大化整体训练效率。大量基准测试表明，在 QUALS 上进行预训练能够持续取得更优的零样本性能，即使训练预算大幅减少也是如此。
01:15 arXiv cs.AI 75
大语言模型（LLM）蒸馏旨在将强大教师的能力迁移给更小的学生。然而，直接模仿也可能将教师的系统性偏差和错误一并迁移。协变量偏移会使这一挑战尤为突出：此时教师在目标问题上的可靠性尚不确定，且无法获得目标域奖励反馈。我们提出耦合校准与学习（CCL），这是一种 LLM 蒸馏算法，通过 token 级分支将教师校准与学生更新耦合起来，并且仅在源问题上使用奖励反馈。每次迭代首先利用源问题反馈校准教师，然后使用校准后的教师在目标问题上训练学生。更新后的学生反过来为后续校准提供信息。在自回归策略框架下，我们证明，输出学生与 oracle 学生之间的期望平均 Kullback-Leibler 散度会随着迭代次数增加以多项式速率收敛至零。oracle 学生在学生类中最大化真实的参考正则化目标奖励，但该学生类不一定能够表示不受限的最优策略。我们的分析在控制教师校准误差的同时，量化了投影学生梯度更新所取得的进展。我们进一步证明，CCL 与正则化直接匹配之间存在差异：即使教师获得的正则化目标奖励高于每一个学生策略，正则化直接匹配相对于 oracle 学生的误差仍可能保持在远离零的水平。这些结果表明，在无需目标域奖励反馈的情况下，LLM 蒸馏能够通过耦合校准与学习克服持续存在的教师偏差，并恢复最优学生。
23:20 Hacker News 熱門 81
Hi HN - long-time lurker (since 2012!), first time poster. Pizza Bot is a self-hosted desktop app for Mac, Windows, and Linux that runs AI agents in the background and exposes them through an email-like UI. Finished work shows up in Unread, and anything waiting on your approval shows up in Action. It's Apache 2.0-licensed, there's no signup and no telemetry, and you bring your own model provider: Anthropic, Amazon Bedrock, Google Gemini, OpenAI, OpenRouter, or a local model through Ollama. There are builds on the releases page, or you can run it from source. Pizza Bot started as an internal passion project I worked on with a small team at Amazon. The whole thing came out of my frustration at having to manually log CRM activities through a browser form. I built a simple REST API called "JoeBot" that connected to my authenticated browser session over CDP and filled out the form for me using Playwright. Then I hacked up a quick Obsidian plugin so I could trigger it from my local notes (no AI and no MCP servers involved). This caught on quickly. My fellow AWS Solutions Architect Igor Fil joined up with me, and we rebranded the project as "Pizza Bot," named after Amazon's two-pizza teams. We started seeing what other automations we could build. We found a GraphQL API we could query and hacked up some "recipes" to pull data out of the CRM to help with meeting prep. That worked great, and it was right around the time MCP servers seemed to be taking off, so we decided to expose Pizza Bot as an MCP server instead, so it would be available to AI tools through natural language. This was a decent solution for technical users, but the Account Managers who live inside our CRM system wanted something too. We decided to rebuild Pizza Bot as an Electron desktop app modeled after an email inbox, so it would be familiar to non-technical users and would run on both Mac and Windows. We also bundled internal MCP servers as OCI images and hosted them in Amazon ECR as an "addon marketplace" so users could install them with one click without having to set up Amazon developer tooling. The project took off organically and expanded outside of AWS into the wider Amazon organization globally. More than 2,000 people ended up using it for meeting prep, email drafting, Slack summaries, CRM logging, prioritizing their day, and web research. Once apps like Claude Cowork and Amazon's own Quick Desktop came out, we realized the real growth opportunity was outside of Amazon. Rather than try to rip out the Amazon-specific integrations, we rebuilt Pizza Bot once more as an open source project. We leaned on coding agents heavily, which is the only reason a team our size could pull off a full rewrite. I'm pleased to say it's finally public, and we're hoping to bring in community members and see where it goes. We'd like to do for knowledge workers what Claude Code and Codex have done for programmers. A couple of things to know up front. Most of what made Pizza Bot useful on day one inside Amazon came from that internal catalog of skills and MCP servers for Amazon's own systems, and none of it could come out with the app. So it ships thinner than the version those 2,000 people used, and building that catalog back up for tools other people actually use is where we need the most help. It's also a community project and not an AWS service, so there's no support or SLA behind it. The Windows and Linux builds aren't signed yet either. On the technical side, Pizza Bot is a server and a client. The desktop app bundles both, or you can point a client at a remote backend; personally, I self-host the server on my home network and reach it from my phone over Tailscale. The server owns the thread lifecycle and checkpoints state with DeepAgents and LangGraph, and clients rehydrate from it as needed, so you can disconnect mid-run and pick the thread back up from another client. Approval pauses outlive the session that created them and collect in an Action filter, so you can answer an hour later from a different device. The agent you talk to has a sandboxed QuickJS interpreter that can reach your filesystem only if you grant it a folder, but its main job is to delegate. Each subagent is a 1:1 mapping of a Skill, and an Activity bar shows that subagent and the tool calls it's making as it works. Memory is opt-in and stored as plain markdown files on your machine. Every tool call is explicit, including looking up a memory - we err on the side of transparency to reduce surprises. Tools come from MCP servers, and skills are ordinary SKILL.md files with a per-tool approval policy, so existing skills that don't require a code interpreter should still work. What I'd most like to hear about is where the app itself gets in your way, the kind of problem you can't fix by writing a skill or an MCP server. I'm around today to answer questions! Comments URL: https://news.ycombinator.com/item?id=49713894 Points: 15 # Comments: 5
00:07 Hacker News 熱門 84
嗨，HN，我是 Nari Labs 的 Toby。 我们一直在努力让 OSS 语音模型实现超高速运行。去年，我们构建了 Dia，这是首个能够进行自然对话的 OSS 文本转语音模型。从那以后，又有许多优秀的语音模型向公众发布。 但市场仍由闭源模型主导。我们认为，问题出在推理上。现有的 vLLM / SGLang 等系统并不适合多模态推理。为了证明这一点，我们构建了一个专门针对 Qwen3-TTS 的推理引擎，并将其开源了（ https://github.com/nari-labs/nari-qwen3-tts ）。在 10 RPS 下实现低于 50 ms 的延迟，这表明开源模型可以运行得更快、成本也更低。 从那以后，我们一直在努力为所有人提供廉价、快速且高质量的服务。我们甚至在闭源模型擅长的领域击败了它们！ 在广受引用的 Coval（YC S24）语音 AI 基准测试中，与 11Labs、Cartesia 等相比，我们的 Qwen3-TTS 端点不仅延迟排名第 2，准确率（WER）更排名第 1，同时还是成本最低的端点。我们的 Qwen3-ASR 端点延迟最低，准确率排名第 2，仅比第 1 名低 0.1%。它是榜单上成本第二低的模型。 为了让这些模型运行迅速、表现出色，同时保持较低成本，我们在推理工程方面投入了大量巧思。有趣的是，与我们的端点相比，Alibaba 的官方端点在准确率和延迟方面似乎表现更差。不过，我们仍然非常感谢 Qwen 团队将这些出色的语音模型 OSS 化。 我们希望继续降低价格，让语音技术成为一种大众化商品——这样每个应用都能拥有出色的 TTS 和 STT，而不必担心单位成本。我们也在研究音频领域的其他部分，例如说话人分离，以及视频和世界模型推理。敬请期待更多内容！ 评论 URL： https://news.ycombinator.com/item?id=49699267 积分：7 评论数：1
21:59 Hacker News 熱門 46
20:58 Hacker News 熱門 48
Hi everyone, Been working on Otis, an open-source ai agent that gives you one minimal experience across local and hosted open-weight models, privacy-focused by design. On setup it recommends a local model based on the hardware Otis is running on, downloads it and runs it through llama.cpp for you. Ollama, LM Studio and Nvidia PAIR are supported too. Excited for everyone to try it and all feedback is welcome! Comments URL: https://news.ycombinator.com/item?id=49696084 Points: 3 # Comments: 0
00:31 arXiv cs.AI 76
随着表格基础模型的兴起和应用日益广泛，优化其推理性能逐渐成为效率研究的新兴领域。尽管这些模型在架构上与基于 Transformer 的大型语言模型（LLM）相似，但二者的规模和服务模式存在显著差异。我们表明，应将重点放在注意力计算上，而不是权重量化或 KV 缓存量化，因为后两者在 LLM 中更为常见。我们针对查询、键和值设计了 FP8 量化策略，并使用显式的 FP8 矩阵乘法指令来加速注意力计算。我们发现，让测试行中的量化误差与训练行中的量化误差保持一致至关重要，否则准确率会大幅下降。我们的 Triton 内核相比常规的 16 位内核最高可实现 1.7 倍加速；同时我们表明，在 TabPFN-v3 和 TabICLv2 上，跨越 TabArena 和 BeyondArena 均不会出现明显的准确率损失。
01:45 arXiv cs.AI 81
大语言模型能够生成流畅的文本，但其中可能包含不忠实的陈述——这一现象称为幻觉。我们提出了一种多信号检测流程，将经过微调的 DeBERTa-v3 分类、Monte Carlo (MC) Dropout 不确定性量化以及温度缩放校准相结合，用于响应级幻觉检测。在 HaluEval 基准测试中，该流程在通用领域任务上取得了 F1=0.915 和 AUROC=0.977 的成绩，各任务的 F1 分数分别为：0.97（问答）、0.96（摘要）和 0.82（对话）。MC Dropout 推理进一步将准确率提升至 93.2%。上下文消融研究证实，该模型执行的是真正的蕴含推理，而不是利用表面模式；移除知识上下文后，摘要任务的 F1 分数下降了 24%。学习曲线分析表明，使用 25% 的训练数据即可达到完整数据训练效果的 77%。除检测之外，我们还对 Qwen2.5-0.5B 生成模型应用了 Direct Preference Optimization (DPO)，根据我们的检测器测量结果，将其幻觉率从 85.5% 降至 37.7%，相对降低 55.9%。在 SciFact 生物医学基准测试上的跨领域评估显示，通用领域训练的迁移效果较差（F1=0.52），这说明有必要进行领域特定微调。在 SciFact 上进行微调的 PubMedBERT 达到 F1=0.63 和 AUROC=0.81，表明领域匹配的预训练是最有效的适应策略。代码和模型可在 https://github.com/varunteja99/hallucination-detection-nlp 获取
01:57 arXiv cs.AI 84
分布偏移下的泛化仍是现代机器学习面临的核心挑战，但现有的学习界理论仅适用于狭窄且理想化的场景，并且无法从样本中估计。本文弥合了理论与实际应用之间的鸿沟。我们首先表明，当源域与目标域的支持集不匹配时，现有的概念偏移定义会失效。借助熵正则化最优传输，我们提出了一个关键概念：$γ^{*}\!$-概念偏移，并推导出一个统一协变量偏移与$γ^{*}\!$-概念偏移的一般误差界，该误差界适用于广泛的损失函数、标签空间和随机标注。进一步地，我们为这些偏移开发了带有集中性保证的估计器，以及DataShifts算法；该算法能够量化分布偏移并在大多数应用中估计误差界，为分析分布偏移下的学习误差提供了一种严格且通用的工具。
21:04 arXiv cs.AI 80
大型语言模型的实用不确定性量化（UQ）必须根据一次生成判断某个具体答案是否值得信任。现有方法要么对答案进行多次采样，要么只读取输出词元的概率，要么将模型的内部计算压缩为单个隐藏状态。我们提出 ActMap，这是一种白盒表示，可将生成时的隐藏状态轨迹（每一层、每个生成词元）压缩为固定的 $12 \times 32 \times 128$ 张量，其中包含时间统计通道，并保留 Transformer 深度和池化隐藏坐标之间的结构。该映射在生成过程中即可捕获，且没有可测量的额外开销；它在不同模型深度和隐藏维度下都具有固定形状，占用 96 KiB，是一种紧凑的产物，可保留用于审计的生成结果并直接进行探测；遮挡分析则将分类器的信号定位到该映射的中等深度区域。一个以紧凑型 Vision Transformer 实例化的轻量级分类器能够从每个映射中读取估计的正确性概率，耗时不到一毫秒；容量匹配的 MLP 表现相当，表明结果由该表示本身承载。我们在短答案问答、直接作答数学和摘要事实性任务上，使用三个经过指令微调的 7-8B 模型进行域内训练和评估。ActMap 始终优于采样、词元概率、注意力和嵌入基线；与在密集激活张量上训练的检测器 ACT-ViT 相比，后者的张量规模大 67 倍，ActMap 的平均 AUROC 基本相同，并且在十二组配对中的十组具有更低的校准误差。由此得到的分数支持仅凭一次生成进行拒答、路由和选择性验证，使其成为部署模型可扩展监督的一种实用基础组件。
21:40 arXiv cs.AI 84
大型语言模型（LLM）训练是现代数据中心电力需求增长最快的来源之一，而电力可用性是 AI 基础设施持续发展的主要瓶颈。使这类工作负载的功耗具备灵活性，可以为 AI 的发展释放额外电力，限制电价上涨，并提高现有电网基础设施的利用率。然而，要实现这种灵活性，我们首先必须了解降低 GPU 功率时训练工作负载的性能如何变化。 本文首次系统性地刻画了 LLM 训练中的作业功率弹性（即吞吐量对功率降低的敏感度）。为量化这种弹性，我们提出了功率灵活性指数（Power Flexibility Index，PFI）这一归一化指标，用于量化降低功率所带来的性能代价，并为满足 SLA 感知的功率灵活性提供控制原语。 我们收集了 H200 上 131 次 LLM 训练运行的数据（另包括 24 次 H200 验证运行和 34 次匹配的 H100 运行），涵盖稠密模型和混合专家模型、预训练和微调任务，以及最多使用 32 个 GPU 的配置。我们发现，LLM 训练作业表现出显著但存在差异的功率弹性，并确定了能够在运行时预测 PFI 的遥测信号。最后，我们证明，在功率约束下，考虑 PFI 的功率分配能够最大化总 tokens/s 吞吐量。在降低 30% 功率的情况下，考虑 PFI 的功率分配可使每个作业恢复约 1.5k tokens/s 的吞吐量，相当于弥合等权重分配方案与拥有完美信息的理想方案之间性能差距的 63%。我们的研究确立了功率弹性是训练作业的一项可测量属性，并为功率感知、响应电网需求的 AI 基础设施奠定了基础。
22:49 arXiv cs.AI 83
神经音频编解码器是现代语音生成系统的基础组件。尽管近年来的编解码器实现了越来越低的比特率，但降低帧率仍然具有挑战性，因为每个令牌都必须在保持重建质量的同时保留更多信息。我们提出了 ZipCodec，这是一种以 6.25 Hz 和 0.80 kbps 运行、理论延迟为 160 ms 的流式神经语音编解码器。我们的方法结合了大规模 WavLM 蒸馏、重新设计的基于 Transformer 的架构、标量球面量化器以及延迟感知的流式解码器。实验表明，在相当的比特率下，ZipCodec 在重建质量和下游任务方面均显著优于现有流式编解码器，同时运行于显著更低的帧率。尽管拥有 8.42 亿个参数，ZipCodec 仍可在消费级 CPU 上实现实时单流推理。演示样例、代码和检查点见 https://lucadellalib.github.io/zipcodec-web/。
08:45 Hacker News 熱門 53
00:02 arXiv cs.AI 81
我们提出了 PACE，这是一种面向检索增强对话服务的框架，将感知首次响应时间（Perceived Time-to-First-Response，PTFR）形式化为 QoE 目标，并在质量和成本约束下将其最小化。不同于以往关于级联路由、语义缓存或自适应检索的研究，PACE 联合控制由哪种答案源生成响应，以及如何填充等待窗口。该框架部署于一项人形机器人销售服务中，结合了三种机制：负载自适应级联路由器、联合路径填充控制器，以及感知波动性的缓存准入机制。在 75k 个 CarQA 请求上，该级联方案将纯 LLM 在 P95 下的 PTFR 减半（c16 下为 0.29 秒，相比之下为 0.53 秒）。自适应控制器将 P95 降至 0.41 秒，在高负载且质量相当的情况下，性能优于 RAG 2.4 倍。填充控制器在零冲突的情况下减少了 94% 的调用。感知波动性的准入机制将过时答案的比例从 86% 降至 0%。门控规则确保控制器的表现不会差于基线，其暴露风险被限制在一个保持周期以内。这是首次对已部署服务中的填充答案冲突风险进行量化。
00:50 arXiv cs.AI 77
大型语言模型（LLMs）可能记忆并复现敏感、受版权保护或其他不宜出现的训练内容，从而引发隐私、安全和监管方面的担忧。机器遗忘为完全重新训练提供了一种切实可行的替代方案，但许多现有方法采用宽泛或固定的参数更新，可能损害模型效用，并且在部署环境发生变化时表现脆弱，例如训练后量化可能导致已遗忘知识部分重新出现。我们提出通过遗忘层实现仅遗忘重要内容（Forgetting Only What Matters via Unlearning Layers，FOM-UL），这是一种基于层级的遗忘框架，利用遗忘-保留显著性评分选择 Transformer 层。该评分能够识别对遗忘集影响较大且对保留集敏感度较低的层，使 FOM-UL 将更新集中在最有效的位置，同时保持模型的大部分参数不变。这种针对性更新策略改善了遗忘与效用之间的权衡，并通过降低小幅、分散式更新被低比特舍入抹除的可能性，为实现抗量化遗忘提供了实证路径。在 TOFU、KnowUnDo 和 MUSE 风格的评估中，与基于 GA、NPO、KLD、SURE、ReLearn 和 LUNAR 的强基线方法相比，FOM-UL 在保持接近原始模型的保留集效用的同时，减少了残余记忆。在 8 位和 4 位训练后量化条件下，FOM-UL 比竞争方法更能保持对记忆的抑制效果和效用保留能力；对抗性提示词评估也显示，其对已遗忘内容的恢复程度更低。总体而言，FOM-UL 提供了一种高效的遗忘策略，在不声称具备遗忘形式化保证的前提下，提升了针对性遗忘、效用保留和部署鲁棒性。
20:42 arXiv cs.AI 72
衰老时钟量化生物衰老，并有助于刻画个体健康状况。哪些蛋白质相互作用对于构建准确的衰老时钟至关重要？这些相互作用属于零阶还是高阶？回答这些问题需要从分布在各医疗中心的大规模分子数据集中进行学习，但隐私限制阻碍了数据的集中共享。联邦学习提供了一种自然的解决方案，但在这一场景下面临四项挑战：本地样本量有限、中心间信任关系稀疏且具有方向性、既要保留具有判别性的年龄预测能力又要支持结果解释，以及在跨中心异质数据下的模型漂移和遗忘问题。 我们提出TNFL，一种基于信任网络的联邦学习框架，可沿有向成对信任关系逐步传播模型，而无需集中式聚合。TNFL将年龄感知的专家混合模型与生成式重放相结合，以保留先前学习到的信息并减少遗忘和漂移。在多个分子数据集上的实验表明，TNFL能够在本地数据有限的情况下实现有效的衰老时钟预测，提供具有可解释性的年龄依赖型预测模式，并在不同相互作用阶数下保持稳定性能。 为探究相关生物学问题，我们分析了TNFL识别出的成对蛋白质相互作用及其通过功能分析和网络分析呈现的高阶组织结构。所识别的相互作用反复形成跨越多个衰老相关生物系统的协调性高阶子网络，其中若干蛋白质在不同子网络中重复出现。这些发现表明，TNFL能够捕捉超越孤立成对关联的分子关系，并揭示与衰老相关的连贯高阶生物组织结构。
00:08 arXiv cs.AI 81
Text-to-SQL 系统将自然语言查询转换为可执行的 SQL，降低了访问结构化数据的门槛。尽管近年来大语言模型（LLM）的发展推动了相关技术进步，但评估仍是一个主要瓶颈：公开基准无法捕捉企业级模式的复杂性，而构建私有评估集成本高且具有非确定性，导致评估结果难以复现。为解决这一问题，我们提出了 SQLMorph，一种通过查询变异进行 Text-to-SQL 评估的框架。SQLMorph 引入了两种自动生成和扩展评估集的技术：Join Query Expansion (JQE) 通过添加有效连接来系统性地提升结构复杂度；Textual Query Augmentation (TQA) 则生成受控的自然语言扰动，用于评估系统对语言变化的鲁棒性。JQE 和 TQA 构造了针对性的瓶颈点，以挑战系统的特定组件。将这两种技术应用于最先进的系统后，我们发现，随着连接数量增加，JQE 提升了查询覆盖率，并揭示出系统准确率会随之下降。同时，TQA 表明，大量使用缩写所导致的语言脆弱性最多可使准确率降低 17%。 除了评估集之外，SQLMorph 还提出了一组执行层面的指标，用于解决当前二元指标（如 Execution Accuracy）的局限性。我们定义了 Execution Precision (EXP) 和 Execution Recall (EXR)，分别量化正确结果和恢复结果所占的比例，并通过 F1 将二者结合起来进行统一评分。实验表明，这些宽松指标能够对过度预测和预测不足进行细粒度分析，揭示出二元指标所掩盖的系统间差异。总体而言，SQLMorph 的查询变异和细粒度指标有助于调试，并使 Text-to-SQL 评估实践更贴近真实世界的部署场景。
00:03 arXiv cs.AI 84
大型语言模型（LLM）取得了显著进展，但其巨大的存储和内存带宽需求仍然阻碍着高效部署。权重二值化是一种有前景的解决方案，但现有基于二值化的训练后量化（PTQ）方法通常由于隐藏开销而远超名义上的 1 比特存储目标。为弥合这一差距，我们提出了 All for 1-Bit（AF1），一种面向 LLM 的真正 1 比特 PTQ 框架。AF1 由两个互补组件构成：（1）空空间感知二值分解（NABF），通过 Hessian 感知的代理重参数化、空空间感知的二值分解以及仅缩放的全局重构来改进二值重构；（2）分层 Shapley 分配（HiSA），利用分层 Shapley 敏感度分配结构容量。二者结合后，使模型在 PTQ 设置下严格遵守 1.0-BPW 预算的同时保持准确率。在 LLaMA、Qwen 和 Gemma 系列上的实验表明，AF1 在困惑度和零样本准确率方面始终优于现有基于二值化的 PTQ 方法。与 BF16 相比，在所评估的模型中，AF1 平均实现了 2.5 倍的推理加速，并将内存占用降低了 90% 以上，为 LLM 真正的 1 比特压缩走向实际部署提供了可行路径。用于复现实验的代码位于 https://github.com/Kishon-zzx/AF1。
11:55 arXiv cs.AI 74
LLM-as-a-Judge 已成为评估自然语言生成的一种颇具前景的范式。然而，与此类评估相关的不确定性仍在很大程度上缺乏研究，这限制了其在现实应用中的可靠性。尽管保形预测为不确定性量化提供了一个有原则的框架，现有方法通常将其应用于单个 LLM 评审器，忽略了使用不同 LLM 评估器所引入的变异性。在本文中，我们提出了一种面向多智能体 LLM-as-a-Judge 评估的鲁棒不确定性估计框架。我们的方法针对来自多个 LLM 的基于 LLM 的得分构建保形预测区间。通过考虑不同 LLM 评审器给出的区间，我们获得了更加稳定可靠的不确定性估计。大量实验表明，我们的方法能够生成具有覆盖率保证的有效预测区间，并且在多个评审器之间进行基于区间的聚合能够带来更加稳定的评估结果。
22:49 Hacker News 熱門 65
文章网址： https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/ 评论网址： https://news.ycombinator.com/item?id=49611128 得分：31 # 评论：11
17:26 Hacker News 熱門 69
文章链接： https://vllm.ai/blog/2026-08-23-speculative-decoding-amd-gpus 评论链接： https://news.ycombinator.com/item?id=49596054 得分：9 # 评论数：1
23:06 arXiv cs.AI 78
一个快速扩张的行为体生态正在移除开放权重 AI 模型内置的安全护栏。我们通过识别关键生产者、下游复刻和新兴应用来描绘这一生态。在 2024 年 1 月至 2026 年 3 月期间，我们在 HuggingFace 上识别出 3,471 个原始未审查模型，每个模型平均被重新打包 2.4 次；三个行为体占全部 8,164 次压缩再分发的 52%。一旦这些模型经过量化，并在不同账户、格式以及诸如 Ollama 之类的注册库中被镜像，它们就会在上游移除后依然持续存在，并且更容易在下游部署。在已识别的 1,643 个集成了未审查大语言模型（ULLMs）的 GitHub 应用中，25% 被归类为明确恶意。
23:19 arXiv cs.AI 71
大型语言模型（LLMs）正越来越多地用于根据自然语言问题描述构建优化模型，但现实中的运筹学（OR）请求往往并不完整：缺失目标、约束或业务规则都可能改变最终的数学规划。现有评估大多假设规范是完整的，因此忽略了智能体在建模之前是否知道何时需要澄清。我们提出 OR-Clarify，一个用于建模前澄清的基准。每个任务都提供一段部分公开的问题描述，隐藏结构化槽位，并通过与模拟用户的受限交互来评估智能体。该基准支持开放式和选择式两种澄清方式，并衡量槽位恢复、停止行为、隐含假设以及交互成本。我们进一步提出 InterOPT，一种两阶段框架，用于识别尚未解决的、对建模至关重要的缺口，并利用这些缺口来指导是提出下一个问题还是停止。在我们的选择式实验中，InterOPT 在精确槽位恢复方面显著优于所有基线；在开放式设置下，它仍与强大的先前方法相当。总体而言，OR-Clarify 和 InterOPT 将 OR 辅助重新定义为一种选择性的完整性决策：在需要时澄清，准备好时停止，并量化仍缺失的内容。
23:30 arXiv cs.AI 83
层 Dropout（又称 stochastic depth）已被证明能够在语言和视觉 Transformer 中实现更快的训练、更高的准确率，以及对零样本层剪枝的鲁棒性。然而，随着模型和数据集规模不断扩大，Dropout——尤其是层 Dropout——在大语言模型（LLM）的预训练配方中基本消失了。尽管一些先前工作报告称 Dropout 可能会降低准确率，但尚无系统性研究对这一影响进行量化，更不用说缓解了。在本研究中，我们表明在最先进的 LLM 训练中应当使用层 Dropout，并为训练及后训练收益建立了最佳实践和扩展性分析。具体而言，在最优的层分布、时间调度和优化器超参数下，我们观察到在相同训练 FLOPs 下，层 Dropout 会带来更低的损失。对于给定的训练步数，LLM 可以在节省最高 25% 训练 FLOPs 的同时，实现更低或相近的验证损失。此外，层 Dropout 还能带来显著的后训练优化，例如提前退出、中间层跳过以及 self-speculative decoding，在几乎不损失准确率的情况下实现最高 1.5 倍的推理加速。通过超过 2400 次训练实验，覆盖从 271M 到 8.2B 参数的模型以及最高 160B tokens 的数据集，我们证明这些发现能够可靠地扩展到大规模训练场景。所有预训练实验均在 Cerebras CS-3 系统上完成。
01:12 Hacker News 熱門 49
00:39 arXiv cs.AI 73
来自人类反馈的强化学习（RLHF）已成为一种强大但样本效率较低的方法，用于从人类偏好中学习奖励模型，因此主动学习成为合成信息量丰富的偏好查询的关键组成部分。然而，对于大型神经网络奖励模型而言，主动学习所需的有效不确定性量化仍然是一个关键挑战。本文提出 PreferenceEKF，这是一种样本效率高的方法，通过将主动偏好学习表述为序贯贝叶斯滤波问题来跟踪奖励模型的不确定性。我们的方法不依赖于在完整神经网络参数空间上进行计算代价极高的后验推断，而是在低维参数子空间内使用扩展卡尔曼滤波进行序贯推断，并随着新的偏好查询到来持续更新奖励模型后验。我们的方法使得对神经网络参数进行可扩展采样成为可能，从而高效计算用于主动奖励学习的获取函数。在 D4RL 和 V-D4RL 基准上的实验表明，与其他贝叶斯深度学习方法相比，我们的方法在样本效率、运行时间、可扩展性和校准性方面都表现更好，而且所学习到的奖励模型能够带来具有竞争力的离线强化学习策略性能。这凸显了在 RLHF 中用于基于偏好的奖励建模的可扩展贝叶斯方法的潜力。我们的代码可在 https://github.com/yutaizhou/bnn_pref 获取。
01:04 arXiv cs.AI 81
混合型 LLM 将 softmax 注意力与线性注意力层（如 Gated DeltaNet, GDN）配对，其递归状态以固定大小总结上下文。早期社区对 Qwen3.8-27B（48 个 GDN 层，16 个 attention 层）的 4 位量化实现，出于“递归中的误差会在长上下文中累积”的直觉，保留了 GDN 块为 8 位或 16 位精度——尤其是其衰减门和写入强度门。我们通过构建 Minima 来检验这一直觉：对全部 496 个线性层（包括 GDN）都采用 NVFP4 W4A4。我们在 4K/32K 的困惑度、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench，以及到 64K 的 RULER 检索上测试发现，Minima 在种子噪声范围内与 BF16 相当（5 项任务平均 -0.52），同时是我们比较的方案中最小（17.5 GiB）且预填充最快（+14-19%）的方案，而且其 32K 困惑度差距会随位置缩小。一个四部分的机制研究解释了原因：(i) NVFP4 的 16 元素块缩放将残差流中的极端离群值局部化，使不同层角色之间的激活误差更加均衡；(ii) 所谓脆弱的门投影反而最不敏感——softplus/指数和 sigmoid 参数化把约 11% 的 GEMM 误差压缩为约 2% 的输出误差；(iii) delta-rule 递归在 32K token 上将注入噪声维持在平坦平台，并在数百步内忘记一个状态脉冲，因为每次写入都会沿当前 key 方向覆盖状态；(iv) 单个 token 的量化成本会随上下文而被冲淡，而不是累积。我们还修复了一种全局尺度不匹配：当按模块校准的 NVFP4 检查点由将这些模块融合为一个 GEMM 的 kernels 提供服务时会出现该问题，并表明经过校准的 FP8 KV-cache 尺度不会带来性能损失。结果表明，一个实用方案是——全部量化，附带 KV 尺度——并且给出了一个机理性解释：为什么混合型 LLM 的递归半部分是更容易量化的那一半。检查点：https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4
18:42 arXiv cs.AI 77
大型语言模型（LLMs）近期在自动生成旅行行程方面展现出强大能力。然而，真实世界中的旅行规划本质上是不确定的：交通延误、客流波动以及意外的随机延迟，常常会使原本可行的行程失效。现有的基准，如 TravelPlanner 和 TripCraft，假设环境是确定性的，只评估静态约束是否满足，而忽略了在这些不确定性出现时生成的计划是否仍然具有鲁棒性。为了解决这一限制，我们提出 UTP-Bench1，一个面向不确定性感知旅行规划的大规模基准。该数据集整合了覆盖印度504座城市的真实旅行数据，包括景点、餐厅、住宿以及多模态交通网络。为了模拟真实世界中的扰动，UTP-Bench 纳入了从主要城市收集的经验性延误分布和客流密度模式，从而能够在随机条件下评估旅行计划。我们进一步提出三项评估指标，分别是 Buffer Adequacy Score (BAS)、Crowd-Aware Timing Score (CATS) 和 Transport Delay Absorption Score (TDAS)，用于量化生成的行程在面对交通延误和客流变化时维持鲁棒性的能力。使用 GPT-5、Qwen3、Mistral 和 Phi-4 等先进 LLMs 的实验表明，模型生成的计划与人工制定的计划之间存在显著差距，尤其是在时间缓冲、延迟感知的交通调度以及人群敏感规划方面。
19:17 arXiv cs.AI 79
在本文中，我们提出了一种可扩展的基于 Kronecker 的近似方法，能够在无需存储整个 Fisher 矩阵的情况下捕获跨层交互，从而使得对十亿参数网络进行实用的 Hessian 分析成为可能，而这类网络的完整计算是不可行的。我们的方法揭示了稳定一致的脆弱性模式：在多个模型家族中，value 投影层表现出最高的敏感性和最强的跨层相关性，而其他组件则呈现出特定于架构的行为。通过在量化、稀疏化、层间破坏以及破坏后的微调上的大量实验，我们表明我们的近似与性能退化和恢复都具有很强的相关性。我们的框架为识别大型模型中的脆弱组件提供了一个实用且具有理论依据的工具，并为有指导性的压缩和优化策略开辟了新的途径，例如混合精度分配、逐层稀疏化，以及跨层乃至单个权重组的自适应低秩分解。
00:23 arXiv cs.AI 75
去中心化联邦学习（DFL）的安全评估通常关注 Byzantine 参与者的行为，而在很大程度上忽略了哪些参与者被攻陷。然而，由于聚合是分布式地在通信图上进行的，Byzantine 节点的部署决定了恶意影响如何在网络中传播。因此，我们将 Byzantine 部署视为一个显式的对抗性决策，并将攻击者的目标表述为：在固定的攻陷预算下，选择一组参与者，使其在有限时间内对诚实节点的影响最大化。为了在不对每一种候选部署都执行学习过程的情况下近似这一目标，我们提出 Byzantine Placement Influence（BPI），这是一种从实际 gossip 动态中推导出的集合级度量，用于量化在训练周期内诚实节点对 Byzantine 源的累积暴露程度。不同于基于节点中心性启发式的部署准则，BPI 直接考虑了加权多跳传播以及被攻陷节点之间的交互。我们开发了用于优化 BPI 的高效算法，并在六类异构图、非定向模型投毒以及后门攻击上进行了评估。由 BPI 指导的部署在不同网络结构中始终能够识别出破坏性极强的配置，并且在通过 Byzantine-robust aggregation 放宽线性 gossip 假设后仍然有效。我们的结果表明，Byzantine 部署是 DFL 威胁模型和鲁棒性评估中一个关键但尚未被充分建模的维度。
01:59 arXiv cs.AI 77
仓库级代码生成任务要求合成既满足任务需求、又与目标仓库上下文保持一致的代码。由于真实世界的仓库往往超过 LLMs 的输入长度限制，现有方法通常采用检索增强生成（RAG）来提供特定于仓库的上下文。尽管这些方法提升了仓库上下文检索效果，现有方法通常将上下文作为任务级支持提供，而没有显式识别在生成过程中需要细粒度仓库上下文的关键 token。在 LLMs 的自回归生成过程中，错误往往集中在少数决定性位置：一旦这些 token 生成错误，后续代码可能沿着错误的语义路径继续，最终导致功能失败。我们将这些位置称为“关键 token”。在本文中，我们提出 ACToR，一种用于仓库级代码生成的自适应关键 token 感知检索框架。ACToR 在生成过程中识别关键 token，并在这些决定性位置按需触发定向检索，以提供仓库上下文。此外，我们为稠密检索器设计了一种位置感知加权方法，以优先使用对生成更具信息量的上下文。我们在两个具有代表性的仓库级基准 RepoExec 和 CoderEval 上评估了 ACToR。实验结果表明，ACToR 始终优于最先进方法，在 RepoExec 上取得了 8.4% 的相对提升，在 CoderEval 上取得了 15.4% 的相对提升。除了性能提升之外，我们还系统地量化了关键 token 的影响，揭示了它们在主要生成失败中的核心作用，并强调了定向检索策略的必要性。我们在 https://github.com/DeepSoftwareAnalytics/ACToR 提供了代码和数据。
23:08 arXiv cs.AI 73
具身导航要求智能体将异构目标和视觉观测转化为跨任务、跨环境以及跨机器人具身形态的动作。现代 vision-language models（VLMs）已经为视觉定位、空间推理和指向编码了空间先验，但这些能力很少被直接用于机器人控制。现有导航系统反而依赖任务或具身形态特定的组件，割裂了感知、推理和动作，同时泛化能力有限。本文提出 LightNav-0，一种紧凑的通用具身导航模型，它激发预训练 VLM 的空间智能并使其与导航对齐，而无需任务特定的预测头。LightNav-0 通过统一的 token 接口表示多样的导航任务：双通道指向表达与任务、场景和具身形态无关的空间意图，而残差向量量化动作 tokenizer 将该意图映射为精确的、与具身形态相关的轨迹。结合具备时间感知的视觉历史压缩、ER mid-training、监督微调和强化学习，这一形式化方法在单一模型中同时支持指令遵循、开放词汇目标导航和视觉跟踪。导航训练语料涵盖 2K+ 个场景和 4K+ 小时的具身导航数据。用于初始化 LightNav-0 的具身推理检查点 LightNav-ER 在 8 个具身推理基准上取得了最高的完整集合平均分，而 LightNav-0 在全部 10 个公开导航模拟设置中实现了最先进的单目成功率。真实世界评估进一步展示了其在不同机器人具身形态、多样场景以及静态和动态目标上的零样本泛化能力。这些结果确立了紧凑 VLM 作为通用具身导航统一且可迁移骨干的地位。
23:23 arXiv cs.AI 73
准确的动作模型对于有效规划至关重要。现有的动作模型学习方法大多假设简单的动作表示，或者在学习条件和量化效果时变得计算上不可行。我们提出在线假设驱动的条件动作模型学习（OHCAM），这是一种从与环境的有限交互中学习具有条件和量化效果的动作模型的在线方法。OHCAM 维护对假设动作模型的信念，并通过最大化竞争假设之间的分歧，主动选择信息量丰富的动作以减少不确定性，同时对噪声观测保持鲁棒。为实现可扩展性，OHCAM 从一小组简单的动作模型假设开始，并且只有当当前假设与数据不一致时，才扩展到更复杂的条件。针对六个基准规划域的实验表明，即使在存在观测噪声的情况下，OHCAM 在学习动作模型方面具有较高的样本效率，所学模型解决的任务数量也显著多于基线方法。我们还在使用 Kinova Gen3 机器人的两个任务上验证了 OHCAM，展示了我们方法在现实世界中的适用性。
17:13 arXiv cs.AI 72
在带噪标签上训练的深度网络，会在干净数据上同时泛化，并记忆翻转标签。这两者通常被混同为对同一容量的压力。我们提出 Topo^2，一个测量框架，使它们在因果上可分离、可测量，并受定律约束。表示空间的 persistent-homology H1 结构可分解为类内流形通道（训练停止点的函数）和跨类通道（对已记忆翻转样本的单调读出）。一种干预，即 FM0 prescription（从第 0 个 epoch 开始对翻转样本零损失），在几乎不记忆任何内容的情况下，达到各自设置的泛化上限。基于该框架，我们建立了一组具有分级证据的定律：（L2）FM0 分离处方（9/9）；（L1）类内通道作为训练位置函数（中期上升 6/6；convergence-back CIFAR 3/3，SVHN 2/3）；（L3）一个环构造恒等式（定义性的，不是定律）；以及 TLS（记忆-泛化拓扑分层）：记忆在因果上是可加的、可锚定的（使干净样本静默会使表征坍缩）、可逆的（剥离记忆可恢复接近上限的泛化），并且可量化计费（记忆成本定律，在参考容量下的有效斜率系数 C ~ 0.38：CIFAR-10 0.3801 / SVHN 0.3806 / CIFAR-100 0.384 / VGG 0.3715；总体上依赖容量，并可追溯到干净样本特征位移）。我们还公布了该框架的边界：一份包含九个失败尝试的证伪清单，以及一个仪器验证部分，排除了六类全局统计量作为类内通道解释。该框架将“记忆”从一个定义不清的容量，转变为一个可测量、可分离、可逆的拓扑层。
17:38 arXiv cs.AI 76
大型语言模型（LLMs）由词元表示、权重、适配更新、缓存和激活值等结构化高维对象构成，而传统以矩阵为中心的视角并未充分利用其多线性结构。张量分解和张量网络为这种结构提供了一种有原则的代数语言，但现有文献常将它们视为彼此孤立的压缩机制。本综述通过两个互补视角组织 LLMs 的张量方法：一个覆盖词元化、嵌入、预训练、适配、压缩、推理和可解释性的七阶段生命周期分类，另一个覆盖嵌入、注意力和前馈网络的组件视角。我们提供统一的记号和理论基础，分析单个 Transformer 组件的张量化策略，并比较各生命周期阶段的方法，同时明确评估协议和模型规模方面的差异。我们进一步将张量方法与相邻的高效技术以及概率张量网络联系起来。最后，我们综合开放挑战并引入 $ρ_{\rm gap}$，这是一种用于衡量理论内存降低与实测系统级加速之间压缩-落地差距的指标。通过将张量化视为一种通用的结构原则，本综述为张量化语言模型提供了一个结构化的入口，并阐明了参数节省在何种情况下有望转化为内存效率、计算效率或可解释性。本文专用的 GitHub 页面可通过 \href{https://github.com/ma-tt-a/awesome-tensor-methods-for-llms}{this https URL} 访问。
17:44 arXiv cs.AI 72
对于来源研究和艺术市场研究而言，拍卖目录是追踪特定物品在时间与空间中流转的重要资源。尽管历史拍卖目录遵循既定的领域规范，其内部格式仍然高度多样，而由于缺乏可机器读取的拍品表示，对其进行大规模分析目前仍受到限制。我们提出一个流程，能够从 German Sales 这一涵盖19世纪和20世纪历史拍卖及销售目录的大型数据库中自动提取结构化的拍品级元数据。我们使用一个由人工标注的代表性目录页面测试集，在不同提示策略和受限解码框架下评估 Vision-Language Models (VLMs)。为反映文化遗产机构面临的实际约束，包括预算、算力资源和数据隐私要求，我们在从商业服务商到本地托管的量化模型等不同部署模式下对这些方法进行基准测试。我们发现，商业端点设定了性能上限，而机构网关则提供了一种可行且保护隐私的替代方案。本地部署仍然可行，但必须在生成过程中严格约束输出结构，以保证得到有效的 JSON 格式。尽管不同程度的人工在环修正仍然必要，但这项工作表明，基于 VLM 的流程能够成功地将历史拍卖目录用于大规模自动化分析。
18:30 arXiv cs.AI 77
生成式检索（GR）通过将查询直接映射到具有强表示能力的候选项 Semantic IDs（SIDs），已成为一种很有前景的范式。然而，现有仅基于商品内容生成的 SIDs 会产生语义鸿沟，无法将动态的查询意图与静态的商品表示对齐。此外，当前的生成式范式很少对用户行为序列建模，并且始终受限于 beam-search 自回归解码带来的高推理延迟。为解决这些挑战，我们提出 $\textbf{C}$ross-component $\textbf{H}$ierarchical semantic $\textbf{A}$lignment for $\textbf{P}$ersonalized generative retrieval（$\textbf{CHAP}$），一种从层次化视角出发的新型个性化 GR 框架。首先，我们设计了一个 Hierarchical Semantic Alignment 模块，用于对齐查询的潜在空间与商品的量化路径，并同步多粒度语义。其次，我们构建了一个个性化 GR 框架，通过协同离散 SIDs 进行结构性引导与连续表示进行细粒度语义细化来建模用户行为。值得注意的是，我们引入了 Residual Cascading Generation 机制，将代价高昂的多步 Transformer Decoder 限制为单次前向推理，在提升推理吞吐量的同时缓解信息损失。在三个公开数据集、一个私有工业数据集以及线上 A/B 测试上的大量实验表明，CHAP 优于现有方法，验证了我们方法的有效性和实用价值。代码已公开，地址为 https://github.com/zzzgm/CHAP。
19:41 arXiv cs.AI 77
强化学习（RL），尤其是具有可验证奖励的强化学习（RLVR），近年来已成为提升大型语言模型（LLMs）推理能力的核心范式，并在各类推理任务上展现出显著效果。近期研究表明，高熵 token 在模型训练中起着极其重要的作用，因为仅使用熵最高的 20% token 进行训练就能带来显著的性能提升。然而，这些高熵 token 为何有益，仍未被充分理解。在这项工作中，我们发现，尽管单个答案中的高熵 token 往往与较大的梯度幅值相关，但考虑到答案级奖励信号的差异，熵本身并不能跨不同答案稳定地反映 token 重要性。基于这一观察，我们提出 Gradient Magnitude-based Token Selection（GMTS）方法来量化 token 重要性，该方法利用熵与梯度之间的联系来近似 token 选择中的梯度幅值排序。我们发现，在三个推理领域和不同模型规模上，基于 GMTS 排名前 20% 的 token 进行训练，始终优于基于熵的 token 选择，这表明 GMTS 为 RLVR 训练中 token 贡献提供了更细粒度的估计。
13:59 arXiv cs.AI 78
当前对大型语言模型（LLMs）的评估主要聚焦于事实知识检索，而忽视了在临床指标与诊断之间复杂的非双射映射中进行推理这一根本挑战。现有基准未能评估大型语言模型是否真正具备应对诊断歧义场景所需的推理能力；在这类场景中，相同的临床表现可能对应不同病因；而在诊断收敛场景中，异质症状最终可能指向同一种疾病。为解决这一问题，我们提出 SUP-MIMIC，这是一个利用 MIMIC-IV-v3.1 的多任务框架，包含基础评估（BA）、诊断发散任务（DDT）和诊断收敛任务（DCT）。具体而言，DDT 旨在评估模型在表型相似病例之间进行“one-to-many”消歧的能力，而 DCT 则考察模型识别跨不同病理生理路径的“many-to-one”诊断模式的能力。对当前最先进 LLMs 的全面评估表明，与基线任务相比，它们在 DDT 和 DCT 上的性能显著下降，暴露出系统性地依赖统计捷径而非真正因果推理的问题。我们的研究结果进一步强调了对“健康”预测的保守偏置，这意味着在真实医疗场景中存在不可忽视的漏诊风险。该工作建立了一种用于量化临床推理鲁棒性的严格方法，并为提升语言模型在临床医学中的安全性提供了路线图。
01:35 arXiv cs.AI 79
到 2025-2026 年，神经网络优化已不再能简单地被描述为一系列新的 Adam 变体。设计空间已经从坐标扩展到矩阵和层，从固定训练周期扩展到随时间变化的策略，从数学更新规则扩展到必须在分片和低精度计算中存活的状态表示。本文综述沿着四个在很大程度上相互独立的轴对近期优化器和训练优化方法进行组织：时间估计、更新几何、周期管理，以及表示与系统。它将 Muon 的谱归一化、Shampoo 和 SOAP 的历史矩阵统计、自适应和混合矩阵方法、节省内存的优化器、无调度训练、小批量修正以及量化的优化器状态联系起来。核心经验结论是刻意保持克制的：矩阵感知方法确实代表了一项真正的进步，但不存在一种与具体上下文无关、能够替代 AdamW 的方案。不同方法的排名会随着模型规模、数据与参数比、批大小、训练调度、参数分片、调参预算，以及目标指标是 tokens、FLOPs、墙钟时间还是内存而变化。其实际意义在于，对优化器设计采取一种组合式视角，并对优化器主张采用更严格的评估协议。
23:13 arXiv cs.AI 76
近年来，in-context learning（ICL）text-to-SQL 的最新进展，通过围绕基础生成器构建日益复杂的流水线，显著提升了公共基准上的执行准确率；然而，现有研究通常只报告整体端到端准确率，而没有量化各个设计选择在准确率与成本上的边际贡献。因此，提供一种统一的、范式级的成本-准确率量化方法，仍是理解和配置现代 text-to-SQL 的关键挑战。为解决这一问题，我们在单一受控实现下，围绕 ICL text-to-SQL 流水线中五个反复出现的模块，实例化了 17 种范式级配置，并在涵盖不同能力水平和推理风格的四个骨干模型上，归因每种范式的边际贡献及其产生的成本。我们的分析表明，执行反馈细化是唯一一种其收益在始终较低成本下都具有普遍性的范式，而大多数其他模块仅在依赖骨干模型的条件下才有帮助。Token 统计显示，输入需求与流水线结构的关联更紧密，而输出需求对骨干模型的生成行为更敏感。跨模块分析进一步表明，堆叠在大多数骨干模型上都能提升准确率，不过增益的组合方式会随骨干模型能力而变化。我们还发现，在固定预算下，通常将资源用于在中等水平骨干模型上构建更复杂的流水线，比升级到配备精简流水线的前沿模型更划算。这些发现提炼出一套可操作、兼顾成本的分层指南，可无需逐范式搜索便迁移到另外五个骨干模型。
02:22 Hacker News 熱門 63
文章链接： https://github.com/vllm-project/vllm/releases/tag/v0.28.0 评论链接： https://news.ycombinator.com/item?id=49492067 得分：8 # 评论数：0
21:01 arXiv cs.AI 71
从半包容深度非弹性散射（SIDIS）数据中提取横向动量依赖的部分子分布函数（TMD PDFs）是 Jefferson Lab 以及未来电子-离子对撞机的核子结构研究计划中的核心目标。传统提取方法依赖参数化函数形式和迭代拟合，这会限制所得分布的灵活性，并使不确定性量化变得繁琐。我们提出一种条件扩散模型，学习将原始 SIDIS 事件运动学直接映射到 TMD PDFs，从而绕过显式的函数假设。该模型在 CLAS12 运动学条件下的模拟 SIDIS 数据上进行评估，能够重建底层 TMD，并给出信息丰富的不确定性估计；随着事件统计量增加，这些不确定性会稳步收窄。即使在仅有 1,000 个条件事件的情况下，该模型也能产生可靠估计，这一统计受限的情形与正在进行和计划中的实验直接相关。
01:47 arXiv cs.AI 77
深度神经网络常常利用训练数据中的虚假关联，这种失效被称为捷径学习。基于概念的可解释性方法通过测试诸如患者性别或扫描仪设置等概念能否从网络层中被解码出来，来筛查捷径。由于每个概念都是单独评估的，这些方法可能会把概念之间的相关性误判为模型使用它们的证据。我们提出 ICON decomposition，它不再单独考察各个概念，而是在考虑所有其他概念和结果之后，量化每个概念能够解释某一层方差的多少。在具有已知真实值的合成数据上，ICON 比七种替代基线方法更准确地恢复了概念重要性。在皮肤病灶和脑成像模型上，它能够分离出模型真正依赖的概念，量化任何给定概念都无法解释的表征部分，并产生稀疏解释；我们通过重新训练和分布外测试验证了这些解释。
20:50 arXiv cs.AI 72
脉冲神经网络（SNNs）正越来越多地以预训练 checkpoint 的形式分发，并被复用于新的任务。然而，当前的 SNN 水印主要是针对模型输出进行验证。因此，用户只需替换输出头，就可以保留原始网络的大部分，同时移除用于验证的证据。我们提出 MeMark，这是一种面向 checkpoint 复用场景的水印。MeMark 不将水印存储在输出头中，而是将一个多比特标识嵌入到所选 Leaky Integrate-and-Fire（LIF）神经元的内部膜电位状态中。一个秘密输入会驱动每个被选中的神经元到其自身发放阈值的指定一侧，随后使用同一阈值来恢复秘密比特，因此验证者不需要学习型解码器。我们在循环、卷积、残差和 transformer SNN 上评估了 MeMark。在一个 215.4M 参数的 SpikeGPT checkpoint 上，20 个相互独立的 64 比特密钥全部通过了固定的 51/64 验证规则；而当在全部 20 个受保护 checkpoint 以及干净模型上测试时，$30\,000$ 个新生成的随机密钥没有一个通过。经过微调、90% 剪枝、int8 量化以及输出头替换后，这 20 个真实密钥也都仍然高于阈值。在我们所述的威胁模型下，自适应攻击可以削弱水印，但并不能在我们测试的场景中移除所有权证据。此外，我们还研究了虚假所有权声明、感知密钥与无感知密钥的移除、部分密钥泄露、回滚，以及向学生模型中的提取。结果表明，MeMark 能够为 checkpoint 的衍生关系提供证据，同时对对手的攻击和完整的输出头替换具有鲁棒性。
22:12 arXiv cs.AI 75
大型语言模型在不同语言之间获取知识的表现并不一致，但当它们使用不同语言交互时，其技能集合在多大程度上会存在差异？本研究从与知识和通用基准性能正交的角度，对跨语言技能不一致性进行了量化。我们通过多语言自博弈来实现这一点：同一模型的两个实例在一个基于文本的游戏中对战，每个实例都通过不同的语言接口进行交互。由于模型、对手、规则、状态空间和可用动作都保持固定，这种设置隔离了语言对模型实际行为的影响。我们构建了 TextArena 的多语言扩展，并评估了三个开源权重模型在八种语言和六个游戏中的表现，这些游戏涵盖空间推理、不完全信息、资源分配和重复交互。我们发现，同一个模型在不同语言下的对局实力可能显著不同，在胜负差距、无效动作和策略倾向上都存在系统性变化。详细分析揭示了特定语言下在空间推理、受牌面条件约束的决策以及最优移动选择方面的失败。在某些设置中，仅改变中间推理所使用的语言就能恢复大部分损失的性能，这表明语言会影响决策过程的不同阶段。这些结果表明，技能差异是构建真正多语言模型时一个可测量且重大的障碍。更好地理解这些差异有助于我们设计出在不同语言之间表现更公平的模型。
23:32 arXiv cs.AI 75
博弈论模型为建模车辆交互提供了有原则的框架，但其底层时间假设从未在真实世界驾驶行为中得到系统检验。尤其是，目前仍不清楚如何从车辆轨迹中度量同时、顺序和非对称的交互结构。本文提出了一种基于轨迹的交互测量框架，用于识别交互事件，并量化行为变化的起始、时间组织、起始后的响应动态以及顺序稳定性。该框架使用行为偏离来验证候选交互。我们在六个真实世界轨迹数据集上评估了该框架，包括 INTERACTION、highD、inD、rounD、Waymo Open Motion 和 nuPlan，涵盖了多样的道路几何、交通环境和交互类型。结果表明，同时和顺序的行为变化都在观察到的跟驰、并线和冲突交互中占据了相当大的比例。在顺序交互中，稳定顺序比交替顺序更常见，表明持续的非对称角色是一种常见的交互结构。重要的是，时间上的先后顺序并不一定与可测量的行为响应相一致，这说明仅靠时间排序可能不足以刻画行为依赖性。这些发现表明，真实世界交互表现出同时、顺序以及持续有序的时间结构。因此，不同的博弈论表述应更适合被视为针对不同交互状态的互补建模抽象，而非支配所有车辆交互的通用结构。
01:58 arXiv cs.AI 75
道路交通伤害仍然是低收入和中等收入国家面临的一项重大挑战，在这些国家，主动式道路安全审计受到事故记录不完整、合格审计员短缺以及大规模实地检查成本高昂的限制。为解决这一问题，我们提出 Expert-Grounded Distillation（EGD），这是一种新型人工智能框架，可将机构性道路安全专业知识迁移到紧凑型视觉-语言模型中，以实现可扩展的视觉道路安全审计。其关键创新在于量化的专家扎根阶段，在该阶段中，教师视觉-语言模型会依据权威实地审计结果进行校准。只有当教师模型与专家风险评估达到实质性一致（Cohen's kappa = 0.74）后，才允许进行大规模标注。随后，经校准的教师模型生成结构化监督信号，并使用 Low-Rank Adaptation 和单个无泄漏提示将其蒸馏到一个 80 亿参数的学生视觉-语言模型中。我们还推出 Bangladesh Road Safety Audit（BD-ARSA），这是首个开放的、专家扎根的孟加拉国视觉道路安全审计数据集，包含 21,947 条图像-审计记录，覆盖范围接近全国；以及 Expert-Grounded Road Safety Auditor（EG-ARSA），这是首个专门为该任务开发的视觉-语言模型。实验结果表明，与零样本基线相比，扎根微调显著改善了有序风险评估；而盲法专家评估显示，紧凑型学生模型的表现优于其 310 亿参数的教师模型和 Gemini-2.5-Flash。这些发现表明，EGD 为资源受限环境中的主动式道路安全审计提供了一种有效且可扩展的工程解决方案。
23:41 arXiv cs.AI 72
从观测数据推断因果关系的实践者通常依赖单一方法，并将其输出视为因果真相。近期工具会为数据集选择一种最优方法，近期的集成方法会将多个因果发现算法聚合为一张图，但很少有工作会跨不同数学传统汇集证据，包括非因果方法。我们提出多方法因果证据综合（MCES），这是一个框架，用于对观测系统中哪些候选驱动因素最可能与一组结果相关以及证据强度如何进行排序。MCES 在观测面板数据上运行横跨八种数学传统的十一种方法，并将其输出汇集为收敛证据得分（CES），即一种线性意见池。CES 量化了不同分析视角下证据的收敛程度：具有不同假设的方法在多大程度上指向同一驱动因素—结果关系。它并不声称在干预主义意义上实现因果识别；它支持的是假设优先级排序，而不是可迁移的因果概率。MCES 首先应用结构—行为分解来移除定义性（代数）关系，然后运行所有方法，将输出归一化到 [0,1]，并进行汇集。我们将 MCES 与方法选择、结构集成、预测集成和文献综合区分开来。使用嵌入真实值的合成数据、Sachs 蛋白信号传导基准、六个 Bayesian-network 结构基准以及另外两个合成领域，我们表明 MCES 会将真实边排在靠前位置（主要场景中 Precision@5 = 1.0，Precision@10 = 0.96），且空关系对达到中等或更高收敛程度的经验比例较低。我们的核心观点并不是该汇集方法胜过每一种单独方法，而是没有任何单一方法在所评估的所有场景中都始终最佳，因此 MCES 提供了一种与方法无关的默认选择。
01:51 arXiv cs.AI 77
代表用户进行对话的自主 LLM 代理正在成为匹配平台中的一种新兴设计模式，但其可行性取决于一个很少被考察的条件：用户不仅必须接受将对话委托给代理，还必须接受来自他人的、由代理中介的沟通。我们通过对某大型约会平台活跃用户开展的两项大规模调查来研究这一条件（关于生成式个人资料功能的调查 N=2,894；关于自主对话代理的调查 N=2,617，以两种语言进行）。我们基于带有潜在回归的分级反应模型，构建了代理接受度的潜变量测量模型，并通过模型比较表明，发送代理沟通的意愿与接收代理沟通的意愿是不同的构念：二者高度相关（rho=0.92），但可以区分（Delta BIC=52），且在不同语言之间具有部分测量不变性。该模型量化了一种系统性的委托不对称：部署自己的代理所需的接受度远低于与对方的代理互动（阈值 -0.38 对 +0.32；完全互动 +1.39），且平均部署倾向约为互动倾向的三倍。基于陈述接受度推导出的随机配对反事实显示，只有 4-13% 的有向二元关系同时包含代理部署与接收方互动，并且存在明显的性别方向不平衡。设计反事实量化了可用杠杆：互惠要求通过排除近三分之二的潜在部署，将互动量减少一半或更多；而根据接收接受度来路由代理联系，则使每次联系的互动率提高三倍，这一提升在将目标项留出后的样本外验证中仍然成立（AUC 0.88，在受访者层面的交叉验证下四分位提升 3.1x）。我们讨论了其对代理式推荐设计的影响，包括披露、选择加入机制以及感知接受度的匹配。
01:55 arXiv cs.AI 72
基于记忆的自我改进智能体——这类智能体从在线任务流中学习，并通过维护一个文本记忆库随时间不断改进——在近期文献中展现出巨大潜力。然而，这些方法的可靠性方面却被严重忽视。在本研究中，我们对两种基于记忆的方法进行了全面的重新评估，并沿两个维度拓展了评估范围：(1) 纳入多次运行以量化方差，(2) 随机打乱任务以研究任务顺序的影响。通过这些实验，我们提出了两个观察结果，揭示了当前方法的脆弱性：首先，在复杂环境和多步任务中，智能体评估本身具有噪声，而在其上叠加自我改进循环会进一步放大这种噪声。其次，智能体的改进高度依赖于任务顺序。以往工作通常采用默认排序，这些排序施加了一种隐式课程，成为成功的隐藏前提。 为了更好地理解这种脆弱性，我们手动检查了智能体的记忆，并假设任务和环境的欠规范化会导致这种脆弱性。我们通过在记忆构建过程中纳入能够实现更好规范化的信息（如详细评分标准和环境反馈）来验证这一假设。尽管这些新增信息部分弥合了先前实验中的性能下降，但仍然存在显著差距，这表明还有其他尚未表征的因素导致了这种脆弱性。展望未来，我们的工作主张为自我改进智能体采用更严格的评估协议，即报告多次运行的结果，并在具有挑战性的条件下对其进行压力测试。此外，我们关于欠规范化的发现呼吁建立能够实现有效人工监督的系统和接口，防止智能体以不可预见的方式失败。
00:15 arXiv cs.AI 75
尽管用于多参考图像生成的统一多模态模型近期取得了进展，现有基准仍围绕预定义任务类型（例如“主体组合”）组织，这并不适合这种组合式场景，并会导致覆盖碎片化、复杂度不可控且诊断价值有限。我们认识到多样化的多参考任务共享一组通用的原子操作，因此采用面向能力的视角，并形式化定义了四个算子：锚定（$f$）、解耦（$g$）、应用（$\oplus$）和组合（$C$）。这样，任何多参考提示都可以表示为这些算子上的组合公式，其结构复杂度由算子槽位数量量化。基于这一形式化方法，我们构建了 TRACE-Bench，包含约 1,600 个评测案例，槽位数覆盖 1--8，由 631 个公式模板和约 4,000 张参考图像构成，涵盖多样的艺术风格和真实世界主体。公式结构直接驱动一种与算子对齐的评测协议，用于按能力评分，并支持通过诊断树分析进行递归式故障定位。对 9 个领先模型的评测揭示了整体评分无法呈现的洞见：主要瓶颈在于解耦（$g$）和属性绑定（$\oplus$），而非场景级组合（$C$）；即便最佳模型在属性保真度上也仅得 0.74。项目页面：https://amuseum-whr.github.io/TraceBench
01:01 arXiv cs.AI 72
大型视觉-语言模型可以识别拥挤场景中的对象和属性，却可能将某个属性分配给错误的同类实例。通用视觉问答准确率会将回答标记为错误，而对象幻觉指标可能认为对象和属性都受到图像支持；二者都无法揭示这种转移。本研究将这一盲点形式化为密集同类属性误绑定（DSCAM），并提出 InstaBind-Lite，这是一个受控基准，可对其进行直接测量。该基准的 524 张图像包含 529 组经过策划的 3-6 个同类实体、1773 个带框实例、有序邻近实例、可区分的类颜色属性，以及四个互补的问题层级，共产生 9580 个可确定性评估的问题。不同于现有协议，源实例标注将不受支持的生成和识别失败与从另一个可见实体复制属性区分开来。绑定特定指标进一步量化转移频率、邻接性、序数距离和干预效果。在五个开源模型和两个商业/API 模型上，开源系统的平均误绑定率为 19.84%，API 系统为 7.55%；这些错误被总体准确率所掩盖。在可识别的转移中，分别有 80.70% 和 81.51% 来自相邻实例。定位和实例优先干预对部分模型有帮助，但并非通用补救办法。因此，InstaBind-Lite 将此前未加区分的错误答案转化为可识别来源的失败类别，并测试了传统基准无法确定的一个可靠性维度：模型是否不仅知道什么是可见的，还知道每个属性属于哪个实例。
19:52 arXiv cs.AI 81
在资源受限的边缘设备上运行大型 AI 模型需要进行模型压缩，以降低模型大小和计算量。然而，压缩效果好并不一定意味着部署效果好。我们调研了数十项近期工作，这些工作报告了真实硬件上的压缩结果，并从中提炼出实用的部署指南。遵循这些指南，我们在 GPU、CPU 和 Raspberry Pi 平台上部署了紧凑型语言模型和图像模型，涵盖问答和图像分割任务。没有任何单一技术能在所有任务中胜出。对于问答任务，Qwen3.5 0.8B 在 Q5_K_M GGUF 量化下达到 93.85 SQuAD F1 和 92 EM，而在相同精度下，1% 比例的结构化剪枝会损失 16 F1。对于分割任务，排名则相反：默认量化不会改变参数量和 MACs，而剪枝在 mIoU 近乎不变的情况下将模型大小减少近 80%。剪枝甚至可能通过破坏 k-quant 超块对齐，使部署产物膨胀 21-49%；再加上输出更长且更不符合格式规范，这会使 Raspberry Pi 延迟最高增加到 3.4 倍。压缩还可能制造出能力表象，而不是明显地破坏能力：一个经 LoRA 恢复的变体仍然完全可解析，并在严格 BoolQ 准确率上保持 71%，但其 100 个预测中有 97 个被发送到单一类别，平衡准确率为 52.6%。我们通过神经流图分析和预填充-解码级延迟分解来解释这些现象，并将其凝练为面向具体任务的部署研究方向。合适的技术取决于任务、模型和硬件。我们的实验代码和产物已在 https://github.com/Arnavvvkumar/deployment 开源。
01:56 Hacker News 熱門 71
文章 URL： https://github.com/ggml-org/llama.cpp/releases/tag/v0.1.0 评论 URL： https://news.ycombinator.com/item?id=49335017 积分：10 评论数：2
21:35 Hacker News 熱門 61
Hi HN. I built 1667 for my own fiction work and now use it each day. This probably has a limited audience. Maybe an audience of one... Why a terminal interface for story writing? I'm a dev. I like to use terminals for a lot of stuff. Most WebUIs feel off to me. That's the only reason. One thing that bothers me about writing in existing tools is that they don't fit the way I write. The mental model of my story is a tree. I try many takes usually continue with just one, but sometimes I want to try an alternate route and see where this goes. And that can branch again in many places. See what happens if I kill off this character or they don't take the job or whatever. 1667 is a full-screen terminal app for long-form fiction. Each story part can have several takes. All takes stay in a tree. You select one path through that tree as the story line. Export writes that line to Markdown in the project folder. Some technical details: - A project stores its stories and settings in a `.1667/` directory. Exported Markdown sits beside it. - Provider secrets stay in private machine files. Requests go to the provider that the writer selects. - An optional Vault Password seals project files at rest. - An operating-system lock permits one writer process for each project. - The request viewer shows the next provider request without its credential. - Each generated take keeps a Generation Record with its model and effective settings. Version 0.9.5 runs on macOS, Linux, and Windows x64. The website has Shell and PowerShell installers. An npm package is also available. 1667 imports Markdown, SillyTavern chats and cards, and NovelAI archives. It can use OpenAI-compatible, Anthropic, and local endpoints such as Ollama, LM Studio, llama.cpp, and KoboldCpp. Current limits: the release is pre-1.0. The interface is a terminal. There is no account or cloud sync, and I don't plan to add any. No tracking. Comments URL: https://news.ycombinator.com/item?id=49330604 Points: 12 # Comments: 12
08:00 OpenAI Blog 67
Parameter Golf 汇集了 1,000 多名参与者和 2,000 多份提交作品，在严格约束下探索 AI 辅助的机器学习研究、编码智能体、量化以及新型模型设计。