12:46 arXiv cs.AI 77
近期的多模态大语言模型（MLLM）在视频问答方面取得了出色的效果，但往往无法恢复使视频保持连贯的时间结构。它们可能会合并相邻事件、遗漏单个事件的进展过程，或推断出跨事件的不合理关系。我们将结构化时间理解定义为从视觉证据中恢复事件结构的能力，包括事件边界、单事件进展和多事件关系。我们认为，这一缺口源于当前后训练目标与时间推理之间的不匹配：基于描述的监督使模型能够依赖语言捷径，而不是对视觉时间信息进行定位。为此，我们提出 EventLens，一种以视觉为中心、通过事件结构恢复来学习视频理解的强化学习框架。EventLens 不重建描述文本，而是在受控扰动下训练模型恢复时间结构，例如改变时间粒度、反转进展过程以及打乱事件顺序。我们基于三级时间本体构建了这一框架，并推导出三类可验证任务：事件分割、进展辨别和多事件关系推理。这些任务支持确定性奖励，因此无需人工偏好标签或学习式奖励模型，即可进行任务专门化的 GRPO 训练。我们进一步引入多教师在线策略蒸馏（MT-OPD），将专门化策略整合到统一模型中。在 Qwen3-VL 主干模型上的实验表明，EventLens 在时间定位和事件敏感推理基准上均取得了稳定提升，同时保持了通用视频问答性能。学习曲线进一步表明，与直接进行混合强化学习优化相比，EventLens 在显著降低训练成本的同时，实现了相当的下游迁移效果。
01:33 arXiv cs.AI 74
将推理与工具调用交织进行的视觉智能体，为多模态任务提供了一个颇具前景的方向。然而，有效工具调用的学习通常依赖大规模精心整理的问答对或专家示范，而获取这些数据的成本高昂。在本研究中，我们提出 Marvo，这是一种简单而有效的自我演化方法，能够从未标注图像中学习工具调用。Marvo 由两个智能体组成：（1）挑战者，从未标注图像中生成问答对；（2）求解器，通过强化学习解答问题，从而学习工具调用。为了促进有效的工具调用，优质的训练问题应当足够困难，能够促使求解器使用工具，同时又应处于求解器的能力范围内。为此，我们向挑战者引入边际奖励，其定义为求解器在有无工具访问权限时的性能差异。借助边际奖励，我们构建了一种自适应课程学习机制，鼓励求解器学习有效的工具调用。在涵盖智能体推理、视觉搜索、数学推理和通用现实世界推理的各项基准测试中，Marvo 将平均准确率最高提升了 7.1\%，证明了边际奖励是无需人工监督、扩展问题复杂度的更优方式。
12:00 arXiv cs.LG 78
arXiv:2609.16464v2 公告类型：replace-cross 摘要：孤独症谱系障碍（ASD）的临床管理在早期筛查方面面临瓶颈，主要原因是受过培训的专科人员稀缺，且传统评估工具具有主观性。在此，我们提出 ASDchat，这是一种专为循证 ASD 筛查设计的多模态大语言模型，以视频、音频和对话作为输入。ASDchat 采用双分支架构，其中决策分支生成筛查概率，证据分支生成可追溯、带时间戳且与孤独症诊断观察量表（ADOS-2）相对应的行为证据。该模型在来自中国 27 个研究中心、包含 1,035 名参与者的数据集上进行了训练和评估，参与者涵盖典型发育（TD）儿童、ASD 儿童及患有其他发育障碍的儿童。在区分 ASD 与 TD 时，ASDchat 的受试者工作特征曲线下面积（AUC）达到 0.953 $\pm$ 0.021。在未用于训练的 6 个留出研究中心上，平均 AUC 为 0.961。此外，对行为维度进行无监督聚类，将 ASD 病例划分为六种具有不同表型特征的亚型，ASDchat 为每种亚型提出相应的干预建议。ASDchat 为临床实践中开展大规模循证 ASD 筛查提供了一条可行路径。
12:00 arXiv cs.LG 75
arXiv:2607.21552v2 公告类型：replace-cross 摘要：对于同一个底层问题，采用文本形式还是视觉形式呈现，可能导致视觉语言模型（VLMs）的表现截然不同。这种不一致性表明，不同视角会显露出不同的推理路径和失效模式，而标准的多模态后训练尚未充分利用这些差异。为研究并利用这一现象，我们构建了 ODA-Data，这是一个高质量的配对多模态几何数据集，针对相同问题提供文本主导、图像主导以及图像+文本组合视角，并划分了用于训练和评估视角依赖推理行为的子集。随后，我们提出 Modality-Informed Reciprocal Reasoning Optimization（MIRROR），这是一种强化学习方法，可从模型自身依赖于模态的能力中提取跨视角自蒸馏信号。对于每个问题，MIRROR 会评估模型在所有视角下的表现，选择表现最佳的视角作为教师，并使用 GRPO 任务奖励目标来训练其余视角，同时引入以该教师为目标的反向 KL 正则项。在评估多模态数学问题的各项推理基准上，MIRROR 优于标准强化学习，并使模型在不同输入模态表示下的表现更加准确、一致。
12:00 arXiv cs.LG 72
arXiv:2506.02955v3 公告类型：替换并交叉列出 摘要：生成模型已成为机器人运动生成领域日益强大的工具，能够在各种任务中灵活生成多模态轨迹。然而，大多数现有方法在处理多种类型的约束时仍存在局限，例如避碰、驱动限制和动力学一致性；这些约束通常被单独处理，或通过启发式方法处理。在本研究中，我们提出 UniConFlow，这是一种基于统一约束流匹配的轨迹生成框架，可系统地纳入等式和不等式约束。此外，UniConFlow 引入了一种新颖的预设时间归零函数，在推理过程中塑造时变引导场，使生成过程能够适应不同的系统模型和任务要求。为进一步应对长时域、高维轨迹生成带来的计算挑战，我们还针对终端约束施加和推理过程提出了两种实用策略：一种违规片段提取方案，可精确定位并仅优化轨迹中违反约束的部分；以及一种轨迹压缩方法，可在降维空间中加速优化，同时保持解码后重建的高保真度。我们在双倒立摆、从现实到仿真的赛车任务以及从仿真到现实的操作任务这三项实验中进行了实证验证，结果表明，UniConFlow 优于最先进的生成式规划器和传统优化基线，在安全性、运动学与动力学一致性以及动作可行性等可认证运动规划指标上取得了更优的表现。项目页面：https://uniconflow.github.io。
12:00 arXiv cs.LG 78
arXiv:2610.13527v1 公告类型：cross 摘要：多模态语言模型（MLLMs）展现出令人期待的空间推理能力，但支撑这些能力的内部机制仍缺乏充分理解。我们发现了 S-Space，这是一个线性表示子空间，其中对象标记表示沿水平、垂直和距离轴编码连续坐标。尽管我们通过对对象标记激活相对于空间答案得分进行微分来识别这些轴，S-Space 是内在的，而非由特定数据或提示诱导产生的；即使面对非空间问题，它仍然具有可读性。我们表明，S-Space 充当了 MLLMs 的内部空间工作区。感知模块将对象位置编码其中，形成可直接读取并用于支持准确空间判断的空间表示。内部推理会对其进行变换，以应对视角变化。言语回答会选择性地访问该空间，这一点得到因果干预的证实：因果干预能够改变空间判断，同时基本保持非空间回答不变。案例研究进一步表明，S-Space 能够为未见过的实体和观察者分配位置，并将物理方向与抽象语言含义联系起来，这揭示了大规模语言训练的能力与局限。最后，我们将 S-Space 用作诊断空间推理失败的工具。方向词的读取结果揭示了基于基本方位的参照系与基于图像相对位置的参照系之间存在系统性耦合。更重要的是，感知—计算分解揭示了一个关键瓶颈：MLLMs 能够形成有能力的空间表示，却无法完成跨视角变化进行可靠推理所需的空间变换。
12:00 arXiv cs.LG 78
arXiv:2610.13730v1 公告类型：新投稿 摘要：起讫点（OD）流量预测通过预测城市范围内人员流动的规模和模式，为城市出行决策提供支持。现有大多数公开 OD 基准仅提供全市出行的局部视图，涵盖单一交通服务或至多两种出行方式。在出行方式覆盖不完整的情况下，很难区分观测到的需求变化究竟源于交通方式之间的转移，还是出行总量的变化。我们提出 SeoulMMOD，这是一个面向首尔全市多模态出行的大规模公开基准。SeoulMMOD 提供了覆盖三年的逐小时 OD 流量数据，用于估计 25 个区和 426 个下辖行政区域内 6 种城市出行方式的总出行量，并配有出行时间、出行距离、日历、降雨量和兴趣点（POI）信号。利用 SeoulMMOD，我们在统一协议下评测了 14 个预测基线，并分析了空间尺度变化、联合训练与按出行方式分别训练，以及跨年泛化的影响。结果表明，若干在区级尺度上有效的时空模型无法扩展到下辖行政区域级别的 OD 预测，而简单的多出行方式联合训练也不能稳定地提高准确性。该数据集与基准共同构建了一个可复现的测试平台，用于城市尺度下多出行方式、跨多年的 OD 预测。
12:00 arXiv cs.LG 75
arXiv:2610.13215v1 公告类型：新投稿 摘要：在多模态持续指令微调中，学习新任务可能导致对先前所获知识的灾难性遗忘。尽管多专家 LoRA 将学习分散到多个专家中，但对稠密低秩专家的更新仍可能影响许多输出特征。我们提出 Monarch-MoE，将 LoRA 专家中的稠密因子替换为通过固定置换连接的块对角因子。这种结构提供了分块梯度隔离：对单个块对的更新仅影响一个输出块，同时保持所有输入块与输出块之间的连接。为了使这些紧凑的专家能够在显存受限的硬件上切实使用，我们结合了批量计算、融合前向算子和优化的反向传播过程。我们使用 LLaVA-1.5-7B，在 MLLM-DCL 和 UCIT 上评估了三种持续学习方法；Monarch-MoE 提高了首个任务的知识保留能力，同时将适配器参数量分别减少约 75% 和 50%。在主要对比中，MLLM-DCL 上首个任务的遗忘幅度低至 0.52 个百分点，UCIT 上则低至 0.10 个百分点，而最终性能上的权衡因方法而异。我们的实现支持在单张 24 GB RTX 4090 上进行微调和推理，在所评估的设置下，实测显存占用更低，运行时间也具有竞争力。这些算法和系统层面的改进共同使结构化专家成为在显存受限硬件上进行持续适应的实用选择。
12:00 arXiv cs.LG 71
arXiv:2610.12848v1 公告类型：新投稿 摘要：在最大熵强化学习和行为约束强化学习（RL）中，最优策略由 Boltzmann 分布给出。从该分布中生成样本可能颇具挑战性，因为它通常复杂且具有多模态特征。尽管通过流匹配训练的流策略为表示此类分布提供了强大的框架，但传统上它们依赖训练数据，而在线 RL 中通常无法获得这些数据。为解决这一局限，我们提出不动点流匹配（FFM），一种用于在 RL 中训练和微调流策略的无数据方法。FFM 利用目标流恒等式，将演员更新表述为不动点迭代，并采用流匹配式回归目标，其中评论家对动作的梯度作为回归目标值。我们证明，最优策略是该迭代的一个不动点。通过广泛的实验，我们表明，FFM 能够在离线到在线的设置下有效微调预训练流策略，并能在在线 RL 中从零开始高效、准确地训练流策略。这些结果确立了不动点流匹配作为一种具有理论依据的方法的地位，使其无需训练数据即可学习表达能力强的基于流的策略。
01:59 arXiv cs.AI 73
语言模型越来越多地被用于辅助或自动执行信息检索，从规模过大、难以建立索引的文档集合中查找信息。当这项任务需要专业的语言学或科学知识时，就会变得困难。我们使用 Wikipedia Game，在一项类似的信息检索任务中测试语言模型。在该游戏中，玩家必须仅通过文章链接到达目标文章。我们在五种语言的 Wikipedia 和五个学术文献数据集上，对句子嵌入模型和大语言模型（LLM）进行了比较。我们构建了超大规模的 Wikipedia 页面本地图结构，并利用 OpenAlex 构建了论文引用本地图结构，同时提供了构建和导航这些图结构的代码。这使得研究者无需依赖第三方 API，即可研究语言模型的导航能力。我们将这些模型与人类和 TF-IDF 基准进行了比较。Wikipedia Game 的形式支持跨技术、语言和领域的稳健比较。没有任何模型显著优于人类，但表现最好的模型（GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B）取得了与人类相当的成功率。模型的表现和排名随语言和主题而变化，这对采用这些技术的实践者具有参考意义。
20:02 arXiv cs.AI 80
多模态大语言模型可能无法读出嵌入图像粗粒度结构中的文字（人类眯眼即可辨认出的文字），并报告图像中不存在文字。我们将这类文字命名为 Squint Text，并受生产环境内容审核流程中的案例启发，将其作为一种识别缺陷加以研究。我们提出了 SquintBench，其中包含 1076 张源自生产环境的内容审核图像，以及用于机制诊断的受控合成测试集 SquintCtrl。冻结权重的分析表明，隐藏文字保留了粗粒度信号，但字形身份的表征较弱；当提供正确的空间区域时，字形身份变得明显更容易获取，这表明空间选择是一个主要瓶颈。在固定视觉词元预算下，抑制高频内容也能改善文字识别，而视觉词元数量也可能产生影响。这些发现促成了 Squint OPSD：冻结的教师模型接收缩小后的图像视图和作为特权上下文的真实转录文本，并通过其词元级概率分布，沿学生模型自身策略生成的轨迹对其进行监督。推理时，学生模型仅识别原始图像。Squint OPSD 在 SquintBench 上的 ANLS 达到 88.61，而未经适配的骨干模型得分为 26.50，最佳通用模型在原始视图上的得分为 24.44，现成模型在缩小视图下的最高得分为 68.60。这些结果在推理时无需辅助视图，便显著缩小了可用视觉证据与模型生成的识读结果之间的差距。
20:35 arXiv cs.AI 77
临床预后预测需要整合结构化测量数据、生理波形、纵向病史和人群背景信息。我们提出 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis），这是一种多模态语言模型，结合了逐特征数值词元化、按时间近远加权的纵向心电图聚合，以及双模态人群记忆库。检索在表征空间中进行：模型接收训练队列中相似就诊记录的均值池化嵌入，而不会将任何单条检索记录输入提示。在包含 1,443 项任务的 MDS-ED 基准上，PRISM 在诊断、病情恶化、入住重症监护病房和死亡预测任务中的 AUROC 分别达到 86.2%、93.1%、91.8% 和 92.8%。这些结果使用了已报告基线未能获取的到院前 96 小时时间窗数据。仅使用基准时间窗内的输入时，PRISM 的 AUROC 达到 0.8895，而 UniPACT 和 MDS-ED 分别为 0.8937 和 0.8889。在输入匹配的条件下，使用相同五类证据流和冻结编码器的紧凑型融合模型达到 0.7652 的 AUROC，而 PRISM 为 0.9092。将数值型电子健康记录编码替换为文本序列化后，AUROC 下降 3.66 个百分点；移除到院前病史后下降 1.97 个百分点；将检索结果置零后下降 0.99 个百分点。真实检索的宏平均表现比随机近邻检索高 0.97 个百分点，但任务层面的配对符号检验未能确立一致优势（p=0.067）。在外部 MC-MED 队列上，经过有监督微调后的 AUROC 达到 0.8611，而在本地训练的梯度提升模型和仅在源数据上训练的 PRISM 分别为 0.8227 和 0.7841。这些结果支持结构感知的多模态整合与有监督的外部适配。
08:00 OpenAI Blog 57
Fine-Tuning GPT-4o Webinar
08:00 OpenAI Blog 65
了解 ChatGPT 中的视觉和语音功能如何帮助团队处理多模态输入并进行更自然的交流。
08:00 OpenAI Blog 62
Explore how GPT-4o makes writing and collaboration more natural, helping teams draft, refine, and adjust tone faster.
12:00 arXiv cs.LG 79
arXiv:2508.12466v3 公告类型：替换交叉版本 摘要：连接预训练视觉模型和语言模型通常需要将图像特征投影到语言模型的输入空间中。Inverse-LLaVA 在解码器注意力中反转了这一映射：将语言状态投影到视觉特征维度，并通过模态特定映射生成查询、键和值的残差更新。融合模块与低秩适配（LoRA）利用 665K 条视觉指令进行联合学习，骨干网络保持冻结，且无需单独的对齐阶段。在九项主要基准评测中，最终的 7B 模型在多项任务上接近两阶段 LLaVA-1.5。在 VQAv2 上，其得分为 78.45%，而官方 LLaVA-LoRA 为 79.13%；在 VizWiz 上则为 50.96%，高于后者的 48.56%；TextVQA 得分较低，为 56.96%，而后者为 58.47%。受控实验考察了融合组件、插入深度、视觉特征和语言模型规模。表示分析表明，文本映射保留了成对相似度排序中的大部分信息，同时改变了其几何分布范围。额外的配对监督提升了名人识别能力，而指令重放修复了由字幕引起的答案格式错误。分析性计算成本表达式和固定工作量配置文件将额外的融合计算与省略的对齐阶段区分开来。这些发现表明，文本到视觉的注意力融合是仅使用指令进行多模态适配的一种实用替代方案。
12:00 arXiv cs.LG 80
arXiv:2609.08663v2 公告类型：替换 摘要：通用多模态嵌入（UME）对编码器处理更广泛任务和模态的能力提出了日益增长的需求，同时任务和模态的复杂性也在不断提升。以往的扩展方法要么增加表示规模，要么增加检索开销，要么将编码器扩展为庞大的多模态 LLM。近期工作（如 Think-Then-Embed（TTE））探索了通过推理 token 进行扩展。然而，嵌入模型难以扩展：直接增加参数量会与对比学习所需的大训练批次大小形成权衡，而检索服务则必须满足严格的延迟要求。此外，UME 任务的复杂程度各不相同，扩展嵌入器可能带来大量冗余计算。在本文中，我们提出 MOEMB，通过混合专家（MoE）沿专家轴扩展 UME，在保持单向量、非自回归编码的同时提升编码器容量。通过系统研究基于 MoE 的 UME 设计空间和训练方案，MoEMB 在使用公开 MMEB 系列数据训练的模型中，于 MMEB-V2 和 MRMR 上均取得了新的最佳性能：仅使用 3B 激活参数，MoEMB 就超越了激活参数量超过其 4 倍的基于 TTE 的方法，同时显著减少了计算量。为进一步提升可扩展性和效率，我们首次全面研究了基于 MoE 的嵌入的自适应计算，涵盖训练方法和仅推理方法中的多种策略。综合来看，这些结果表明，专家扩展是 UME 的一种高效有效方向；自适应计算还能进一步提升基于 MLLM 的嵌入模型的效率，使其更适用于大规模检索和推荐系统。
12:00 arXiv cs.LG 82
arXiv:2610.12417v1 公告类型：cross 摘要：多模态大语言模型（MLLMs）在空间、具身、物理和时间推理方面表现不佳。我们假设，这些失败反映出一种共同的视觉状态转移推理能力缺陷，并检验该能力能否作为一种共享训练原语：不同模型可以从不同监督来源中学习这一能力，并将其复用于不同任务，同时采用系统化的训练方案。现有基准分别记录了这些缺陷，但不支持跨场景、动作和推理操作的受控比较。因此，我们提出WOVEN——一个用于视觉状态转移推理的训练数据源和基准。WOVEN按照场景、动作和推理类型组织转移监督，使用由视频预训练生成模型产生的多样且逼真的演化过程数据：涵盖20种场景类型、5种动作类型和8种推理类型，共36,076个样例。我们首先评估了38个前沿MLLMs（例如GPT-5.4和Qwen3-VL-235B-A22B），发现了显著且系统性的能力缺陷：即使是最强的模型，表现也远低于人类；这些失败在不同模型系列中反复出现，并且随着模型规模扩大仍然存在。随后，我们在多个规模上使用WOVEN训练MLLMs，发现它们学会了一种能够广泛迁移的共享能力：仅分别使用约2,000条样本训练的子集，就能使26个外部基准中的22个得到提升，最高提升27.3个百分点；此外，在保持相当准确率的情况下，WOVEN数据可以替代某项任务自身训练数据的30%至50%。进一步的受控比较得出了一套视觉世界建模训练方案，并在预留基准上进行了前瞻性验证：应根据监督所教授的推理操作来选择监督数据，而不是根据其呈现的动作、场景或领域来选择；同时，为增强鲁棒性，应优先选择视觉状态变化更大的数据。我们的工作确立了视觉状态转移推理作为一种可复用的基础能力，用于在MLLMs中开展系统性的视觉世界模型训练。
12:00 arXiv cs.LG 73
arXiv:2610.12393v1 公告类型：cross 摘要：自监督多模态表征学习已在各个领域取得显著成功，但由于跨模态交互的复杂性，捕获协同信息仍然具有挑战性。不同于各个模态之间分别存在的共享信息，协同信息产生于这样的情形：只有在多个模态的联合配置下，任务相关信号才会出现，而从任何单一模态中都无法恢复这些信号。本文聚焦于如何在多模态表征中保留这类协同信号的信息容量。关键观察是，协同信息体现在模态之间的高阶统计依赖中，这为显式建模联合交互提供了一个具有理论依据的目标。基于这一认识，我们提出高阶表征与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用 Tucker 分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕获协同信息的高阶耦合容量。在受控协同任务和真实世界基准上的实验表明，相较于现有多模态对比学习方法，HRIL consistently improved，并在以协同交互为主导的任务上取得了显著提升。代码发布于 https://github.com/brightest66/HRIL。
12:00 arXiv cs.LG 75
arXiv:2610.12081v1 发布类型：cross 摘要：延续 Perception Test 挑战系列，我们在瑞典 Malm\"o 举办的 2026 年欧洲计算机视觉会议（European Conference on Computer Vision，ECCV）上以研讨会形式组织了第四届挑战赛。本届赛事聚焦空间智能，设有四个不同赛道：源自 Perception Test 基准的统一多选题视频问答和基于视频的定位问答，以及基于城市规模步行导览视频的两个新赛道（KilometerAudio 和 KilometerVision）。本文介绍了城市规模赛道所采用的新基准，并总结了所有赛道的获胜方案，其中包括一个在所有赛道中参赛且表现令人满意的通用模型。新增城市规模赛道的获胜方案表明，复杂的空间推理和多模态推理可以通过高成本的智能体流水线来解决，但对于单独使用的多模态模型而言，这仍然很困难。
12:00 arXiv cs.LG 76
arXiv:2610.11310v1 发布类型：cross 摘要：尽管在动态第一视角环境中进行3D空间推理对于具身智能至关重要，但音频视觉大型语言模型（AV-LLMs）缺乏直接从原始感知流中处理并内化全局几何结构的明确机制。现有方法要么需要高成本的微调，要么未能充分利用模型的跨模态推理能力。本文提出FloorSAV，一种通过渲染动态2D平面地图来显式建立空间音频视觉上下文的全新框架。我们融合3D点云、相机轨迹、空间音频线索以及经过语义定位的物体地标，将该平面地图作为与第一视角视频同步的流注入AV-LLM。借助平面地图解读引导，AV-LLMs利用其多模态能力，在单次推理中联合分析视觉、听觉和几何线索。我们进一步引入SAVED-Bench（Spatial Audio-Visual Egocentric Benchmark with Dynamic Agents），构建真实世界场景中空间能力的关键任务：动态相对关系、区域和路径推理问答。FloorSAV在SAVED-Bench和SAVVY-Bench的多项任务中提升了AV-LLMs的空间推理能力。基于真实值平面地图的研究表明，凭借准确的空间信息，FloorSAV具有巨大潜力。
12:00 arXiv cs.LG 74
arXiv:2610.11196v1 公告类型：cross 摘要：大规模音频-语言模型（LALMs）会利用多模态证据，但在无需聆听时，与任务无关的音频仍可能改变文本推理决策。总体准确率可能掩盖这种配对漂移，因为音频带来的修正与损害可能相互抵消。配对漂移分析与针对性干预确定了特定于架构且对干预敏感的后期音频路径，并将其识别为可操作的控制点。我们提出 ICAP-Gate，对每个模型的路径实施机制引导、任务条件化的控制。在四个 LALMs、两个推理基准，以及环境声音和自然语音干扰的评测中，ICAP-Gate 在全部 16 个完整划分的模型—条件评估中，其 Influence Rate 和 Answer Flip 的点估计均低于未门控推理。固定抑制会导致四个模型的自动语音识别（ASR）性能均下降，而 ICAP-Gate 通过在明确要求音频的指令下保留该路径，使 ASR 性能达到与未门控推理相当的水平。在全部四种评估设置中，ICAP-Gate 的配对漂移点估计均低于缓解式提示；相较于使用八个样本的 Self-Consistency，它在每次查询仅生成一次的情况下提供了具有竞争力的稳定化效果；在受控的 ARC 测量中，Self-Consistency 的延迟为未门控推理的 $7.0$--$9.2\times$。这些结果确立了选择性模态影响控制这一稳健多模态推理的设计原则。
12:00 arXiv cs.LG 72
arXiv:2610.11057v1 公告类型：cross 摘要：多模态分类通过处理和关联来自多个模态的信息来实现更准确的预测。然而，现有方法通常依赖高质量的真实标签，而在现实场景中获取这类标签十分困难。尽管带噪标签学习中的样本选择方法旨在从噪声数据中识别标注正确的样本，但传统方法主要关注单模态设置，未能充分利用多模态信息。这促使我们构建一种更可靠的多模态学习噪声检测器。为此，我们从理论上分析了表示结构与噪声检测能力之间的关系。基于这一分析，我们提出了 REFINE，这是一种多模态标签噪声检测框架，联合使用融合表示和单模态表示进行标签噪声检测。具体而言，REFINE 通过对目标类和背景类进行判别分析来构建判别特征向量，并为每个类别选择具有更强噪声检测能力的可信表示空间。在每个可信空间内，REFINE 衡量每个实例表示与判别特征向量之间的对齐程度。随后，它将从这些空间中选出的子集进行合并。合并后的集合为更新多模态分类器提供了更干净的监督信号，从而减小训练过程中错误标注样本的影响，并提升模型的泛化能力。在多个不同任务上的大量实验表明，与基线方法相比，REFINE 具有更优的性能。源代码将公开发布。
12:00 arXiv cs.LG 79
arXiv:2610.11019v1 公告类型：cross 摘要：多模态大语言模型主要从图文配对数据或带注释的视频中学习，而原始网络视频很少被用于进一步训练现有语言模型。我们研究了没有字幕且不使用文本损失的原始视频，能否作为预训练语言模型的中期训练数据。我们将视频帧编码为连续视觉标记，并让语言模型学习预测下一个视觉标记。我们使用来自 YT-Temporal-1B 的原始视频片段对 Qwen3-1.7B 进行中期训练，随后对该模型和未经中期训练的模型采用相同的图像-文本指令微调，使两者仅在中期训练环节存在差异。经过中期训练的模型在四项视频基准测试中的平均得分高出 2.9 分，在十项图像基准测试中的平均得分高出 5.1 分，涵盖感知、文档和图表任务。尽管中期训练不包含文本，文本性能仍得以保持：在 14 项文本基准测试中，平均得分为 48.9，而未经中期训练的模型为 48.0。训练过程分析表明，图像和视频方面的提升在训练进度达到 30% 以内时便已显现，此后趋于平台期，变化幅度小于 0.5 分。预测字幕并未优于预测下一个视觉标记，这表明视频中期训练可以完全保持自监督形式，无需承担自动字幕生成带来的计算开销或标注噪声。
12:00 arXiv cs.LG 77
arXiv:2610.10990v1 发布类型：cross 摘要：统一多模态扩散大语言模型（dLLMs）通过单一架构同时支持图像生成和多模态理解，但其迭代解码需要进行数十至数百次前向传播。现有的少步蒸馏方法大多聚焦于图像生成或文本生成中的一者，因此，如何在保留生成与理解能力的同时，将完全离散的多模态 dLLM 压缩为单一高效的学生模型，仍不明确。我们提出 Omni-Diffusion-Distill，一种统一的两阶段蒸馏框架，在大幅降低统一多模态 dLLM 推理成本的同时，保留强大的生成与理解能力。Omni-Diffusion-Distill 在离散 token 空间中，对图像和文本的生成与理解蒸馏进行统一。第一阶段中，学生模型通过重放缓存的教师模型轨迹进行训练，以跳过部分解码步骤；第二阶段中，学生模型沿自身 rollout 过程中的中间状态进行进一步优化。我们还通过一对碰撞惩罚和熵匹配引导，解决统一蒸馏中的两类性能退化问题：前者减少并行文本解码中的重复，后者防止图像生成中因拟合锐化后的教师分布而导致的熵坍缩。Omni-Diffusion-Distill 在多模态 dLLM 的解码效率与生成、理解性能之间实现了业界领先的权衡，将图像生成的解码步数从 128 步降至 8 步，并将多模态理解的解码步数从 512 步降至 64 步，实现 18.2 倍和 21.2 倍的实际运行时间加速。在这些步数预算下，其在文生图生成任务的 GenEval 和 DPG-Bench 上分别取得 0.828 和 83.0 的分数；在多模态理解任务中，其在 MM-Vet 和 COCO captioning 上的 GPT 评判分数分别达到 20.0 和 57.2（在相同步数下，教师模型为 28.4 的两倍）。
12:00 arXiv cs.LG 74
arXiv:2610.12449v1 公告类型：新提交 摘要：从结构屈曲到流体与气候动力学，分岔在物理系统中无处不在，但在深度学习领域仍鲜有探索。在对称性破缺分岔处，单个输入对应多个同等有效的解，这违背了大多数基于学习的物理代理模型所依赖的一对一假设。我们提出 Bi-FORK，一种用于学习高维系统中此类一对多解映射的生成式框架。Bi-FORK 通过潜空间流匹配生成完整轨迹，保持空间和时间上的连贯性，并利用排斥引导采样，在单次摊销推断中恢复不同的解分支。我们在屈曲梁、机械超材料和 Allen-Cahn 相分离问题上评估了 Bi-FORK，涵盖连续、离散和场值分岔，离散化规模最高达 260,000 个点。Bi-FORK 能够恢复解的多模态结构，同时将可处理规模提升至以往方法的数个数量级以上，为高维分岔物理系统的生成式建模开辟了道路。
12:00 arXiv cs.LG 78
arXiv:2610.11665v1 公告类型：新 摘要：在线平台中，模仿合法用户的机器人、虚假评论者和诈骗账户数量不断增加。这种伪装模糊了图邻域和行为属性，使图神经网络（GNN）难以区分伪装良好的欺诈者与合法用户。在多种 GNN 中，我们观察到它们在一个共同的困难区域存在重叠错误，这表明其中可能存在图拓扑和标准特征未能捕捉的潜在欺诈证据。面向欺诈的 GNN 可以缓解特定的图结构问题，但对结构化记录、文本、图像和音频等异构证据的利用仍然有限；统一的多模态融合还可能干扰那些已经能够被图模型可靠处理的节点。我们提出 Evi-VN，旨在学习并纠正这些共同盲点，而不是构建另一个欺诈检测器。据我们所知，Evi-VN 是首个利用特征隔离证据链来纠正 GNN 之间共享困难区域的图欺诈检测框架。其证据链连接了来自结构化、文本、视觉和声学来源的行为、内容与上下文信息，有助于揭示图邻域可能遗漏的伪装。关键在于，Evi-VN 通过虚拟类别节点，仅将这些证据选择性地应用于可能属于困难区域的样本，从而保留现有 GNN 的可靠预测和输入设计。共享的困难区域还使 Evi-VN 能够增强通用、面向欺诈以及未见过的 GNN，即使证据模型并不完美。在机器人、虚假评论、退款证据和电信欺诈任务上的实验验证了这些优势。
12:00 arXiv cs.LG 78
arXiv:2610.11394v1 公告类型：新论文 摘要：多模态阿尔茨海默病（AD）诊断受益于异质性临床、影像、基因组和生物标志物证据的整合，但临床队列中经常存在不规则的模态缺失。现有融合方法往往合成缺失的输入，面临引入人工替代数据的风险，或将可用信号汇集到不可解释的潜在空间中。我们提出 CoPoE（疾病坐标专家乘积），这是一个疾病坐标框架，将多模态证据映射到结构化潜在空间，并将该空间划分为四个不同的生物学和临床轴：遗传风险、分子病理、神经退行性变和临床分期（R/P/N/S）。每个已观测模态都对覆盖完整 RPNS 向量的对角高斯专家进行参数化，而带掩码的专家乘积架构仅融合可用模态。因此，缺失模态不会向融合路径添加任何因子，使网络能够针对任意非空模态子集保留稳健、可分解的后验分布，而无须在 RPNS 路径中进行合成插补。通过在 ADNI 数据集上开展广泛的模态缺失实验，在共享的非 PET ADNI 嵌入基准下，与标准化的模态缺失融合基线相比，CoPoE 取得了最佳的全模态性能，并在全部 15 种已观测模态子集评估中获得最高的平均 AUROC，同时显著改善了原始概率的 ECE、Brier 分数和 NLL。此外，PET 监督探测显示，在全模态条件下，病理（P）分块内存在证据富集；即使不提供直接的体液生物样本输入，仍能保留与 tau 相关的信号。我们的代码已公开，地址为 https://github.com/labhai/CoPoE。
12:00 arXiv cs.LG 75
arXiv:2610.11140v1 公告类型：新投稿 摘要：临床诊断本质上是一个序贯过程：只有在预期新增证据能够消除诊断不确定性时，临床医生才会从低成本检查逐步转向高成本检查。我们提出 ActiveMedAgent，这是一个将这种成本感知的序贯逻辑引入多模态医学人工智能的框架。在使用参数冻结、通过 API 访问的视觉语言模型的情况下，ActiveMedAgent 跟踪候选诊断的概率分布，并以每一步的诊断效用减去成本，对每次信息获取进行评分。随后，基于这些已评分的轨迹离线训练一个轻量级 MLP 控制器，使其学习何时请求更多证据，以及何时作出最终诊断。在三个常用基准上，基于轨迹的策略学习始终优于无引导的信息获取方法和全模态基线。值得注意的是，我们发现了一种信息过载效应。在 175 个病例中，该智能体利用更少的信息通道得出了正确诊断，而全模态基线却未能正确诊断，这表明，学习省略哪些信息可能与学习获取哪些信息同样重要。
12:00 arXiv cs.LG 73
arXiv:2610.10653v1 公告类型：新 摘要：科学多模态学习通常假设成对视图所包含的信息量大致相当。粉末 X 射线衍射（PXRD）明确体现了这种不匹配：将三维晶体结构压缩为一维衍射图样会造成信息损失，也使得图样更难与生成该图样的晶体结构建立联系。我们提出 PXtal，这是一种用于在这种物理上既定的信息不对称条件下学习对齐 PXRD 与晶体表示的框架。PXtal 使用 Unbalanced Optimal Transport（UOT）调整跨模态耦合，并使用耦合层级的广义 Kullback-Leibler（GKL）散度对完整的传输计划进行监督。在包括四个零样本迁移测试集在内的六个测试集上，PXtal 在 PXRD 到晶体候选的检索任务中始终优于基线模型；当 PXRD 图样存在相近但在晶体学上不同的非配对邻居时，性能提升最大，即相似的输入图样对应不同的晶体。由此得到的晶体编码器和 PXRD 编码器能够更有效地迁移到下游材料学与晶体学任务中。这些结果表明，信息不对称是科学多模态学习中的一个普遍设计问题：对齐目标应反映每种模态所保留的信息。
01:39 arXiv cs.AI 75
多模态大语言模型（MLLM）往往难以识别和利用图示中的几何关系。近期方法通过将几何实体、关系和约束转换为显式的文本表示，来应对这一挑战。然而，有效的形式化并非易事：在 Geometry3K 上，结构注入在 200 个示例中纠正了 28 个错误，却引入了 13 个新错误。冗余关系可能分散模型的注意力，而对图中元素的含糊指代则可能导致模型错误地应用约束。这表明，关键挑战不仅在于提取更多几何事实，还在于将其组织成有助于后续推理的表示。为充分发挥形式化的潜力，我们进一步提出 GeoReform——一种反思式形式化演化框架，将形式化视为可优化的策略，而非固定的解析器输出。GeoReform 执行完整的推理流程，收集失败的推理轨迹，诊断当前表示中的缺陷，并对策略进行变异，从而更好地选择、定位、分组和呈现几何实体、关系、约束及目标。在 Geometry3K 上，GeoReform 将 Qwen3VL-2B 的准确率从 42.0\% 提升至 56.0\%。在几何推理基准上的大量实验和分析表明，有效的形式化对于提升多模态几何推理能力至关重要。
01:39 arXiv cs.AI 78
自监督多模态表示学习已在多个领域取得显著成功，但由于跨模态交互的复杂性，捕捉协同信息仍然具有挑战性。不同于存在于各个模态之间的共享信息，协同信息只有在多个模态的联合配置下才能产生与任务相关的信号，且无法从任何单一模态中恢复。本文聚焦于如何在多模态表示中保留这类协同信号的信息容量。我们的关键观察是，协同信息体现在模态之间的高阶统计依赖关系中，而这为显式建模联合交互提供了一个有原则的目标。受此启发，我们提出高阶表示与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用Tucker分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕捉协同信息的高阶耦合容量。在受控协同任务和真实世界基准数据集上的实验表明，与现有多模态对比学习方法相比，HRIL取得了稳定的性能提升，尤其在由协同交互主导的任务上表现出显著增益。代码已发布于 https://github.com/brightest66/HRIL】【。
01:58 arXiv cs.AI 75
分岔现象广泛存在于物理系统中，从结构屈曲到流体和气候动力学，但在深度学习领域仍未得到充分探索。在对称性破缺分岔中，单个输入对应多个同样有效的解，这违背了大多数学习型物理替代模型所基于的一一映射假设。我们提出 Bi-FORK，一种用于学习高维系统中一对多解映射的生成框架。Bi-FORK 通过潜在流匹配生成完整轨迹，保持空间和时间上的连贯性，并利用排斥引导采样，在单次摊销推理中恢复不同的解分支。我们在屈曲梁、机械超材料和 Allen-Cahn 相分离问题上评估了 Bi-FORK，涵盖连续、离散和场值分岔，离散化规模最高达 260,000 个点。Bi-FORK 能够恢复多模态解结构，同时将规模扩展到远超现有方法数个数量级的水平，为高维分岔物理系统的生成建模开辟了道路。
12:00 arXiv cs.LG 83
arXiv:2609.21363v2 公告类型：replace-cross 摘要：多模态大型推理模型（MLRMs）在复杂视觉理解方面展现出卓越能力。然而，这种强大能力也带来了一种严重却尚未得到充分研究的隐私威胁：攻击者可以利用 MLRMs，对建筑风格、植被和光照条件等细微视觉线索进行结构化推理，从用户随手分享的照片中精确推断其地理位置。在本研究中，我们系统研究了 MLRM 驱动的地理定位隐私泄露问题。我们首先揭示，基于拒绝响应的防护措施严重不足，因为精心设计的越狱提示可以将模型响应率提高至 100%。我们进一步发现，现有防御方法通过向共享图像中注入不可感知的扰动来实现保护，但受限于像素空间优化所固有的结构性局限，导致黑盒迁移能力下降，并产生明显的视觉伪影。基于这些发现，我们提出了一种基于扩散的框架，为地理定位隐私泄露提供有针对性的主动防御。我们的方法在反向采样过程中向扩散模型的潜在空间注入扰动，直接作用于高层语义表示，从而从设计上突破防御有效性与图像实用性之间的瓶颈。我们进一步采用与 GPS 坐标显式对齐的模型 GeoCLIP 作为替代模型，为优化提供依据，精准定位并破坏 MLRMs 用于位置推断的地理信号。这种有针对性的语义扰乱在保持图像感知质量的同时，显著增强了黑盒迁移能力，并可无缝集成到社交媒体平台中。代码可在 https://github.com/RachelWolowitz/Hiding_in_plain_sight 获取。
12:00 arXiv cs.LG 75
arXiv:2606.00162v2 发布类型：替换交叉版本 摘要：机器人系统会生成大量多模态传感器数据，但将 ROS bag 录制数据转换为机器学习数据集通常依赖临时编写的顺序脚本，从而带来较高的工程开销和较慢的迭代周期。我们将数据集构建建模为依赖图上的基于产物的构建过程，并在 Bagzel 中实现了这一方法。Bagzel 是一个开源的 Bazel 扩展，用于可复现的增量式数据集生成（包括导出为 nuScenes 格式）。我们将 Bagzel 和 Bagzel-xattr（服务端摘要管理）与顺序执行的 rosbag2nuscenes 基线进行了比较。在所有评估的执行模式下，Bagzel 都能缩短运行时间；其中在迭代式工作流中的收益最大：在一个 20.4 GB 的数据集上，热构建最高可提速 386.26 倍，增量构建最高可提速 7.21 倍。在 5.1 至 20.4 GB 的数据集规模范围内，Bagzel 的各个变体都表现出明显优于基线的扩展性，尤其是在热构建和增量构建模式下。Bagzel-xattr 还能带来额外收益：在输入粒度研究中，与 Bagzel 相比，其平均运行时间减少了 5.9%。总体而言，将机器人数据集构建建模为基于产物的构建过程，可以在保持支持可复现性的确定性构建设计的同时，大幅降低数据集更新延迟。
12:00 arXiv cs.LG 75
arXiv:2605.19352v2 公告类型：替换交叉投稿 摘要：理解人类和人工智能系统如何通过与环境交互来进行预测和规划，是神经科学与机器学习交叉领域的一项根本性挑战。大多数大脑编码研究侧重于将人工模型与语言理解或被动视觉处理过程中的大脑活动对齐，而迄今为止，交互情境下的大脑对齐研究主要局限于强化学习（RL）智能体和基于理论的模型。为填补这一空白，我们利用参与者玩自然情境下 Atari 风格电子游戏时的 fMRI 记录，研究两类基础模型中的代表性模型与大脑的对齐情况，即视觉语言模型（VLMs）和大型动作模型（LAMs）。具体而言，我们考察侧重动作和侧重推理的提示如何塑造模型的内部表征，以及这些表征与 fMRI 大脑活动的对齐。首先，我们发现，VLMs 和 LAMs 的逐体素编码性能均显著高于 RL 基线，即使在特征维度匹配的条件下，这一优势依然存在。其次，与无提示基线相比，提示带来的性能提升在高阶额顶区域和运动规划区域中大于初级视觉皮层；按感兴趣区域（ROI）组取平均后，前者的提升幅度约为后者的 2–2.5 倍，不过各个区域之间存在异质性。第三，方差分解揭示了性质不同的表征组织方式。VLM 表征呈现提示对称性（动作独有解释方差为 12.4%，推理独有解释方差为 9.5%），而 LAM 表征则以动作为主导（动作独有解释方差为 25.6%，推理独有解释方差为 -8.2%），且这种不对称性在额叶运动皮层中最强。总体而言，这些结果将动作专门化与多模态游戏状态表征中不同的皮层对齐模式联系起来，揭示了相似预测准确率所掩盖的差异。
12:00 arXiv cs.LG 78
arXiv:2605.09504v3 公告类型：替换并交叉列出 摘要：我们表明，用于衡量 AI 进攻能力的工具存在两方面缺陷：（i）夸大危害；（ii）将属于外围系统的能力归功于模型。因此，我们认为，限制对模型的访问是必要的，但并不充分，政策制定和采购也需要以实际危害为依据的系统级能力评估。2026 年 6 月，两个前沿模型因美国出口管制而被暂停提供，据报道，此举由一次要求模型阅读代码库并修复其缺陷的越狱所引发。这一发现衡量的是由模型、提示和任务组成的能力诱导系统。我们通过对一个开源框架的研究来支持这一论点，该框架中的轻量级大语言模型（LLM）智能体通过共享记忆和演化优化进行协调，提供了两项证据。首先，越狱指标夸大了危害：针对每个目标开展的 225 次群体生成攻击中，以 LLM 作为评判者的评分认定 Claude Sonnet 4 在 40% 的攻击中被攻破，但人工核验未在任何一次攻击中发现可付诸行动的有害内容，相比之下，GPT-4o 的有效危害率为 45.8%。其次，借助脚手架的评估会错误归因能力：在一个植入漏洞的目标上，围绕一个 12 亿参数模型构建的完整流水线发现了全部 9 个弱点，而同一模型在移除人工精心设计的组件后，以崩溃验证为标准时一个弱点也未发现，以引用源代码行为标准时则发现了 9 个弱点中的 2 个。进攻能力是模型、脚手架和评估协议共同构成的属性。评估责任应由控制系统、塑造其行为并能预见其行为后果的一方承担。在我们的场景中，这一方就是围绕模型构建配套运行框架的主体，而现行监管尚未明确涵盖这一角色。
12:00 arXiv cs.LG 75
arXiv:2605.15995v3 公告类型：替换 摘要：从时序、多模态和部分观测数据中学习潜在表示，需要明确潜在状态应保留、舍弃和组织哪些信息。现有方法通过异构目标对这些要求进行编码，使得方法难以比较，学习到的表示也难以解释。我们提出受约束潜在状态建模（Constrained Latent State Modeling，CLSM），这是一个通过六项互补属性刻画潜在状态的概念框架：预测充分性、最小性、时间一致性、观测兼容性、对干扰因素的不变性以及结构约束。CLSM 将这些属性与用于诱导它们的替代目标，以及用于评估它们的诊断指标区分开来，并阐明约束组合如何通过限制可接受表示的空间来提升可辨识性。我们通过这一共同设计空间重新诠释了主要的表示学习方法族，并使用受控合成基准展示该框架。实验表明，根据预测目标、替代目标的表述方式、参数化形式和优化过程的不同，各类目标会产生不同的潜在组织方式和经验权衡。配套仓库包含参考实现、可复现实验、文档和模型卡片：https://github.com/gwenole-quellec/clsm
12:00 arXiv cs.LG 77
arXiv:2605.06295v2 公告类型：替换 摘要：如何从第一性原理出发，将任意归因方法推广到捕捉交互作用？我们通过元博弈回答这一问题：这是一个用于量化模型解释中二阶交互效应的概念框架。我们将特征 \(i\) 的归因值 \(\phi_i\) 视为其他特征之间的合作博弈，并计算其沙普利值，用以衡量特征 \(j\) 对特征 \(i\) 的归因产生多大影响，从而得到有向元归因 \(\varphi_{j \to i}\)。元归因不是直接分解模型，而是分解归因本身，因此能够将任意基于梯度或注意力的方法扩展到交互作用，同时统一基于移除的扰动与模型内部信息。从理论上看，我们证明了元归因之和等于其所解释的一阶归因；事实证明，沙普利交互和积分 Hessian 会隐式地执行这种层次化分解。在实证方面，我们展示了元归因在多种可解释性应用中的作用：（i）量化指令微调语言模型中的词元交互；（ii）解释视觉-语言编码器中的跨模态相似性；（iii）解读多模态扩散 Transformer 中的文本到图像概念。
12:00 arXiv cs.LG 74
arXiv:2604.04614v3 公告类型：替换 摘要：基于深度学习的多模态电子健康记录（EHR）建模已成为临床诊断与风险预测的重要方法。然而，由于临床工作流程的多样性和隐私限制，原始 EHR 天然具有多层级不完整性，包括不规则采样、模态缺失和标签稀疏。这些问题会导致时间错位、模态失衡以及监督信号有限。现有大多数多模态方法都假设数据相对完整，即使是为处理不完整性而设计的方法，通常也只孤立地解决其中一到两个问题。因此，这些方法往往依赖僵化的时间/模态对齐，或直接丢弃不完整数据，从而可能扭曲原始临床语义。为解决这一问题，我们提出 HealthPoint（HP），一种面向多层级不完整 EHR 的统一临床点云范式。HP 将异构临床事件表示为连续四维空间中的点，该空间由内容、时间、模态和病例定义。为建模任意点对之间的交互，我们引入低秩关系注意力机制，以高效捕获跨越这四个维度的高阶依赖关系。我们进一步设计了分层交互与采样策略，以平衡细粒度建模和计算效率。在此框架基础上，HP 支持灵活的事件级交互和细粒度自监督，从而实现稳健的模态恢复，并有效利用无标签数据。在大规模 EHR 风险预测数据集上的实验表明，在不同程度的不完整性下，HP 始终取得了最先进的性能和强大的鲁棒性。
12:00 arXiv cs.LG 85
arXiv:2610.10409v1 公告类型：cross 摘要：通用智能体日益能够编写代码、使用工具并完成复杂的数字任务，这引发了一个问题：这些能力在多大程度上能够迁移到物理世界。为研究这一问题，我们推出了 RobotWorld，这是一个具有挑战性的机器人使用仿真测试平台：通过机器人接口，将指令和观测转化为物理任务执行。其 84 项任务涵盖操作、移动操作、运动、驾驶和空中控制，并设有明确的交互预算和可执行的成功检查机制。通过结合任务结果与执行轨迹进行分析，我们确定了能够迁移的能力，以及阻碍可靠完成任务的能力缺口。此外，我们发现当前的智能体能够构建复杂的感知与控制工作流，包括图像分割、相机标定、空间估计和基于动力学的计算。然而，这些能力并不能稳定地组合成成功行为：智能体即使到达指令指定的位姿，也会丢失与任务相关的物体状态；它们无法纠正无效动作，恢复得太晚，或将尚未完成的任务误认为已经完成。这种不均衡的迁移在不同模型之间也有所差异：Astra 在空间目标和受约束接触目标上的成功率更高，而 Opus 5.5 在连续平衡目标和定时交互目标上的成功率更高。通过将这些结果与执行行为联系起来，RobotWorld 既提供了严格的试验场，也对现存的能力缺口进行了实证刻画，从而为训练和设计更可靠的物理世界智能体确立了具体目标。
12:00 arXiv cs.LG 81
arXiv:2610.10283v1 公告类型：cross 摘要：人类利用指尖触觉反馈抓取日常物体时，几乎可以达到完美的成功率；然而，机器人抓取领域的大量研究都侧重于使用平行夹爪进行基于视觉的抓取选择。在本工作中，我们系统研究了高分辨率动态触觉感知如何促进灵巧机器人手的抓取稳定性预测和模型引导抓取。为此，我们使用一只配备四个 Digit 360 触觉传感器的多指机器人手，针对 200 个物体采集了 10,000 次抓取试验的数据集，并在每次抓取过程中记录外部视觉、本体感觉和触觉数据流。基于该数据集，我们训练了端到端时序多模态模型，根据抬升前的抓取观测预测抬升后的稳定性，并比较了不同感知模态和编码骨干网络的效果。实验结果和受控输入消融实验表明，引入触觉信息，尤其是高分辨率动态触觉信息，能够提升抓取稳定性预测性能。最后，我们将训练得到的预测器部署为真实机器人上的在线稳定性门控机制；与非触觉门控相比，视觉-触觉模型引导的重新抓取使已执行抬升动作的成功率提高了 10.5 个百分点。这些结果表明，丰富的指尖感知和能够捕捉触觉动态的表达性时序模型，无需显式的接触或力建模，即可支持多指机器人手实现学习式抓取，为从触觉经验迈向稳定灵巧操作提供了一条可扩展的数据驱动路径。该数据集已公开发布于 https://lasr-lab.github.io/dexterous-grasp-stability/。
12:00 arXiv cs.LG 77
arXiv:2610.09369v1 公告类型：交叉发布 摘要：扩散策略最初提出时，人们预期它能够恢复多模态动作分布。然而，我们发现这一预期并不总能实现：即使我们保证数据集中各模态均衡，并确保批次内严格对称，扩散策略仍经常坍缩为单一模态。我们的分析表明，独立的动作—噪声配对会加剧扩散路径之间的混合与交叉，从而导致去噪响应趋于平均化，并抑制模态特有的行为，是造成这一失效的原因之一。这一问题在机器人规划中尤为严重，因为动作空间密集且维度较低，显著增加了此类混合与交叉。为缓解这一问题，我们提出 Immiscible Diffusion Policy，这是一种用于扩散策略训练阶段的无标签附加方法，通过动作—噪声分配来保留相对独立的噪声到动作的路径，无需修改策略架构或推理流程。在涵盖状态、RGB 和点云观测的五项仿真及两项真实世界人形机器人操作任务中，我们的方法显著提高了策略保留动作模态的能力，同时保持了出色的任务表现。在三项双模态任务中，该方法将非主导模态的占比提高至原来的 6.0–14.6 倍；在两项四模态任务中，均恢复了原始策略执行轨迹中完全缺失的示范模态。这些结果表明，Immiscible Diffusion Policy 为在通用机器人学习任务中保留动作多模态性提供了一种简单而稳健的方法。
12:00 arXiv cs.LG 75
arXiv:2610.09304v1 公告类型：交叉收录 摘要：面部运动传递着细微而重要的信息，对人类社会交流至关重要。当面部被 VR 头显等头戴式设备（HMD）遮挡时，光学面部捕捉方法很难甚至无法使用。即使视线无遮挡，此类方法也会引发隐私担忧，并且需要使用头戴式捕捉支架，将摄像机和照明设备置于面部前方一定距离处。我们表明，高密度表面肌电（HD-sEMG）提供了一种可行的非光学替代方案，能够应对这些挑战。我们使用两个织物肌电电极阵列测量了 64 个肌电通道，其中 32 个来自前额（通常被 HMD 遮挡），另外 32 个来自面部侧面。肌电数据以 2048 Hz 的采样率数字化并经过滤波处理。我们同时录制面部运动，并使用 MediaPipe 的 Face Landmarker 估计 478 个三维面部标志点。此类多模态记录的一项主要挑战是同步肌电数据与视频数据，因为两者具有不同的采样频率和独立的时钟。我们开发了一种利用模拟音频短脉冲的新型同步方法，能够实现亚毫秒级同步。我们还开发了一种分阶段拟合方法，在参与者做出不同面部表情时，将一个近期提出的高分辨率参数化头部模型（GNM）拟合到 MediaPipe 标志点上；该模型具有 253 个身份混合形状和 383 个表情混合形状。我们训练了一个深度神经网络，由各电极阵列对应的空间编码器及其后的扩张时序卷积网络（TCN）组成，以 100 Hz 的频率从 HD-sEMG 信号预测混合形状参数。训练完成后，该网络仅凭 HD-sEMG 记录即可预测表情混合形状。其输出可使用标准实时混合形状动画方法进行渲染。我们利用 25 名参与者的记录展示了这些方法，并演示了将表情直接迁移到多种人脸和非人类角色上。
12:00 arXiv cs.LG 73
arXiv:2610.09219v1 公告类型：交叉发布 摘要：直接偏好优化（DPO）对所有约束违反情况一视同仁：预算超支 1 美元与超支 1,000 美元会产生相同的训练信号。当偏好对来自不同模型系列时，它还容易受到长度和风格偏差的影响。我们提出约束间隔 DPO（CM-DPO），用确定性符号验证器导出、并根据违反约束的严重程度缩放的连续间隔，替代 DPO 的二元偏好信号。通过字典序目标将硬约束与软约束分开，确保绝不为满足偏好而牺牲硬约束。为了向 CM-DPO 提供偏差更小的训练对，我们在名为 SynPlan-R 的框架内，通过程序化生成的约束配置（DCCG）以及基于推理教师的最小编辑蒸馏（RT-MED）生成偏好数据。在 TravelPlanner、NaturalPlan 和分布外的 PlanBench 上，使用 CM-DPO 微调的 8B 模型实现了 89.2% 的通过率和 93.4% 的求解率，以仅为多智能体系统 1/13 的延迟达到与其相当的表现，同时在未见过的 Blocksworld 上比 GPT-4o 高出 9.2 个百分点。
12:00 arXiv cs.LG 70
arXiv:2610.10349v1 Announce Type: new Abstract: Instruction-tuned models are deployed into environments where domains are heterogeneous and evolve, yet adding new domains or data typically requires costly retraining. We present AutoAdapt, a modular framework that incorporates new domains and data via targeted single-adapter training without modifying other adapters. The framework automatically discovers latent domains, uses them to train per-domain Low-Rank Adaptation (LoRA) adapters independently in parallel and performs parameter-free routing. Across 14 domain-specific benchmarks and GPT-4o pairwise judgements, AutoAdapt achieves parity with a LoRA adapter trained on all domains without requiring full-model retraining. We also find evidence of specialisation effect convergence across independent discovery methods. Overall, training each adapter on its own domain prevents domain interference by construction, thus enabling modular, taxonomy-free domain specialisation without aggregate performance loss or full model retraining.
12:00 arXiv cs.LG 73
arXiv:2610.09866v1 发布类型：新建 摘要：我们提出了 MUNITE，一种灵活的任意到任意多模态生成潜变量框架，将编码与潜变量生成视为同一个推理问题，只是所观测证据的数量不同。给定任意模态子集，MUNITE 都能对与完整观测相对应的潜在表示建模其条件分布。完整观测可恢复确定性编码，无观测可恢复潜变量边缘分布，而中间子集则定义条件潜变量推理，且这一切都在单个条件流模型中完成。共享的潜变量样本捕捉生成目标之间必须保持一致的变化，而模态特定的生成解码器则独立建模其余不确定性。为从不完整的训练样本中学习这些条件分布，我们通过自蒸馏扩展了条件流匹配：在相同的中间潜变量状态下，利用基于更丰富可用观测的预测，监督基于更小观测子集的同一模型。当更丰富证据对应的轨迹遵循精确的条件流时，这种方法能够提供与完整目标去噪相同的期望学习信号。在 PolyMNIST-D-Q、FFHQ64 和 image-text-audio 上，MUNITE 达到了具有竞争力或更优的生成质量及源目标对齐效果，并具有更高的联合生成连贯性。特别是，在所有一对多和无条件 image-text-audio 对比中，它都取得了最高的连贯性，展现了统一潜变量推理在多样化多模态场景中的有效性。
12:00 arXiv cs.LG 71
arXiv:2610.09355v1 公告类型：新 摘要：学习能够跨越认知任务、受试者和记录条件进行泛化的 EEG 表征，仍然是脑电图（EEG）解码面临的关键挑战。近年来，基础模型取得的进展提升了 EEG 解码性能，但一个根本性的开放问题仍然存在：如何有效地将神经信号接入这些模型，从而实现跨数据集的多任务学习。为研究这一问题，我们提出了 BraVista，这是一种视觉-语言框架，可将多通道 EEG 信号编码为结构化图像，并通过由指令调控的视觉-语言模型（VLMs）实现多任务学习。我们的方法依赖于对通用领域 VLM 进行持续后训练，利用其视觉和语言先验，使其适应神经信号，而无需单独进行大规模 EEG 专项预训练。我们在涵盖睡眠分期、情绪识别、认知负荷分类和异常 EEG 检测的四个数据集上评估了 BraVista，结果表明其在这些任务上均取得了强劲表现。进一步分析表明，EEG 到图像的表示方式对性能至关重要。此外，通过对 EEG 信号施加受控扰动，我们观察到随着噪声增加，模型性能逐渐下降，这表明模型依赖的是与 EEG 相关的信息，而非表面的视觉模式。总体而言，这些发现表明，结构化视觉表示可以作为神经信号与通用领域基础模型之间一种有效且可扩展的接口，用于统一多任务 EEG 解码。
00:30 arXiv cs.AI 80
随着多模态大语言模型（MLLM）的能力不断增强并得到广泛部署，隐私与安全问题日益紧迫。机器遗忘通过从已训练模型中移除指定信息，同时保留无关能力，为解决这些问题提供了一种途径。然而，实现方式和评估协议的碎片化、鲁棒性测试的不完整，以及对指标可靠性认识的不足，使得 MLLM 机器遗忘的进展难以得到系统评估。我们提出 Open-MMUnlearning，这是一个开源、可扩展的框架，通过共享接口和结构化配置，整合目标模型准备、多模态数据处理、机器遗忘与评估。该框架支持涵盖隐私、安全和版权的五个基准、来自四个模型系列的八个 MLLM，以及十二种机器遗忘方法。其评估套件综合评估遗忘效果、保留的效用，以及面对模型干预、对抗性输入和成员推断攻击时的鲁棒性。我们使用统一的评估协议，对十种具有代表性的机器遗忘方法进行了比较。在这项比较中，GD 和 MIP-Editor 并列获得最高综合得分：GD 的遗忘质量最高，而 MIP-Editor 保留了更多模型效用。我们进一步提出一种指标元评估协议，利用对目标知识接触程度受控的模型测试指标的忠实性，并测试其在量化和重新学习条件下的鲁棒性。在所评估的十三项指标中，BLEU 获得了最高的综合可靠性得分。KS-Test 的忠实性 AUC 最高，但在鲁棒性方面表现较弱。该框架与这些发现共同支持对 MLLM 机器遗忘方法开展可复现的比较，并对评估可靠性进行系统考察。
00:38 arXiv cs.AI 76
多模态大语言模型（MLLM）面临的一项关键挑战，是从视觉识别迈向约束感知的跨模态推理。这需要将视觉线索与其他模态的信息相结合，以理解特定领域规则下各元素之间的关系。这一挑战在工业级设计转代码（D2C）任务中尤为突出。该任务将用户界面（UI）设计转换为代码，要求 MLLM 将设计图像与杂乱的图层元数据关联起来，推断组件和布局的实现要求，并在目标库的约束下通过代码实现这些要求。然而，在真实工业场景中，这些能力仍未得到充分评估。为填补这一空白，我们提出 TaoD2C-Bench，用于评估 MLLM 在工业应用中生成满足实现要求的 UI 代码的能力。TaoD2C 数据集包含来自 17 个商业平台的 2,861 份生产环境设计，以及涵盖组件、分组、对齐和位置四个类别的 97,652 条专家标注。这些标注区分了必须满足的约束与允许自由选择的实现方式。TaoD2C-Bench 定义了三项任务：端到端 UI 代码生成、要求推断和要求实现。对八个 MLLM 的评估表明，它们在生成满足实现要求的 UI 代码方面仍存在显著差距，同时在推断与实现任务中呈现出不同的性能特征。我们进一步表明，MLLM 的视觉重建能力并不必然意味着其能够生成满足这些要求的代码。我们发布 TaoD2C，以支持工业级 UI 代码生成研究。
00:46 arXiv cs.AI 79
多模态基础模型的最新进展使其能够作为通用物理智能体，执行多种操作任务。然而，要在陌生环境中成功完成任务，当观测中缺少任务相关信息时，智能体可能需要通过交互主动获取这些信息：它可能需要确定相关物体的位置、检查尚未观测到的属性，或探明陌生工具的作用。因此，我们提出 RoboQuest，这是一个面向目标导向具身探索的基准，要求智能体通过物理交互主动获取任务相关信息，利用由此获得的证据调整后续行动，并自主决定何时着手完成任务。RoboQuest 包含十项移动操作任务，围绕三类不确定性展开：搜索、基于操作的检查和交互式测试。我们通过统一的视觉运动接口评估了五个前沿多模态智能体，并评估了一个利用我们发布的完整回合演示数据微调的 $π_{0.5}$ 策略。表现最好的智能体仅在 23\% 的回合中成功，而微调后的策略几乎从未成功。在提供隐藏信息的情况下，对构成这些任务的执行技能进行单独测试，结果表明智能体能够完成大多数所需动作；我们的失败分析也显示，只有少数失败可归因于执行问题。失败分析进一步发现，智能体经常过早停止探索，在观测到完成任务所需的证据之前就做出决策。我们还发现，智能体很少预防或修复其探索造成的扰动。此外，对大多数模型而言，通过试错进行学习仍然十分困难。
00:54 Hugging Face Blog 62
12:00 arXiv cs.LG 74
arXiv:2606.16193v2 公告类型：replace-cross 摘要：多模态大语言模型（MLLMs）在视觉语言任务上表现出色，但其内部视觉表征仍然难以解释。稀疏自编码器（SAEs）提供了一种可扩展的方法，可将稠密的模型激活分解为稀疏、可解释的特征。然而，现有 SAE 架构主要学习扁平化的特征字典，不太适合显式地组织多层级概念。本文提出一种名为 SAE++ 的级联稀疏自编码器架构，用于学习 MLLMs 中的层次化视觉概念。SAE++ 并非嵌套或堆叠 SAE 的稀疏激活编码，而是直接以第一级 SAE 的解码器权重训练第二级 SAE，将学到的低层级特征方向作为更高层级抽象的输入。这一设计使 SAE++ 能够学习“概念的概念”，同时避免嵌套式 Matryoshka 层次结构中共享前缀耦合带来的弊端，以及简单堆叠 SAE 所产生的瓶颈。在多个视觉数据集上针对 Qwen3-VL、Gemma-3 和 LLaVA 开展的实验表明，与当前最先进的 SAE 基线相比，SAE++ 在层次化概念一致性方面提升了可解释性。概念引导实验的结果进一步表明，学到的概念组能够支持对 MLLMs 输出进行有效的组级干预。代码已发布于 https://github.com/Wang-ML-Lab/sae-plus-plus。
12:00 arXiv cs.LG 77
arXiv:2603.22278v3 公告类型：replace-cross 摘要：许多多模态任务（如图像描述生成和视觉问答）都要求视觉语言模型（VLMs）将对象与其属性及空间关系绑定。然而，VLMs 内部在何处、以何种方式计算这些关联，仍不清楚。在本研究中，我们表明，VLMs 依赖两种并行机制来表示空间变量绑定。在语言模型主干中，中间层基于与对象对应的视觉词元，表示与内容无关的空间关系。然而，这一机制在影响模型预测方面仅起次要作用。相比之下，空间信息的主要来源是视觉编码器，其表征编码了对象的布局，并被语言模型主干直接利用。值得注意的是，这种空间信号全局分布于视觉词元之中，不仅覆盖对象区域，还延伸至周围的背景区域。我们在 COCO 数据集中的复杂自然图像上验证了这些发现的泛化性：对所有图像词元中源自视觉的空间表征进行全局增强，可以纠正不同规模模型中的空间变量绑定错误。总体而言，我们的结果阐明了 VLMs 内部如何计算空间变量绑定，并突出了视觉编码器在实现这一能力中的核心作用。
12:00 arXiv cs.LG 74
arXiv:2609.34457v2 公告类型：替换 摘要：基于 Transformer 的模型广泛应用于推理、编程和多模态智能体任务。为对鲁棒性、安全性和公平性等期望行为提供形式化保障，神经网络验证技术会证明所需属性，并在部署前提供可审计的保证。然而，现有工作仍局限于小型或受限的 Transformer，且在深层模型中保持精度仍面临挑战。在本研究中，我们提出 ZonoGpt，一种用于验证大型 Transformer 的抽象域，其空间复杂度与网络深度无关。ZonoGpt 使用结构化带状多面体和生成元约简机制来高效保留相关性。为保持精度，它针对 Attention 和 LayerNorm 引入了特定于模块的融合变换，以保留特征间的关系，同时为 GELU 引入了保留生成元间关系的仿射变换。这些机制使 ZonoGpt 成为首个能够验证标准架构的方法，其可扩展至官方 HuggingFace 模型中规模达 GPT-2 Medium（24 个模块、超过 3 亿个参数）的模型，并成功验证了文本和视觉任务中的 1,339 个实例。
12:00 arXiv cs.LG 77
arXiv:2603.04364v2 公告类型：替换 摘要：同时处理屏幕截图和无障碍树的多模态网页智能体正日益广泛地用于与网页界面交互，但其双流架构也暴露出一个尚未得到充分研究的攻击面：攻击者向网页 DOM 注入内容，即可通过一致的欺骗性叙事同时污染两个观测通道。我们在 MiniWob++ 上开展的漏洞分析表明，包含视觉成分的攻击效果远超纯文本注入，揭示了以文本为中心的 VLM 安全训练存在关键缺陷。基于这一发现，我们提出双模态多阶段对抗安全训练（DMAST）框架，将智能体与攻击者的交互形式化为双参与方一般和马尔可夫博弈，并通过三阶段流程对双方进行联合训练：（1）向强大的教师模型进行模仿学习；（2）采用预言机引导的监督微调，利用一种新颖的零回应策略，使模型在对抗性噪声下仍能进行以任务为中心的推理；（3）通过群组相对策略优化（GRPO）自博弈开展对抗强化学习。在分布外任务上，DMAST 将攻击成功率降低了近一半（41.2%→21.4%），同时使任务完成率相对提升超过 60%（6.2%→10.2%）。我们的方法优于现有的基于训练的防御方法，并可与基于提示的防御方法互补，展现了实质性的协同进化进展，以及对复杂、未见环境的稳健泛化能力。代码已公开：https://github.com/huajianduzhuo-code/DMAST_official。
12:00 arXiv cs.LG 74
arXiv:2511.21075v4 公告类型：替换 摘要：通过工程化改造 LLM 来加速生命科学研究，需要使其与生物医学知识稳健对齐。我们观察到，生物医学文本的不确定性结构与通用文本存在根本差异：密集的低置信度连续片段反映的是认知性知识缺口（密集的因果链、罕见实体），而非通用文本中典型的稀疏偶然性文体变化。基于这一发现，我们提出 Balanced Fine-Tuning（BFT），这是一种双尺度后训练方法，将基于组内归一化的词元重新加权与序列级重分配相结合，使训练资源向呈现密集认知不确定性的知识密集型样本倾斜。在相同的训练设置下，BFT 在医学评估、生物学推理、稀疏奖励强化学习和生物学表征任务中，相较于 SFT 和 DFT 带来了更一致的性能提升。当替换 GeneAgent（GPT-4o）和 VCWorld（Gemini-2.5-Flash）中默认的闭源骨干模型时，经 BFT 对齐的 70B 模型在生物学过程推理和化学扰动预测中均表现更优。关键的是，所有 BFT 变体在后续采用稀疏奖励的 GRPO 训练后均进一步提升，而 SFT 和 DFT 的性能则出现下降，这表明感知认知不确定性的后训练能够提供更稳健的策略初始化。除文本生成之外，经 BFT 对齐的 LLM 还能生成更准确、更专业的生物医学特征描述文本；使用文本嵌入模型对这些描述进行编码后，所得表征可支持基因级、细胞级和扰动响应任务，这表明 BFT 增强的生成能力能够促进生物学表征，进而助力更广泛的生物医学下游任务。
12:00 arXiv cs.LG 78
arXiv:2610.07572v1 公告类型：交叉收录 摘要：上下文学习（ICL）利用少量示例，使参数冻结的大型多模态模型（LMMs）适应新任务，但每次查询都要重新编码这些示例，而每张示例图像会增加多达数百个视觉词元。无示例方法通过紧凑的任务状态消除了这一开销。然而，这些方法将任务状态添加到针对每个任务搜索确定的位置，或添加到每个解码器层中，后者的任务参数量会随深度增加。此外，插入的词元或键无法改变原始提示在层内分配注意力的方式。为解决这些问题，我们提出 Structured Task Adaptation via Embeddings（STAVE），用添加到现有输入嵌入中的两个任务专属向量替代示例。具体而言，读出向量更新用于生成答案的词元，上下文向量则更新其他结构性词元组。这两个向量均使用答案标签，在包含和不包含示例的提示上进行训练。我们通过损失的一阶分析和间隔界，从理论上论证这些设计选择的合理性。在六个大型多模态模型和五个大型语言模型上开展的大量实验表明，STAVE 在多模态任务上以少得多的任务参数达到或超越最先进方法的表现，并在 18 项文本任务上超越 15 样本 ICL 和已有任务向量方法，且推理成本均与零样本推理相同。
12:00 arXiv cs.LG 79
arXiv:2610.07558v1 公告类型：交叉收录 摘要：视觉-语言-动作（VLA）模型已成为视觉与语言导航（VLN）的主要范式。然而，在安全关键设施中，辐射或温度骤升等不可见风险无法通过 RGB 相机检测，而针对每一种风险进行处理的成本高昂，需要新的编码器、新的数据以及模型重训练。我们提出 Physics-Guided Visual Prompting（PG-VP），这是一种即插即用的多模态感知模块，转而复用冻结的 VLA 模型已有的能力：避开可见障碍物。对于附近的辐射源或热源，PG-VP 通过物理引导的风险评估确定避让方向，并叠加一个在连续帧间移动的相应虚拟障碍物（动态视觉提示）。导航策略随后便会自然地绕开这一不可见危险。无论危险类型如何，都使用相同的虚拟障碍物，因此即使增加传感器，视觉提示模式也保持不变。当未检测到危险时，不渲染任何内容，策略的行为与未使用 PG-VP 时完全一致。我们使用 R2R-CE 和 RxR-CE 的 val-unseen 划分，在 OmniNav 上评估 PG-VP。它分别在 84.9% 和 83.2% 的情况下引导策略采取预期的低风险动作，代价是导航成功率分别下降 6.8 和 7.9 个百分点。我们还在存在真实热源和辐射源的不同场景中，使用真实机器人进行测试，整个过程均无需任何重训练。实测结果表明，PG-VP 能够有效避开这些不可见危险，面对热源和辐射源时，安全性最差的 10% 轨迹的平均安全性分别提升了 63.45% 和 32.59%。
12:00 arXiv cs.LG 75
arXiv:2610.07269v1 公告类型：cross 摘要：跨视角地理定位通常被视为图像检索问题，通过联合训练的嵌入，将地面图像与卫星图块数据库进行匹配。这类模型准确率较高，但需要大量配对监督，也无法展示支持匹配的证据。在本文中，我们研究了一个不同的问题：仅通过语言，这项任务能够完成到什么程度？我们提示多模态大语言模型（MLLM）将每个地面全景图和每个卫星图块描述为结构化文本，并通过比较这些描述进行定位。整个过程中没有训练任何组件。我们在来自美国四座城市的9,826个VIGOR配对样本上，针对三种设置进行了评估。第一种设置中，描述忠实但缺乏区分度。两种视角下的描述高度一致，但按照描述相似度对整个候选池进行排序，几乎从未返回正确图块（Recall@1为0.39%）。第二种设置中，我们将候选池缩小至十个相邻图块，就像粗略先验所做的那样。此时，相同的描述变得有用：一个依据结构一致性进行评分的MLLM评判器使随机排序的表现提升一倍，并达到强词法基线的水平。它还会指出两份描述中的哪些字段一致、哪些字段冲突，这是嵌入距离无法做到的，而我们认为这向可解释定位迈出了一步。第三种设置中，我们将该评判器应用于一个经过训练的视觉检索器。在它排序错误的查询上，基于图像进行重新排序是有效的，而基于我们的描述进行重新排序则无效（Recall@1分别为23.5%和10.7%）。场景结构在转换为语言后仍然保留，但区分相邻地点所需的细微外观信息却没有保留下来。代码和提示词已公开于https://github.com/AyeshAbuLehyeh/GeoLingual。
12:00 arXiv cs.LG 81
arXiv:2610.07009v1 公告类型：cross 摘要：图像到文本越狱会将有害意图置于文本、图像内容或二者之间的关系中。我们在包含313条提示词的 StrongREJECT 子集上，使用五个多模态模型，并在附录中额外评估 InternVL3.5-8B，考察四类已发表攻击方法中的图像侧因素。有害指令在各个条件下保持不变；基线矩阵对每条提示词抽取一次样本，配对消融实验则抽取三次样本，并使用自动化评分标准评审器进行判断。单独的有害查询，无论是否附带无关的良性图像，在大多数目标模型上都只能取得很低的攻击成功率，而攻击图像会显著提高成功率。第一，单个图块的熵和 JPEG 大小无法可靠地区分攻击图块与尺寸匹配的良性干扰图块，这限制了仅基于密度的筛查。第二，早期的图块数量梯度受到载荷可见性的混淆。修正后的区域数量测试未发现可检测的影响，因此图块数量结构的作用仍未确定。第三，在 Qwen3-VL-8B 上，移除查询特定相关性的 E4 操作会使 ASR 下降约0.12。这支持将有限的影响归因于相关性操作，但图文一致性仍未得到测量。在重叠刺激材料上，类别内控制实验复现了这一方向。经过全局统计校正后，有五项测试仍然显著，但只有 E4 支持将影响归因于一个已测量的描述符；类别内结果是稳健性检查，而不是独立的归因证据。这些结论仍取决于评分标准评审器。
12:00 arXiv cs.LG 73
arXiv:2610.06930v1 公告类型：交叉收录 摘要：多变量函数型数据广泛存在于现代制造系统中，其中多个传感器记录密集采样的过程轨迹。此类数据的监测具有挑战性，因为正常变异在样本、传感器和时间维度上具有很强的相关性，而故障既可能表现为孤立偏差，也可能表现为集中于少量特定传感器时间轨迹中的结构化偏离。我们提出了两种保留这种多模态结构的无监督稀疏张量分解方法。逐元素稀疏 CP 分解（ES-CP）使用逐元素 \(\ell_1\) 惩罚来识别局部异常，而逐纤维稀疏组 Lasso CP 分解（FG-Lasso）结合逐元素和逐纤维惩罚，以检测局部偏差以及集中于时间纤维中的异常。两种方法均通过低秩 CP 分解表示正常过程行为，并采用具有稀疏分量闭式更新的交替优化进行估计。两项仿真研究评估了不同故障结构、信号强度、噪声水平和观测缺失情况下的性能。在第一项研究的几乎所有设置中，FG-Lasso 的宏平均 F$_1$ 分数均达到最高或并列最高，并取得了最高的宏平均 F$_1$ 分数。在一项多通道锻造过程案例研究中，FG-Lasso 和 ES-CP 的宏平均 F$_1$ 分数分别为 0.85 和 0.82，而 TRPCA 和基于 PCA 的异常检测器的分数为 0.69 或更低。结果表明，使稀疏惩罚与预期故障结构显式匹配，可以同时改善高维函数型过程中的异常检测和故障定位。
12:00 arXiv cs.LG 74
arXiv:2610.07499v1 公告类型：new 摘要：当传感器数据流变得嘈杂或不可用时，多模态可穿戴系统必须保持可靠。现有的多模态测试时自适应（TTA）方法通常会在线评估可靠性，但当传感器测量的是不同的物理过程时，跨模态一致性可能具有误导性，而评估备选模态配置又会增加推理成本。我们提出 CARAT，将模型依赖度与运行时损坏检测解耦，以指导模态省略或衰减，并通过源训练摊销依赖度估计。一种非对称模态丢弃课程为模态省略训练出能够抵御缺失的骨干网络，并根据窗口化输入投影的梯度范数，为该骨干网络生成一个冻结且专属的依赖度代理指标。在部署时，一个轻量级单类检测器标记可疑数据流，而该代理指标则在无需评估候选子集的情况下，指导联合选择：用骨干网络训练的缺失符号替换可疑数据流集合，或在融合前衰减其表示。在四个可穿戴设备数据集、五种损坏类型、三个骨干网络和八种 TTA 基线上的实验表明，CARAT 实现了最高的总体宏平均 F1 和最佳平均排名（2.42），在 12 个等权重的数据集-骨干网络设置中，F1 比最强基线 EATA 高出 1.58 个百分点。在五种经过性能分析的配置中，CARAT 比 EATA 少使用 9.49% 的 GFLOPs，并少更新 47.82% 的参数。不同感知模式之间还呈现出一种规律：PTA 等多模态 TTA 方法在以 IMU 为主的同质数据集上具有竞争力，而 TENT 和 EATA 等单模态 TTA 方法在异质数据集上的表现可与其持平或超过其表现。这些结果表明，CARAT 可作为可穿戴设备 TTA 的实用默认方案，以适度的计算需求提供具有竞争力的鲁棒性，同时其收益会因骨干网络和数据集模式的不同而变化。
12:00 arXiv cs.LG 78
arXiv:2610.07466v1 公告类型：新 摘要：多模态系统通常会对所有可用输入进行编码，即使其中一部分输入已足以完成预测。自适应采集可以利用增量融合证据所产生的预测结果，决定下一步编码哪种模态以及何时停止，从而降低这一成本。然而，序贯融合会使这些预测结果依赖于输入顺序，因此，基于这些预测进行决策时，可能需要区分同一已采集集合的阶乘数量级的不同历史。我们提出 SemARC，将序贯模态聚合器（Sequential Modality Aggregator，SeMA）与自适应运行时控制器（Adaptive Runtime Controller，ARC）相结合，并利用已采集的证据，在每个模态的编码器运行之前选择该模态。SeMA 仅执行被选中的编码器和融合分支，更新固定大小的状态，并在每次采集后进行预测，而无需重新计算之前的分支。我们在随机化的模态子集和采集顺序下，对每个采集前缀进行监督，以鼓励模型在不同采集顺序下保持一致的预测。ARC 将依赖模态集合的边际效用先验与残差拟合 Q 学习相结合，用于选择下一个可用模态或停止采集，同时不查看尚未采集的输入，也不保留采集顺序信息。在六个多模态分类数据集和十一个基线方法上，与每个数据集中准确率最高的基线相比，SemARC 的宏平均 F1 平均提高 3.2%，总推理 GFLOPs 平均降低 61.4%。与测得速度最快的基线相比，在 GPU 和 CPU 上，端到端延迟平均降低 44.0%；在 Android INT8 上，平均降低 47.2%。在运行时模态缺失程度变化的情况下，SemARC 仍会跳过可用模态；在 24 种条件中的 21 种条件下，其宏平均 F1 达到或超过最佳基线，同时总 GFLOPs 平均降低 14.8%。因此，SemARC 为在异构设备上实现高效多模态推理提供了一条切实可行的路径。
12:00 arXiv cs.LG 75
arXiv:2610.07218v1 公告类型：新 摘要：表示学习的最新进展凸显了常曲率模型在复杂数据建模中的实用价值，例如双曲空间和球面空间。混合曲率模型通过整合多个常曲率成分进一步提升了这一能力。然而，这些模型通常会独立地学习每个成分空间，因为具有不同曲率的空间本质上是异质的，并且缺乏统一的度量。因此，它们缺少在不同空间之间保持几何一致性的显式机制。此外，如何比较混合曲率空间上的概率分布仍未得到探索。为了比较异质空间上的分布，Gromov-Wasserstein（GW）距离通过对齐空间内部的几何结构提供了一个有原则的框架。在此基础上，我们提出了常曲率切片 Gromov-Wasserstein（CCSGW），这是一种用于对齐定义在异质常曲率空间上的分布的新型散度。我们首先为球面空间引入缺失的基于测地线的一维投影，随后将切片 GW 扩展到常曲率空间，从而能够在具有不同曲率的流形之间进行高效且有原则的比较。该公式保留了内在几何关系，同时避免了高昂的计算成本。我们提供了理论分析，表明 CCSGW 能够控制异质空间之间的内在几何差异，从而促进分布层面的几何一致性。通过将 CCSGW 融入现有的混合曲率学习任务，包括图异常检测、图节点分类和多模态学习，我们在多种设置下都观察到了稳定的性能提升。
12:00 arXiv cs.LG 75
arXiv:2610.06855v1 公告类型：新 摘要：可扩展的驾驶员识别需要嵌入模型在车队规模不断扩大时仍保持良好的判别性能，然而，现有的三元组损失方法会随着驾驶员数量的增加而迅速退化，并且在严格的时间评估下容易过拟合于特定会话模式。我们提出 TEMPEST，这是一种 Temporal Convolutional Network 嵌入模型，采用加性角度边际（ArcFace）损失进行训练，在归一化角度空间中实现全局类别级分离。TEMPEST 将 60 秒的多模态驾驶窗口映射为紧凑的 96 维嵌入，支持无需重新训练或重新拟合分类器的真正动态注册。在包含 45 名驾驶员的数据集上进行严格的时间评估时，TEMPEST 达到 91.71% 的 Rank-1 准确率，比表现最佳的经典模型高 17.9 个百分点，比性能最强的三元组损失基线高 58.4 个百分点。当驾驶员池从 10 人扩大到 45 人时，TEMPEST 的性能仅下降 4.3 个百分点，而有监督和无监督三元组损失基线分别下降 22 个百分点和 32.5 个百分点。在公开的 KIA Soul 数据集上，其跨会话优势也得到验证：在会话内和跨会话设置下，TEMPEST 分别比表现最佳的经典模型高 7.3 个百分点和 14.3 个百分点。TEMPEST 拥有 720K 个参数、2.80 MB 的存储占用，并在 50 个 epoch 内收敛，为可扩展的行为驾驶员生物特征识别建立了严格且可复现的基线。
15:56 arXiv cs.AI 74
胃腺癌（GA）是全球癌症相关死亡的主要原因之一，从全视野切片图像（WSI）中准确分类组织病理学亚型对于制定有效的治疗方案至关重要。尽管将病理报告文本与WSI相结合的多模态方法能够提高分类性能，但现有方法通常依赖计算成本高昂的Transformer架构和大型语言模型。我们提出了一种多模态知识蒸馏（MKD）框架，使用低秩多模态融合（LMF）将预训练的WSI图像编码器与临床文本编码器相结合，从而在训练过程中高效地建模跨模态交互。每张WSI都表示为一个图像块集合，并与一条切片级诊断描述配对。教师模型学习融合后的图像-文本表示，用于亚型分类；学生模型则蒸馏这些知识，以实现准确的仅图像推理。我们在PatchGastric基准数据集上评估了该方法，其平均准确率至少比最先进的方法高3.35%，且无需依赖基于Transformer的融合、多任务学习或大型语言模型。源代码可在https://github.com/helomelo1/MKD-LMF获取。
16:47 arXiv cs.AI 79
多模态助手会根据包含图像的长期记忆回答问题。检索之后，每张检索到的图像要么以像素形式提供给回答模型（每张图像约占一千个视觉 token），要么以存储的文本代理形式提供，而后者往往缺少问题所询问的细节。我们发现，像素带来的收益通常来自一到两条检索到的记忆，并且可以在回答模型运行之前预测出来，无需读取任何全分辨率图像。在 PixelTriage 中，一个置于检索之后的插件使用一个不生成文本的小模型读取对话、每条检索记忆的简短注释和缩略图，并预测其像素信息能够带来的增益。该模型在合成记忆片段上进行训练，这些片段由冻结的 27B 模型标注：该模型分别在包含和不包含每条记忆像素信息的情况下回答每个问题。使用 7B 回答模型时，PixelTriage 在 M$^3$Exam、DMV 和 MemEye 上处于准确率—成本前沿，并且仅使用 11–23% 的视觉 token，同时准确率没有显著损失。在 DMV 上，与打开所有图像相比，它的回答速度快 2.9 倍。在相同预算下，它优于按检索顺序选择和统一缩小图像的方法，并且能够迁移到其他记忆系统以及 397B 回答模型。
16:48 arXiv cs.AI 84
多模态大语言模型已成为视觉理解的主流范式，但其需要将输入编码为密集且固定大小的图像块 token，因此产生了高昂的成本。然而，视觉信息的分布并不均匀：某些区域需要细粒度的细节，而另一些区域则可以采用紧凑表示。下采样会牺牲这些细节，而现有的 token 剪枝和自适应方法在内容自适应粒度、任务泛化能力，以及与现代 MLLMs 和服务基础设施的集成方面仍存在局限。要克服这些限制，需要基础模型以端到端方式学习在何处以及以何种粒度分配视觉表示；我们将这种原生能力称为弹性视觉表示编织。我们提出 VisionWeave，通过大规模训练在前沿级 MLLMs 中建立这一能力。该方法包含两个组件：门控空间池化器在共享的 MRoPE 坐标系中，同时构建粗粒度表示和原生细粒度表示；粒度路由器则学习根据内容自适应地分配二者。仅通过自蒸馏，我们在 Qwen3.5-4B 上验证了这一能力，并使用超过 30K A100 GPU 小时将其扩展到 Qwen3.8-27B。基于 Qwen3.8-27B，VisionWeave 可根据视觉内容自适应调整 token 节省比例，在八项基准测试中平均节省 43.0% 的 token，同时保留 98.9% 的原生性能；相比之下，在固定 50% 节省目标下，token 剪枝基线仅能保留 88% 的性能。大量评估证实，该方法在不同任务、分辨率和视频帧数量下均能实现稳健的效率—质量权衡。在 SGLang 服务引擎上部署时，我们的方法将吞吐量提升了 2.3 倍，同时将平均 TTFT 降低 54.4%，将平均 TPOT 降低 60.6%。综上，我们认为这些结果表明，弹性视觉编织有望成为下一代多模态模型的一项重要能力。
18:30 arXiv cs.AI 81
对话式 MLLM Agents 越来越需要在专业工作流中提供协助，从 AI 研究和工程设计，到产品管理和业务运营。然而，这一能力仍缺乏充分探索：现有基准测试主要聚焦于非正式的日常交互和个人生活场景，所涉及的通常是摄影类自然图像、孤立的静态工件以及面向回忆的问题。相比之下，专业场景往往包含结构化、信息密集型的工件，这些工件会频繁经历修订和权威更新；同时还包含组合式查询，需要整合多个工件版本并精确跟踪状态。为应对这些挑战，我们提出 DSV-Mem，一个用于评估 Dense Stateful Visual Memory 的基准。DSV-Mem 包含经专家审阅的场景，以及涵盖五类面向用户的问题共 1,000 道（Current State、Past State、Derived State、Change History 和 Conflict/Refusal）。一种受 Hartley 启发的标准更倾向于选择需要更广泛检查视觉证据的问题。我们还提出了一个生成框架，通过将状态转换合成与对话填充解耦，生成评测套件。在涵盖前沿模型、开放权重模型及记忆管理方法的 27 种配置上进行评估后发现，最强基线在 DSV-Mem 上的得分低于 45%。分析得出以下发现：1）多模态性和信息密度都会增加难度，但状态演化，尤其是支配性更新的数量，是测试中的主导因素。原始对话/文本堆长度、OCR 和算术并非主要瓶颈；2）模型在回答前往往无法根据先前的状态更新核验用户前提；3）增加推理投入和采用记忆管理方法只能带来有限收益，而具备状态感知能力的设计则更为有效。该基准及其代码将公开发布。
18:31 arXiv cs.AI 72
多模态大语言模型（MLLM）正在快速发展，而传统基准开发却相对滞后，导致对新近发现的能力缺口展开研究的进程被延误。此类研究需要具备表现力的任务格式和按需构建流程：信息丰富的图表使图表问答（Chart QA）适合用于探测感知与推理的耦合能力。自动化 Chart QA 构建旨在将已识别的能力缺口按需转化为针对性样本，从而缩短基准开发周期。然而，当前方法通常将目标引导与从零生成分开处理：目标引导系统往往需要准备好的数据、图表或模板，而从零生成系统主要确保产物有效，却没有明确控制新合成的要求与内容是否仍与外部指定的诊断目标保持一致。我们提出 ChartBmkAgent，通过基于稀疏错误分类规范构建完整的 Chart QA 样本，将已识别的能力缺口转化为针对性的诊断证据。在整个构建过程中，一个中央控制框架负责监管专用智能体，要求各阶段提供与原始错误类别保持一致的证据，并记录每项接收决策的依据。在覆盖整个分类体系的300个样本上，MLLM 的准确率介于32.7%和84.3%之间，并呈现出不同的类别特征，表明生成的样本能够揭示能力差异。在三组源模型比较中，针对性后续测试的得分为50.0%，而匹配对照组为82.2%（$p=8.96\times10^{-6}$）；六组跨模型比较均呈现相同方向，证明了针对性验证和诊断数据生成的有效性。多个评估模型对每个样本是否测试了其指定的错误类别进行了评估；其中86.4%的样本符合这一标准，为目标保持性提供了实证证据。
18:43 arXiv cs.AI 79
基于航点回归的端到端规划器能够实现出色的开环精度，但它们主要学习模仿专家轨迹几何形状，仍难以适应部署时的安全约束。我们提出一种基于查询的代价学习框架，用于估计动态可达自车轨迹查询的有界代价，而不是稠密 BEV 网格单元或少量回归轨迹集合。紧凑的联合场景 token 能够捕捉连贯的多模态交通参与者未来状态，而考虑应急情形的代价聚合与代价引导的簇内 MPPI 混合，则将学习到的代价拓扑转换为可行的自车规划方案。在 nuScenes 上，我们的方法优于 ST-P3 和 NMP 等先前的代价估计规划器，在碰撞率方面超过大多数回归基线，同时在 L2 指标上保持竞争力，并保留了可解释的代价接口。在真实世界驾驶日志上，无需微调，所提出的规划器相比 SparseDrive 和 Alpamayo 降低了碰撞率，同时保持了多样化的候选轨迹集合。
06:51 Hacker News 熱門 65
03:57 DeepMind Blog 78
00:44 arXiv cs.AI 72
长视频理解对记忆提出了很高要求，因为回答问题通常需要检索分布在较长时间跨度中的信息。现有方法大致遵循两种范式：查询驱动的探索容易受到定位错误的影响，而与查询无关的记忆构建则可能遗漏特定于问题的细节。我们提出 VideoTapestry，一种无需训练的多智能体框架，通过由粗到细的查询驱动细化，自适应地调整预构建的分层视频记忆。预构建记忆将视频内容组织为三个层级，分别捕捉全局叙事上下文、事件级时间结构和细粒度关系证据。为支持由粗到细的定位与观察，我们为每个层级分配一个专门的智能体，使检索和细化保持在特定尺度的上下文范围内。在查询引导下，这些智能体重新访问相关视频区域，并通过有针对性的多模态观察丰富各层记忆。随后，根据原始层级结构对这些细化结果进行组装，形成复合的查询自适应记忆：以紧凑形式保留全局上下文，同时沿与查询相关的分支保留细粒度证据，以供最终推理使用。与直接进行 GPT-5.5 推理相比，VideoTapestry 在 LVBench、LongVideoBench (Long)、Video-MME (Long) 和 EgoSchema 上的绝对准确率分别提升了 17.2%、14.9%、9.8% 和 7.0%，在所有竞争方法中取得了当前最佳结果。
01:58 arXiv cs.AI 73
记忆已成为 LLM 智能体生态系统不可或缺的一部分，支持跨交互的信息留存与复用。然而，现有大多数智能体记忆系统以查询无关的方式构建记忆，这可能导致不必要的预处理开销，并丢弃日后证明至关重要的细节。近期研究开始将记忆处理转向运行时适配，但通常专注于特定操作或固定处理方案，对于性能、成本与延迟的灵活控制仍缺乏充分探索。为应对这一挑战，我们提出 MemPilot，这是一种灵活的框架，可根据不同的性能—成本—延迟偏好编排按需记忆整理。具体而言，我们通过强化学习优化一个多步骤 LLM 策略，使其能够在从查询无关记忆中检索，以及将原始多模态历史交由异构 LLM 和 VLMs 进行查询特定的整理之间进行迭代选择。该策略联合控制证据量、整理指令、模型选择与视觉访问，从而实现对运行时计算的细粒度分配。为在相互竞争的目标下优化这一策略，我们通过在聚合前分别估计各目标的优势，对按目标的优势解耦方法进行了适配。此外，我们引入了基于前缀的边际效用估计，以在多步骤 rollout 中实现细粒度的信用分配。在五个多模态智能体记忆基准上的实验表明，在不同优化偏好下，该方法均能取得良好的性能—成本—延迟权衡；与现有具备权衡感知能力的基线方法相比，偏好扫描能够获得更广泛的帕累托前沿。
01:59 arXiv cs.AI 80
多模态 Diffusion Transformers（MM-DiTs）在整个生成过程中联合处理视觉和文本表示。这些模型通过多模态注意力反复更新文本词元，形成动态的上下文词元，但其功能尚未得到充分理解。在本文中，我们提出了一个通过自然语言询问来读取这一上下文空间的框架。我们训练了一个轻量级瓶颈网络，将中间上下文词元映射到冻结的 Large Language Model（LLM）的输入空间，使 LLM 能够直接根据这些隐藏表示回答有关正在生成图像的问题。我们的读取器揭示出，上下文词元编码了正在生成场景的丰富全局表示：与特定生成相关的语义——包括提示词中未明确指定的属性——在去噪过程的很早阶段就能被读取，而越来越细粒度的细节则会随着时间推移逐渐变得可读取。值得注意的是，即使 MM-DiT 接收到的是空提示词，这些信息仍然可以被解码，这表明上下文词元会从不断演化的视觉表示本身中积累大量图像特定信息。我们进一步发现，上下文表示越容易被读取的生成结果，往往获得越高的人类偏好评分。基于这些观察，我们提出了 Contextual Alignment，这是一种训练技术，能够显式强化上下文词元中编码的视觉语义信息，从而提升生成质量和分布覆盖度。总的来说，我们的结果表明，上下文词元既是理解 MM-DiTs 内部动态的可解释窗口，也是改进生成模型的有效优化目标。
11:29 arXiv cs.AI 73
大型语言模型（LLMs）在多变量时间序列预测和异常检测方面展现出巨大潜力。现有研究主要通过直接数值标记化或启发式文本描述，将时间信息注入LLMs。然而，LLMs仍难以感知数值时间序列背后的结构模式，尤其是被离散数值标记所掩盖的季节性和趋势成分。为弥合这一差距，我们提出了FreSia，这是一种具备频率感知能力的框架，旨在建立LLMs语义空间与时间序列频率空间之间的有效对齐。具体而言，FreSia中的频率引导提示机制FGPrompt提取时间序列在频域中的结构，并将其投影到针对LLMs语义空间设计的提示中。此外，我们引入了全局驱动的上下文学习（Global-driven Context Learning，GCL）组件，利用全局CLS驱动的探针生成全局上下文，以弥合时域与频域之间的差距，并融合多模态信息。在八个预测基准上的实验表明，FreSia在MSE和MAE方面分别取得了13.48%和8.06%的平均提升。
23:15 arXiv cs.AI 81
多模态大语言模型（MLLMs）通过将大语言模型（LLM）与视觉、视频或音频等目标模态的编码器相结合，实现了强大的模态理解能力。然而，要提升 MLLM 对特定模态的能力，通常需要在大规模模态专属数据集上进行额外训练，从而产生高昂的数据收集和计算成本。模型合并提供了另一种选择，但对于数据稀缺、单样本规模较大或具有领域特定性的模态（例如音频和视频）而言，模型合并通常难以实现，因为同模态的模型变体很少可用。在本文中，我们刻画了一种有趣的不对称现象：将一个对齐良好且数据丰富的源模态 MLLM 合并到一个数据稀缺的目标模态 MLLM 中，可以在目标模态自身的基准测试上显著提升其性能。我们的理论与实证分析表明，这种增益源于模态特定词元与文本词元之间对齐程度的提升，而这种提升由更强的供体模态所诱导。具体而言，我们推导出一个关于互信息的下界，该下界随对齐相关量单调变化，并且与下游 MLLM 性能高度相关。基于这一原理，我们提出了方向性跨模态对齐迁移（DCAT），这是一种新型框架，可将强大且对齐良好的源（供体）模态中的文本对齐迁移到较弱的目标（接收方）模态，在无需进一步微调的情况下提升目标模态的性能。我们进一步表明，这一增强对齐的目标函数存在一个闭式权重空间解，仅需利用一个小规模校准集即可计算得到。DCAT 的性能优于现有模型合并方法，为跨模态对齐迁移提供了一条高效路径。包含代码的项目主页见 \url{https://seohoiki3215.github.io/DCAT_project_page}。
02:38 arXiv cs.AI 76
自动化神经发育评估日益结合计算机视觉、语音、眼动追踪、生理信号和机器学习，但多模态性与判别能力并不能证明构念效度、临床实用性或对行为差异的适当解释。我们提出一种可检验的、具备神经多样性感知能力的多模态情感计算架构，其中，相对于总体的偏离不被视为功能受损的充分证据。本文是一篇概念性文章，既未报告新的参与者层面研究，也未训练预测系统，且不主张任何预测或临床优越性。该框架在整个推理过程中始终区分可观测信号、模态质量与可用性、情境、相对于总体的信息、合并的个体内参照，以及在证据充分时采用的情境条件化个体内参照和预测不确定性。框架定义了结构化的决策支持输出，并提出了针对目标效度、时间完整性、情境泄漏、缺失模态鲁棒性、校准、亚组评估、可解释性、隐私保护和人工决策边界的可审计要求。本文的贡献在于架构而非算法：它规定了可通过实证检验的约束条件，这些约束可采用不同的多模态学习方法加以实现。自闭症构成本文的主要动机性证据基础，但不预设这些结论能够不加改变地迁移至其他神经发育状况。
07:34 Simon Willison 64
Research: Qwen3.8 27B addition in words Colin Frasier posted on Bluesky about an experiment he ran over two years ago using GPT-4o to see how well it could "compute the sum but return the answer in words" across increasingly large numbers. Here's the chart he shared of those results: Heatmap chart of accuracy on an addition prompt, colored from dark green (high) through yellow to dark red (low). Title: "What is {a} + {b}? Please write your answer in words. Do not include any other text or information, just the answer in words." Subtitle: 30 randomly selected pairs for each digit combination (n = 30 * 13 * 13 = 5070). X axis: Number of digits in a, 1 to 13. Y axis: Number of digits in b, 1 to 13. Legend: Accuracy, 1.00, 0.75, 0.50, 0.25, 0.00. Values by row, listed for a = 1 to 13. b = 13: 100%, 77%, 27%, 20%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%. b = 12: 97%, 80%, 80%, 40%, 23%, 20%, 7%, 13%, 20%, 27%, 67%, 63%, 3%. b = 11: 97%, 97%, 53%, 17%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 37%, 0%. b = 10: 100%, 90%, 47%, 20%, 7%, 0%, 0%, 0%, 3%, 0%, 0%, 7%, 0%. b = 9: 97%, 93%, 80%, 77%, 53%, 67%, 47%, 87%, 97%, 3%, 0%, 13%, 0%. b = 8: 93%, 87%, 53%, 43%, 7%, 0%, 0%, 13%, 87%, 0%, 0%, 0%, 0%. b = 7: 93%, 93%, 47%, 10%, 13%, 20%, 23%, 0%, 70%, 0%, 0%, 0%, 0%. b = 6: 100%, 100%, 100%, 83%, 97%, 97%, 23%, 0%, 53%, 3%, 0%, 10%, 0%. b = 5: 100%, 100%, 80%, 70%, 73%, 100%, 13%, 13%, 70%, 0%, 20%, 30%, 0%. b = 4: 100%, 100%, 93%, 100%, 60%, 97%, 20%, 50%, 67%, 53%, 40%, 40%, 40%. b = 3: 100%, 100%, 97%, 90%, 83%, 100%, 63%, 50%, 63%, 53%, 60%, 60%, 30%. b = 2: 100%, 100%, 90%, 97%, 93%, 100%, 93%, 83%, 90%, 83%, 87%, 87%, 83%. b = 1: 100%, 100%, 100%, 97%, 100%, 97%, 97%, 97%, 100%, 100%, 100%, 97%, 100%. I'm confident GPT-4o didn't cheat and use a calculator, especially since it got so many of the calculations wrong, but I was inspired to run the experiment again on local hardware (a DGX Spark) to explore the effect in a fully controlled environment. I pasted his image into a Codex Remote session (GPT-6 Astra) and had it run the same experiment using Qwen3.8-27B-Q4_K_M.gguf . Here's the result for a run of 30 attempts per combination with reasoning disabled: Heatmap in the same layout as the previous chart, using an orange (low) to white to blue (high) color scale, showing much lower accuracy overall. Title: Addition in words — Qwen3.8 27B Q4_K_M. Subtitle: Reasoning disabled · 30 fixed pairs per ordered digit-length cell (n = 5,070). Overall numeric accuracy: 1,195 / 5,070 (23.57%). X axis: Number of digits in a, 1 to 13. Y axis: Number of digits in b, 1 to 13. Legend: Accuracy, 100%, 75%, 50%, 25%, 0%. Values by row, listed for a = 1 to 13. b = 13: 17%, 13%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%. b = 12: 53%, 20%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%. b = 11: 47%, 10%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%, 0%. b = 10: 70%, 27%, 3%, 0%, 0%, 0%, 0%, 0%, 0%, 13%, 0%, 0%, 0%. b = 9: 77%, 47%, 3%, 0%, 0%, 0%, 0%, 3%, 7%, 0%, 0%, 0%, 0%. b = 8: 53%, 20%, 0%, 0%, 0%, 0%, 7%, 13%, 0%, 0%, 0%, 0%, 0%. b = 7: 53%, 23%, 17%, 10%, 3%, 3%, 13%, 3%, 0%, 0%, 0%, 0%, 0%. b = 6: 60%, 60%, 33%, 10%, 53%, 47%, 7%, 3%, 0%, 0%, 0%, 0%, 0%. b = 5: 73%, 67%, 87%, 80%, 53%, 40%, 0%, 0%, 3%, 0%, 0%, 0%, 0%. b = 4: 83%, 93%, 90%, 93%, 53%, 13%, 0%, 0%, 0%, 0%, 0%, 0%, 0%. b = 3: 100%, 93%, 90%, 80%, 67%, 37%, 17%, 0%, 0%, 3%, 0%, 0%, 0%. b = 2: 100%, 100%, 93%, 90%, 77%, 77%, 43%, 50%, 63%, 43%, 40%, 13%, 23%. b = 1: 97%, 100%, 100%, 100%, 80%, 67%, 77%, 80%, 80%, 60%, 43%, 30%, 37%. Footnote: Colorblind-safe orange–blue scale; percentages provide a redundant non-color encoding. Then I ran it again with reasoning enabled. This took a lot longer per pair, so instead of running 30 samples per square I ran just one - which results in a much less visually appealing heatmap since each square is either 100% or 0%: Heatmap in the same layout as the previous charts, almost entirely blue. Title: Addition in words — Qwen3.8 27B — medium reasoning pilot. Subtitle: 1 fixed pair per ordered digit-length cell · easiest first (n = 169). X axis: Number of digits in a, 1 to 13. Y axis: Number of digits in b, 1 to 13. Legend: Accuracy, 1.00, 0.75, 0.50, 0.25, 0.00. Every cell shows 100% except two orange cells showing 0%: a = 2 with b = 8, and a = 12 with b = 9. It got the right answer in 167 out of 169 attempts, and since these were one-shot I'm confident a second run would produce different results here. Here's a version of the report that includes the reasoning traces from some of those larger calculations, which include text like this: Wait, let me redo this more carefully. 4,299,366,105,622 6,088,794,067,970 Let me align them: 4 2 9 9 3 6 6 1 0 5 6 2 2 6 0 8 8 7 9 4 0 6 7 9 7 0 Adding from right to left: Position 1 (units): 2 + 0 = 2 Position 2 (tens): 2 + 7 = 9 Position 3 (hundreds): 6 + 9 = 15, write 5, carry 1 Tags: mathematics , ai , generative-ai , local-llms , llms , qwen , llm-reasoning , dgx-spark
12:00 arXiv cs.LG 74
arXiv:2604.11730v5 公告类型：replace-cross 摘要：健康干预借助行为科学，通过提供帮助患者养成并保持健康习惯的框架来促进其行为改变，从而改善医疗效果。面对面干预成本高且难以规模化，尤其是在资源有限的地区。数字健康干预提供了一种具有成本效益的方法，有望支持独立生活和自我管理。近年来，借助机器学习实现此类干预的自动化受到广泛关注。矛盾和犹豫（A/H）在个体延迟、回避或放弃健康干预的过程中发挥着主要作用。A/H 是细微且相互冲突的情绪，使人处于对某种行为的正面评价与负面评价之间，或处于接受参与该行为与拒绝参与之间的状态。它们表现为不同模态之间或同一模态内部的情感不一致，例如语言、面部表情、声音表达和肢体语言中的不一致。尽管可以培训专家识别 A/H，但将其整合到数字健康干预中成本高且效果较差。因此，自动化 A/H 识别对于实现数字健康干预的个性化和成本效益至关重要。在本文中，我们探讨了深度学习模型在视频 A/H 识别中的应用，这一天然属于多模态任务。具体而言，本文涵盖三种学习设置：监督学习、用于个性化的无监督域适应，以及通过大型语言模型（LLMs）进行零样本推理。我们的实验在独特且近期发布的 BAH 视频数据集上开展，该数据集用于 A/H 识别。结果显示模型性能有限，表明要准确识别 A/H，还需要更加适配的多模态模型。为了利用模态内部及模态之间的冲突，有必要采用更好的时空建模和多模态融合方法。
12:00 arXiv cs.LG 82
arXiv:2505.13439v2 Announce Type: replace-cross 摘要：自回归（AR）模型近期在图像生成方面展现出强大性能，其中一个关键组件是视觉分词器（VT），它将连续的像素输入映射为离散的 token 序列。VT 的质量在很大程度上决定了 AR 模型性能的上限。然而，当前的离散 VT 明显落后于连续变分自编码器（VAEs），导致图像重建质量下降，以及细节和文本保留能力较差。现有基准主要关注端到端生成质量，未能将 VT 的性能单独分离出来进行评估。为弥补这一空缺，我们推出了 VTBench，这是一个全面的基准，围绕三项核心任务系统评估 VT：图像重建、细节保留和文本保留，并涵盖多种评估场景。我们利用一组指标系统评估了当前最先进的 VT，以衡量重建图像的质量。研究结果表明，与离散 VT 相比，连续 VAE 能够生成更优越的视觉表征，尤其是在保留空间结构和语义细节方面。相比之下，离散 VT 生成的退化表征通常会导致重建失真、细粒度纹理丢失，以及无法保留文本和物体的完整性。此外，我们在 GPT-4o 图像生成上开展了实验，并讨论了其潜在的 AR 特性，为理解视觉分词的作用提供了新的见解。我们公开发布了基准和代码库，以支持进一步研究，并呼吁社区开发强大且通用的开源 VT。
12:00 arXiv cs.LG 72
arXiv:2311.18837v2 公告类型：replace-cross 摘要：Diffusion Models 在图像和视频生成方面取得了显著成功。这推动了人们对视频编辑任务日益增长的兴趣，即根据给定的文本描述编辑视频。然而，现有的大多数方法仅关注短视频片段的编辑，并且依赖耗时的调优或推理过程。我们首次提出 Video Instruction Diffusion（VIDiff），这是一种面向广泛视频任务的统一基础模型。这些任务既包括理解类任务（如语言引导的视频目标分割），也包括生成类任务（视频编辑和增强）。我们的模型能够根据用户指令，在数秒内编辑并生成所需结果。此外，我们设计了一种迭代式自回归方法，以确保对长视频进行编辑和增强时的一致性。我们针对多样化的输入视频和文字指令，在定性和定量层面都提供了令人信服的生成结果。更多示例请见我们的网站 https://ChenHsing.github.io/VIDiff。
12:00 arXiv cs.LG 75
arXiv:2508.17497v3 发布类型：替换 摘要：多模态表示学习主要由 CLIP 等对比模型推动，这类模型通过对齐成对的图像—文本样本来学习共享嵌入空间。尽管这类模型在通用表示学习方面表现有效，但通常会为每个样本生成一个单一嵌入，并将其复用于不同的语义关系和上下文。然而，在许多现实应用中，样本之间的相关性本质上取决于关系，不同的语义关系会突出多模态数据的不同方面。在本文中，我们提出 Relation-Conditioned Multimodal Learning (RCML)，这是一个将语义关系作为多模态表示学习显式条件的框架。RCML 不再生成与关系无关的嵌入，而是根据自然语言关系描述学习条件化表示，使同一样本在不同关系上下文中能够以不同方式表示。该框架构建关系感知的训练对，引入关系条件模块以使嵌入适应关系语义，并采用统一的对比目标，同时建模跨模态对齐和由关系诱导的样本间结构。在多个数据集上的实验表明，RCML 在零样本、微调和域外设置下的检索与分类任务中均持续优于强基线，凸显了利用语义关系引导多模态表示学习的有效性。
12:00 arXiv cs.LG 83
arXiv:2610.03585v1 公告类型：cross 摘要：针对基于 LLM 的智能体的安全基准测试通常将攻击成功率（ASR）作为衡量模型鲁棒性的指标，并使用这些分数比较不同模型和防御机制，假设这些分数能够描述智能体的安全性。在本文中，我们探究基准测试的表示方式是否也会影响其测量结果。为衡量基准表示方式的影响，我们引入威胁保持表示敏感性（TPRS），用于测量在保持底层任务、有害行为、安全策略、真实标签、环境和评估标准不变的情况下，仅改变智能体可见的表示方式时，ASR 的变化程度。在 Agent Security Bench（ASB）上，将与威胁相关的工具名称替换为与威胁中性的名称后，GPT-5-mini 的已实施攻击成功率提高了 11.67 个百分点，Claude Haiku 4.5 提高了 13.21 个百分点。在 MCPTox 上，将原本中性的工具名称替换为明确与威胁相关的名称后，GPT-5-mini 的 ASR 降低了 11.00 个百分点，Claude Haiku 4.5 降低了 4.11 个百分点。在 AgentDojo 上，向与攻击相关的工具添加与威胁相关的措辞后，GPT-4o-mini 的 ASR 仅变化了 0.50 个百分点，但在需要使用该工具的任务中，良性效用下降了 5.36 个百分点。我们在 MCPTox 上开展了一项实验，观察到一个在 token 数量、长度和大小写方面均匹配的威胁中性名称，可以复现大部分由明确威胁相关名称引起的变化（在 GPT-5-mini 上为 11.00 个百分点中的 8.54 个百分点）。结果表明，在一种表示方式下测得的安全分数，可能无法推广到同一安全问题的其他威胁保持表示方式。因此，鲁棒性声明应由在一组受控的威胁保持表示方式上的表现加以支持，而不应依赖单一且受表示方式影响的分数。
12:00 arXiv cs.LG 84
arXiv:2610.03574v1 发布类型：cross 摘要：我们推出了 HyperBrowseComp，这是一个多语言、多模态浏览基准，包含 13 种语言的 423 个由人工编写并经人工验证的问题，撰写者均为母语者或具备高水平语言能力的使用者。这些问题旨在具有极高难度。每个问题都针对一个简洁且可公开验证的答案，而发现答案需要定位晦涩的证据、沿着多步线索链进行追踪，或查阅视频、扫描文档、图像和地图等异构来源。我们使用无法访问互联网的模型对问题进行评估，并筛除较为简单的问题，以降低仅凭参数知识即可作答的可能性。我们依据统一的代理协议，使用各提供商原生的搜索工具和共享的外部检索工具，对多个模型进行了评估。为 contextualize 模型的表现与付出，我们还针对部分问题开展了人工评估。HyperBrowseComp 为跨语言、跨证据模态的持续信息搜寻提供了一个高难度测试平台，其难点源于在开放网络上发现并连接各种证据。
12:00 arXiv cs.LG 77
arXiv:2610.03465v1 公告类型：cross 摘要：K 折交叉验证（CV）被广泛用作样本外性能的证据，尽管在异质数据下，各折既不是相互独立的实验，也不具有同等的信息量。Cross Upper-Bound Validation（CUBV）以真实风险的保守上界取代逐点 CV 准确率。本文通过一个统一的指数框架对 CUBV 进行推广，在该框架中，泛化差距的矩母函数由累积量包络 gamma(lambda) 控制。由此得到一族风险界，涵盖 Hoeffding、Bernstein、依赖感知、PAC-Bayesian 以及异质源融合等情形。对于 K 折 CV，折间泛化差距的依赖关系通过联合次高斯代理矩阵进行建模。在等相关条件下，这给出有效折数 Keff = K/[1+(K-1)rho]，表明当各折高度依赖时，增加 K 未必会增加统计证据。该框架还扩展到预测器的后验分布和加权多源融合，其中权重通过最小化未来风险的上界来选择，而非仅依据经验误差。我们在异质多模态高斯混合数据上使用训练得到的线性分类器开展实验，将 K 折 CV 与全样本重代入加风险校正进行比较，并通过覆盖率和紧致性评估界。在低维小样本情形下，K 折划分可能增加不确定性，因为单个折无法充分代表少数模态；相比之下，经校正的重代入仍可保持有效且具有更高紧致性；随着样本量增加，这一效应会消失。总体而言，gamma-CUBV 将观测性能、不确定性、依赖关系、模型复杂度和置信度分解为明确的项，为从 CV 得分走向风险陈述提供了统一路径，并为神经影像等异质小样本应用提供了一种有原则的验证准则。
12:00 arXiv cs.LG 80
arXiv:2610.03389v1 发布类型：cross 摘要：视觉语言模型（VLM）会产生显著的推理成本，因为每个视觉 token 都要经过每个解码器层中的注意力投影和 MLP 投影，即使在许多深度位置并不需要针对特定 token 的视觉计算。我们提出 Patch-to-Prune（P2P），其受机制可解释性启发，是一种无需训练的框架，将激活修补从诊断工具转变为推理时的计算旁路机制。P2P 执行由验证引导的前向和后向层扫描，以识别解码器中可以在用户指定的精度容忍范围内，用固定的中性代理激活向量替代视觉 token 投影输出的区域。不同于传统的 token 剪枝方法，P2P 保留序列长度、token 顺序、位置信息、注意力掩码和残差路径，从而在不移除 token 或修改预训练模型权重的情况下剪枝计算。我们在来自 Qwen2.5-VL 和 LLaVA 系列的四个 VLM 上进行评估，涵盖七个多模态基准，并使用彼此完全不重叠的校准集、验证集和测试集划分。在 3% 的容忍度下，P2P 保留了约 94% 的稠密模型精度，同时将 FLOPs 降低了 55%。除效率提升之外，我们的逐层分析表明，VLM 中的视觉处理并非均匀分布在解码器深度上：早期和晚期层通常只需要很少的特定 token 视觉计算，而中间层似乎执行了大部分与任务相关的视觉整合，使后续推理能够主要依赖已经嵌入共享残差表示和文本表示中的视觉信息。因此，P2P 既是一个高效的推理框架，也是一个用于理解 VLM 中视觉信息处理因果机制的窗口。
12:00 arXiv cs.LG 76
arXiv:2610.02269v1 公告类型：cross 摘要：急诊胸部 X 光片（CXR）分诊存在结构性的模态鸿沟：报告在分诊决策之后才到达，而多模态基础模型需要图像-文本输入。我们提出 Variational Risk Minimization（VRM），这是一种蒸馏框架，将 LVLM 生成的多种报告变体视为潜在临床解释的蒙特卡洛样本。VRM 不同于从单一教师目标进行蒸馏，而是从经过变分边缘化的教师分布中学习，从而在模态缺失约束下实现具备不确定性感知能力的监督。在编码器家族匹配的条件下，VRM 优于直接微调基线，并在面对幻觉监督时实现强大的恢复能力，同时提升校准性能。边缘化监督降低了报告选择的不稳定性。在紧凑型边缘学生模型实例中，置信度门控级联在平均延迟 103ms、云端升级比例 20.3% 的情况下达到 0.941 的 AUC，为云边临床工作流提供了明确的可靠性-延迟运行点。
12:00 arXiv cs.LG 76
arXiv:2610.02214v1 公告类型：cross 摘要：船舶结构决定船舶的强度、安全性和可制造性，但其设计必须满足船级社的数百项要求，使设计过程复杂且反复迭代。由于缺乏将设计几何、结构性能和基于规范的约束联系起来的结构化数据集，数据驱动方法受到限制。本文提出 MiDShip，一个包含 12,753 个合成货舱结构设计的多模态数据集：其中 6,020 个为随机生成，496 个由受 SGLD 启发的过程生成，6,237 个由方程引导的修复过程生成。每个设计都包含参数化数据、完整且可用于网格划分的三维几何模型、工程图纸及标注、物料清单和初步结构评估结果。此外，还对源自 ABS MVR 子集的 25 项约束进行了评估。随机设计中没有一个满足全部约束。在受 SGLD 启发生成的设计中，322 个（64.9%）完全合规，平均违反 0.409 项约束，比种子设计平均值低 82.7%，比随机设计平均值低 96.9%。通过 LLM 辅助代码分析开发的修复过程生成了 4,952 个完全合规的设计（79.4%），平均违反 0.296 项约束，比配对源设计的平均值低 97.1%。在等规模比较中，缩放后的 120 参数空间内，修复设计、SGLD 批次和随机设计的平均最近邻距离分别为 3.495、1.144 和 3.729。本文的主要贡献是构建了同步数据集及其生成与评估基础设施；生成研究旨在展示其效用，而非提出新的优化算法。MiDShip 支持船舶结构领域的机器学习、生成式设计和基于规则的自动化评估。
12:00 arXiv cs.LG 74
arXiv:2610.03546v1 公告类型：新 摘要：EEG 基础模型（EFM）能够从大规模 EEG 数据中学习可复用知识，而许多 EEG 记录还包含伴随的生理信号，这些信号可提供超越纯 EEG 接口的互补信息。所面临的挑战是，在通过无标签目标数据推断出的适配过程中，将预训练知识保留下来，同时将 EFM 扩展到异构多模态记录。我们提出 ZeroMAG，一种零样本多模态适配器生成框架，利用无标签目标记录扩展冻结的 EEG 编码器和预测头，无需目标标签或目标侧优化。在 ZeroMAG 流程中，目标数据集完全不参与任何模型训练和模型选择。ZeroMAG 围绕一个配置无关的适配器组织伴随模态，从无标签记录和任务上下文中构建模态—受试者—任务条件，并在从源适配器中学习得到的函数约束潜在空间内生成适配器权重。在六个留出的目标数据集和三个 EFM 骨干模型上，与仅使用 EEG 的推理相比，ZeroMAG 将平衡准确率提升了 7.22 个百分点；与直接权重回归相比，提升了 4.89 个百分点；与有监督多模态适配相比，平均差距仅为 0.50 个百分点。消融实验进一步表明，从表示学习或条件生成中移除函数监督都会导致生成适配器的性能下降，证实了这两个组件各自的贡献。
12:00 arXiv cs.LG 75
arXiv:2610.03454v1 公告类型：新 摘要：多模态、高维学习领域的最新进展，使基础模型能够处理异构的大规模数据。然而，在测试时获取全部特征或模态的成本可能高得令人难以承受，而且往往存在冗余。因此，按顺序选择具有信息量的模态至关重要；但当下游任务或预测目标未知时，这一过程颇具挑战。为此，我们提出 ECHO-$k$，一种与任务无关的自监督模态获取学习原则：利用深度模型内部的预训练表示（例如来自基础模型的表示）作为代理目标，以概括跨模态信息。我们在线性化的理想设定下给出了理论保证，并据此提出用于顺序模态选择的强化学习（RL）策略。在与任务无关且无标签的获取基线中，ECHO-$k$ 在多种基础模型后端上始终提升了预算约束下的下游性能。我们的方法为成本感知的测试时部署提供了一条有理论依据的路径，对于任何测量成本高昂、时间受限且下游任务事先未知的多模态系统，都具有重要意义。
12:00 arXiv cs.LG 76
arXiv:2610.03289v1 公告类型：新 摘要：多模态大语言模型（MLLMs）在视觉-语言任务中取得了出色的性能，但视觉信息与文本信息如何跨层融合，其内部机制仍未得到充分理解。我们研究了两种架构范式下具有代表性的 MLLMs：拼接架构和原生多模态架构。我们开展了三项逐步关联的分析：对齐解耦用于识别发生变化的模态，注意力路由与熵用于刻画跨模态信息的分布方式，内在维度用于考察融合如何重塑特征空间。此外，我们分别开展了因果干预实验，以验证所得解释。作为补充分析，我们使用视觉 CKA 考察 Platonic Representation Hypothesis。这些分析共同揭示了两种不同的融合路径：拼接模型遵循先文本、后视觉的路径，而原生模型则表现出更早的视觉-文本协同适应与特征空间重组。该工作为理解多模态融合提供了机制性视角，并支持面向架构的多模态表征诊断。
12:00 arXiv cs.LG 77
arXiv:2610.03036v1 公告类型：新 摘要：我们介绍了 WebFovea，这是一种基于视觉的 Web Agent，在 WebRetriever Challenge 2026 中以 100 分中的 57.0 分获得第二名。该挑战在 WebRetriever 基准的 Protocol III（arXiv:2607.06118）上对 Agent 进行端到端评估：从实时网站上的入口 URL 开始，Agent 必须操作网站自身的界面，并返回可验证的答案。一个能力足够强的多模态大语言模型（LLM）对此是必要的，但仅有模型还不够。模型的决策要通过 harness 到达浏览器，harness 是连接模型与页面之间的代码。每一步都必须确保四件事正确完成：模型的回复必须被解析为预期的操作，操作必须在页面上生效，结果必须被准确反馈，并且必须向模型展示其所需的信息。在真实网站上，我们观察到的许多失败发生在这四个阶段之一，而不是模型的推理过程中。坐标空间不匹配导致每次点击都落在预期坐标的 3/4 处；对原生下拉菜单、iframe 内部以及文本框的操作会无提示地失败；此外，Agent 自行生成的 chat-template token 污染了 4.9% 的任务回合。WebFovea 强化了每个阶段，并在整个循环外围设置防护机制，使 Agent 始终遵守规则并控制在预算之内。这种四阶段视角并不依赖于具体模型，尽管其中一些单独的修复方案依赖于模型。由于四次提交使用的是同一个模型，我们官方隐藏集得分从 31.0 上升到 57.0，反映的是 harness 的改进，同时也包含实时网站上运行间差异所造成的波动。我们介绍了系统设计、各组件的证据（包括负面结果）、失败分析、局限性，以及包括将不同步骤路由到不同模型在内的后续路线图。
12:00 arXiv cs.LG 75
arXiv:2610.03035v1 公告类型：新 摘要：多模态学习常受到模态失衡的影响，即联合优化过程被单一模态主导。现有方法通常根据由预测不确定性或优化统计信息得到的分数差异来估计模态失衡。然而，由于不同模态具有不同的预测不确定性和学习动态，直接比较这些分数可能会将模态固有差异误判为进展差距，从而导致失衡估计产生偏差。本文提出 Function-Space Guided Multimodal Optimization（FGMO），利用函数空间进展信号评估各模态的优化进展，并协调不同模态之间的优化，以缓解模态失衡。具体而言，我们引入 Functional Progress Estimation（FPE），用于衡量每个模态的更新所引起的函数空间响应，并通过与损失对齐的单模态参考进行校准，从而得到可比较的进展信号。在此信号的基础上，Functional Response Control（FRC）重新分配模态级函数空间预算，并通过张量级学习率调整实现目标响应。理论分析在控制器状态失配有界的条件下，证明了 FRC 具有单步目标收缩性质；大量实验也表明，FGMO 在多个多模态基准测试中均具有良好效果。
12:00 arXiv cs.LG 73
arXiv:2610.02881v1 公告类型：新 提要：多模态图基础模型（MGFMs）旨在从具有异构节点模态的大规模图中学习可泛化的表示。然而，现实世界中的多模态属性图（MAGs）通常包含不完整的节点属性，从而限制了可用预训练语料的规模和多样性。此外，现有的MGFMs主要将图拓扑作为结构上下文加以利用，却忽视了其在引导多模态绑定和塑造统一表示空间方面的作用。为应对这些挑战，我们提出GraphBind，这是一种拓扑驱动的方法，利用图拓扑将丰富的模态信息绑定到统一的共享空间中。GraphBind的设计动机源于图拓扑的稳定性：它能够为多模态绑定提供结构参照和互补语义信息。具体而言，GraphBind利用拓扑将自身语义和可靠的邻域语义组织到一个融合结构与语义的全局共享空间中，并通过轻量级接口使该空间适应判别式任务和生成式任务。针对11个具有代表性的基线方法进行的大量实验表明，GraphBind在判别式任务和生成式任务上均取得领先性能，相较于最强基线方法的相对提升最高达28.1%。
12:00 arXiv cs.LG 78
arXiv:2610.02768v1 公告类型：新 摘要：多模态图学习近年来成为一种有效范式，用于将实体间关系纳入多模态表示。现有研究已在如何构建和优化图方面取得了 substantial 进展，但很少考虑一个更为根本的问题：对于给定的数据集和任务，是否应引入额外的关系结构。通过在多样化的数据集、任务和图构建器上开展实证研究，我们发现，图化并非始终有益：在某些情况下，引入关系结构能够带来显著提升，而在另一些情况下，收益有限，甚至会产生负面影响。这一观察促使我们提出一种新的观点：图构建应被视为基于预期效用的选择性决策，而非默认的预处理步骤。为解决这一问题，我们提出 MAG-SCOUT，这是一种图构建前评估框架，用于在生成完整拓扑结构之前，估计引入图结构是否有益。MAG-SCOUT 收集有限的关系证据，分析其对任务可能产生的特定贡献，并结合构建成本估计图化的预期效用，从而作出构建或跳过的决策。在六个多模态数据集、三个下游任务以及多种图构建器上的大量实验表明，MAG-SCOUT 能够有效识别何时应引入图结构：在满足预注册下限的前提下，节省 33.1% 的任务宏观图工作量，同时保留 96.7% 的留出正增益总量。
12:00 arXiv cs.LG 75
arXiv:2610.02722v1 公告类型：新 摘要：结构连接（SC）和功能连接（FC）提供了关于脑区间相互作用的互补信息，广泛应用于神经精神疾病的神经影像学研究。生成式建模能够缓解大规模配对 SC-FC 数据的稀缺问题，但现有方法通常使用只能捕捉二元相互作用的成对图，并且往往独立生成 SC 和 FC，从而限制了高阶结构-功能关系的保留。我们提出了多模态超图流匹配（MHG-FM）框架，用于联合生成 SC-FC 连接并实现跨模态转换。MHG-FM 构建模态特定的超图，利用超图神经网络（HGNN）编码器学习高阶表示，并通过双向交叉模态融合实现双向跨模态融合。变分自编码器将融合后的表示映射到紧凑的潜在空间，在该空间中，条件流匹配通过潜在传输实现连接合成和多模态转换。在 Human Connectome Project Young Adult（HCP-YA）数据集上的实验表明，与多个最先进的基线方法相比，MHG-FM 在重建质量、拓扑保持、分布相似性和 SC-FC 耦合方面均表现更优，同时其采样速度约为匹配的扩散骨干网络的 8 倍。
12:00 arXiv cs.LG 72
arXiv:2610.02554v1 公告类型：新 摘要：离线多智能体强化学习（MARL）面临着一个长期存在的权衡。具有表达力的生成式策略能够表示数据中的多模态协调，但无法区分高价值区域；而经过价值优化的策略能够利用学到的 Q 函数，却会将多模态压缩为单一的主导模式。单个智能体的模式坍缩可能破坏联合协调，而多个智能体同时发生偏移则可能将联合策略推入动作空间中未见过的区域。我们提出了通过最优统一传输实现可扩展协调（SCOUT），这是首个通过测试时动作细化，将生成式基础模型与学习到的价值函数相结合的离线 MARL 框架。SCOUT 训练两个解耦组件：流匹配行为先验和分解式价值函数。在测试时，它通过 Stein 变分梯度下降，将行为样本传输至高价值区域。传输步数控制自适应的测试时扩展，从而取代固定的正则化系数。在个体-全局最大值（IGM）原则下，我们证明了联合软价值差距的单项 KL 界：随着传输收敛，该界会趋于零，同时存在一个不可约的加性残差，其大小与 IGM 违背程度成正比。在实验中，SCOUT 在离散和连续离线 MARL 基准测试中均取得了最佳平均性能，并在所有离线到在线配置中实现了性能提升。
12:00 arXiv cs.LG 81
arXiv:2610.02399v1 公告类型：新 摘要：多模态智能体日益用于数据可视化任务，但在自主审查方面仍存在局限。与人类不同，它们可能无法识别可视化结果何时出错，判断需要更改的内容，在不破坏正确内容的情况下完成修复，并验证干预是否成功。现有基准主要评估预先定义的单项能力，例如图表生成、指令引导编辑或缺陷检测，因此无法反映自主审查中的这一差距。我们提出 VisAudit，一个用于评估可视化诊断、修复和验证能力的基准。给定一个渲染后的图表和可配置的辅助证据（包括源数据表、预期文本摘要和可视化代码），智能体会迭代诊断潜在缺陷，修改并执行可视化代码，检查执行反馈和视觉反馈，并判断何时无需进一步干预。VisAudit 定义了三个赛道，涵盖诊断式修复、自主修复和开放世界验证；其中包含涉及 21 种图表类型和 10 类缺陷的 1,900 个有缺陷实例，以及 300 个初始状态正确的图表。我们通过对经过验证的源可视化结果进行受控扰动来构建该基准，并通过系统化验证和与人类判断一致的质量控制，确保注入的缺陷定义明确，且能够根据可用证据恢复。对领先多模态模型的实验显示，它们距离可靠的自主审查仍有显著差距：在自主修复设置下，评估中表现最强的模型只能完全恢复 47.4% 的有缺陷图表。
12:00 arXiv cs.LG 72
arXiv:2610.02396v1 发布类型：new 摘要：由大语言模型构建的多智能体系统（MAS）通过协调专门化智能体来处理复杂任务，但有效的工作流很难预先设计。测试时演化利用执行反馈来改进工作流，然而大范围修订可能会扰乱有用组件，而重新执行未发生变化的请求则会带来冗余计算。受生物演化中继承与选择相互作用的启发，我们提出了 Inherit-MAS，在工作流和执行两个层面明确实现继承。一个元模型首先合成由工作智能体组成的工作流，并声明其角色、通信输入和工具权限；另一个通过独立提示的评判器则为每个已执行候选方案评分，并诊断其不足。在常规细化轮次中，工作流继承从最近完成的候选方案开始，可以丢弃被判定为无助的可移除节点，并应用经过验证的编辑来解决已诊断的不足。当新候选方案执行时，执行继承仅在完整的解析后请求和执行上下文均匹配的情况下继承符合条件的已存储结果，从而避免冗余的模型调用和工具调用。使用 GPT-4o-mini 工作智能体时，Inherit-MAS 在 WorkBench 上实现了 55.4% 的完成率，在 HotpotQA FullWiki 上实现了 49.7% 的联合 F1，优于 EvoAgent、EvoMAS 和 TacoMAS。使用 Qwen3-32B 工作智能体时，它在两个基准测试上同样超过了这些演化型 MAS 基线。与在禁用执行继承的情况下重新运行同一控制器相比，执行继承使 WorkBench 上的工作智能体 token 用量减少了 29.1%，HotpotQA 上减少了 34.6%；总 token 用量分别减少了 5.3% 和 18.1%。
12:00 arXiv cs.LG 73
arXiv:2610.02324v1 公告类型：新 摘要：基础多模态大语言模型旨在支持跨不同领域的广泛能力。多教师在线策略蒸馏（MOPD）为将特定领域的专业知识整合到单一学生模型中提供了有效框架。然而，MOPD 训练会逐渐使学生模型偏离其初始化模型，并且随着偏离程度增大，其通用能力会不断下降，从而导致能力干扰。一个直接的解决方法是将学生模型约束在其初始化模型附近，但这也会抑制领域专业能力的获得。我们提出 Slow-Fast Multi-Teacher On-Policy Distillation（SF-MOPD），将快速模型与慢速模型结合起来：快速模型是由各教师模型直接更新的当前学生模型，慢速模型则是学生模型的指数移动平均。慢速模型逐步吸收学习信号，充当一个动态变化的能力参照，将通用基础能力与已得到确认的领域专业能力融合起来。对于每个教师模型，SF-MOPD 在对数概率空间中计算教师模型引起的更新，并仅移除使快速模型进一步偏离慢速模型的分量，同时保留方向一致的分量和正交分量。在多个模型规模上的实验表明，SF-MOPD 能够有效缓解能力干扰，增强专业多模态能力，并降低通用能力基准测试上的平均性能退化，始终优于原始 MOPD。
00:48 arXiv cs.AI 83
我们推出了 HyperBrowseComp，这是一个多语言、多模态网页浏览基准，包含覆盖 13 种语言的 423 个由人工编写并经人工验证的问题，编写者均为母语者或具备高水平语言能力的使用者。这些问题的设计极具挑战性。每个问题都针对一个简洁且可公开验证的答案，找到答案需要定位隐蔽证据、沿着多步线索链进行追踪，或检查视频、扫描文档、图像、地图等异构来源。我们通过使用无法访问互联网的模型对问题进行评估，筛除较为容易的问题，以降低仅凭参数知识即可回答这些问题的可能性。我们在统一的代理协议下，使用各服务提供商原生的搜索功能和共享的外部检索工具，对多个模型进行了评估。为帮助理解模型的性能和工作量，我们还针对部分问题开展了人工评估。HyperBrowseComp 为跨语言、跨证据模态的持续信息搜寻提供了一个极具挑战性的测试平台，其难度源于在开放网络上发现并关联证据。
00:55 arXiv cs.AI 85
基于 LLM 的代理的安全基准通常将攻击成功率（ASR）作为衡量模型鲁棒性的指标，并利用这些分数比较不同模型和防御机制，默认这些分数能够描述代理的安全性。本文探讨基准的表示方式是否也会影响其测量结果。为衡量基准表示方式的影响，我们引入威胁保持表示敏感性（TPRS），用于衡量在保持底层任务、有害操作、安全策略、真实标签、环境和评估标准不变的情况下，仅改变代理可见表示时 ASR 的变化程度。在 Agent Security Bench (ASB) 上，将与威胁相关的工具名称替换为威胁中性的名称后，GPT-5-mini 的已提交攻击成功率提高了 11.67 个百分点，Claude Haiku 4.5 提高了 13.21 个百分点。在 MCPTox 上，将原本中性的工具名称替换为明确与威胁相关的名称后，GPT-5-mini 的 ASR 降低了 11.00 个百分点，Claude Haiku 4.5 降低了 4.11 个百分点。在 AgentDojo 上，仅向与攻击相关的工具添加与威胁相关的措辞，就使 GPT-4o-mini 的 ASR 变化了 0.50 个百分点；然而，在需要使用该工具的任务中，无害效用下降了 5.36 个百分点。我们在 MCPTox 上进行了一项实验，发现一个在 token 数量、长度和大小写方面均相匹配的威胁中性名称，可以重现由明确威胁相关名称造成的大部分变化（在 GPT-5-mini 上为 11.00 个百分点中的 8.54 个百分点）。结果表明，在某一种表示方式下测得的安全分数，可能无法推广到同一安全问题的其他威胁保持表示方式。因此，鲁棒性声明应由在一组受控的威胁保持表示方式上的表现加以支持，而不应依赖单一的、受表示方式影响的分数。
01:52 arXiv cs.AI 79
带标签数据的稀缺限制了肿瘤学深度学习生物标志物的开发。我们开发了一种两阶段 AI 模型，用于预测乳腺癌患者对新辅助治疗的病理学完全缓解（pCR）。第一阶段利用涵盖 32 种癌症类型的 8,742 名患者，从组织病理学图像中学习转录组信息，并通过病理学家审阅以及与实测表达的空间一致性加以验证。这使第二阶段得以简化为根据推断的表达信息和临床变量预测 pCR。模型基于 1,080 名患者（五个队列）开发，并在 1,412 名患者（九个队列）中进行评估，取得 0.79 的合并 AUROC（95% CI，0.73–0.85），能够在不同分子亚型内区分治疗应答者。该模型优于组织病理学生物标志物，在肿瘤内取样变化以及活检组织极少的情况下仍保持稳定。消融实验表明，相较于仅使用临床变量或单阶段病理学模型，转录组范围的推断能够提升区分能力；同时，由于避免了基因组检测中基因选择的限制，模型也表现出更强的稳健性。这些结果表明，基于生物学信息的压缩方法可能推广至精准肿瘤学中数据稀缺的应用场景。
18:19 arXiv cs.AI 81
电子商务视频信息密度高，消费者评估产品、商家制定营销策略时也经常需要对视频进行比较。然而，现有多模态模型主要聚焦于单视频理解，跨视频比较信息的能力有限。我们推出了 AdsCVR，这是首个电子商务跨视频推理基准，包含 2,483 个视频和 6,110 个问答对，涵盖六个推理维度。跨视频推理要求模型在大量冗余帧中定位细粒度证据，并整合视觉细节、语音和屏幕文字。为此，我们提出了 AdSeek，这是一种智能体框架，能够在多轮探索过程中动态选择视觉和音频工具，以主动获取证据，取代静态的统一采样。为解决强化学习中稀疏的信用分配问题，我们开发了一种离线轨迹校正机制，用于识别强化学习生成轨迹中的推理错误和缺失的多模态证据。经过校正的轨迹提供了监督微调信号，可减少强化学习过程中学习到的偏差。该机制支持一种校正自举流程：初始强化学习阶段暴露推理瓶颈，监督微调阶段对其进行纠正，最终的强化学习阶段进一步改进策略。AdSeek 在 AdsCVR 测试集上取得了 74.30% 的准确率，相比其 Qwen3-VL-8B-Instruct backbone 提升了 27.90 个百分点。它还能够泛化到开放域 CrossVid 基准，展现出有效的主动证据搜集能力。
19:35 arXiv cs.AI 85
从人类天然免疫库中发现广谱中和抗体（bnAb）仍是免疫学领域的一项根本性挑战，主要受以下因素制约：bnAb极其稀少；对其在不同病原体中的细胞来源缺乏完整认识；现有计算工具无法推广至新出现的病毒威胁。为克服这些障碍，我们提出了ImmuneAgent，这是一种将多模态推理、持续元学习与湿实验反馈相结合的闭环AI系统。该系统用于筛选来自接种疫苗或感染人群队列的天然BCR库，在110个克隆候选抗体中发现了60个中和抗体，实现约55%的中和抗体发现率；其中12个为bnAb，产率约为11%。在相同克隆数量预算下，该结果显著优于当前最先进的基于序列的中和预测器或协同折叠模型。ImmuneAgent发现的5种抗体在体内对致死性流感攻击实现了100%的保护效果，其表现可与临床阶段治疗性抗体MEDI8852相媲美。该系统揭示了bnAb活性的细胞和结构决定因素，并确定FCRL5+CD27+非典型记忆B细胞是一个保守的bnAb储库，同时发现疏水界面富集是跨病毒的结构特征。该特征可泛化至未见过的抗原，在无需抗原特异性分选的情况下，发现了能够交叉中和人偏肺病毒（hMPV）的抗体以及能够中和人乳头瘤病毒（HPV）的抗体。这些结果验证了ImmuneAgent作为一种可泛化框架，能够快速发现针对新出现病毒威胁的治疗性抗体。
12:00 arXiv cs.LG 76
arXiv:2609.36235v2 公告类型：replace-cross 摘要：重性抑郁障碍（MDD）严重影响日常活动和生活质量。MDD 的检测涉及多模态数据，例如访谈录音和传感器测量数据。这一任务尤其具有挑战性，因为这些异构模态通常需要各自不同且定制化的预测流程。为应对这一挑战，现有研究探索了人工设计的多模态架构和智能体辅助的流程开发。尽管取得了进展，但如何根据实验反馈自主修订流程，并将经过验证的改进延续到后续设计中，仍然十分困难。为此，我们提出了通过递归自我改进智能体进行重性抑郁分析的多模态探索方法（MERID）。该框架通过基于经验的递归自我改进（RSI）来开发抑郁分析流程。基础状态构建（GSC）通过将多模态记录与受试者层面的抑郁目标对齐，为经验提供依据。耦合流程探索（CPE）联合修改表征、融合方式和预测器，从而为分类和严重程度估计构建后继流程。证据引导演化（EGE）通过反馈指导修订，并在继承改进之前，在规模较小的抑郁症队列中验证不确定性条件下的性能提升。在抑郁症基准数据集上的大量实验表明，与多模态和基于智能体的基线方法相比，MERID 在多项任务上取得了最佳结果。进一步分析凸显了声学和语言线索对于抑郁检测的价值。我们的代码已发布于 https://github.com/DiscoAILab/MERID
12:00 arXiv cs.LG 79
arXiv:2609.32353v2 公告类型：replace-cross 摘要：视觉 Token 缩减是加速多模态大语言模型（MLLM）的有效方法，但在极低 Token 预算下，模型性能会迅速下降。现有研究探索了视觉 Token 选择，以及针对缩减视觉输入的基于训练的适配方法。我们进一步提出一个问题：经过大幅压缩的 MLLM 应如何从自身生成结果所诱导的状态中学习？这一设定自然要求采用在策略自蒸馏：让经过大幅压缩的模型在其自身生成结果所诱导的状态上接受监督，同时由其全 Token 版本充当信息丰富的教师模型。基于这一洞见，我们提出了 LT-OPD，一种用于极端视觉 Token 缩减的训练框架。学生模型仅使用一小部分视觉 Token 展开响应生成，而同一 MLLM 的冻结全 Token 副本则沿着学生模型生成的轨迹提供分布监督。为在视觉证据严重受限时稳定在策略学习，我们进一步引入了预算级课程学习，在训练过程中逐步降低 Token 预算。在 Qwen3.5-4B 的九个基准测试中，在仅保留 5% 视觉 Token 的情况下，LT-OPD 将平均性能保持率从 68.6% 提升至 82.3%，在相同预算下超过了无需训练、基于训练以及基于强化学习的基线方法。这些提升还稳定迁移至 Qwen3.5-9B、GLM-4.6V-9B 和 LLaVA-OV-1.5-4B。LT-OPD 还将 KV-cache 使用量降低了 85.2%，将 prefill FLOPs 降低了 85.4%，且不会增加额外的推理开销，表明在策略学习能够大幅恢复因极端视觉 Token 缩减而损失的能力。
12:00 arXiv cs.LG 82
arXiv:2609.10144v2 公告类型：替换交叉版本 摘要：AI 系统能够适应使用者后会变得更加实用，但在多智能体系统中，一个智能体学习到的有用上下文往往无法被其他智能体获取。我们提出了内核管理的共享记忆，这是一种系统级抽象：专用智能体写入结构化、带标签的记忆，而由智能体系统内核（而非各个智能体）负责检索、隐私实施和提示注入。我们在 AIOS 上实现并评估了这一设计，并在三个助手模型（GPT-4o、Llama-3.1:8B、Qwen-2.5:7B）和总计 1,800 次试验中，将其与三种替代方案进行了比较。与使用相同底层存储、但未受管理的外部记忆后端（Mem0）相比，内核管理的检索与注入使个性化得分在 5 分制上提高了 2.4–4.0 分（例如，在 GPT-4o 上，用户画像使用得分从 1.05 提升至 4.69），且每项比较的结果均具有显著性（p < 10^-18）。与标准的检索增强注入相比，在三个模型上获得的提升同样显著且稳定。与完整、未经筛选的上下文拼接相比，内核管理的注入在三个模型中的两个上表现出统计意义上的相当性能，在第三个模型上则存在幅度较小且特定于模型的性能差距；这里的限制是可用上下文的软上限，而非响应质量的上限，同时所使用的提示明显更短：三个模型的端到端延迟均降低了 15%–61%，单次调用的 token 使用量和推理成本也相应减少。这些结果表明，相较于将检索和隐私实施交由各个智能体负责，把记忆管理集中到智能体系统内核中，能够以其一小部分成本实现不受约束上下文所带来的大部分个性化收益。
12:00 arXiv cs.LG 74
arXiv:2607.15942v2 公告类型：replace-cross 摘要：遥感视觉语言模型日益被要求支持基于地球观测数据的开放式推理以及多种任务。该领域近期的大多数进展都由面向遥感的专门架构设计推动，通常会引入新的编码器、对齐模块或特定任务的融合机制。在本研究中，我们对这种架构专门化的必要性提出质疑。我们表明，只要在多样化的数据和任务上进行足够大规模的训练，一个具备通用能力的视觉语言模型就能在具有挑战性的遥感基准测试中取得有竞争力甚至达到当前最佳的性能。我们的模型采用单一语言策略，既可以直接以文本作答，也可以调用定位工具执行分割和 grounding。为训练这种异构行为，我们采用多任务强化学习框架，并使用自适应任务奖励，覆盖多项选择 VQA、开放式 VQA、图像描述、检测和分割任务，输入类型也十分多样。我们的方法在广泛的基准测试中取得了有竞争力的结果，包括高分辨率、多时相、多模态和多视角任务。此外，随着训练数据规模扩大，我们的实验显示，大多数任务的分布内和分布外性能都持续提升，而这种提升与各任务的数据多样性相关。这些发现表明，对于遥感 VLM 而言，即使没有架构创新，数据规模也足以带来良好效果。
12:00 arXiv cs.LG 85
arXiv:2606.17710v3 公告类型：替换交叉版本 摘要：用于回答胸部X线片相关问题的视觉语言模型，通常依据从放射科报告中提取的标签来评估其准确率。基准测试中的高准确率常被解读为模型使用了图像的证据。然而，仅根据问题中提到的发现作答的模型，其得分可能与使用X线片的模型一样高。在保持问题不变的情况下，我们通过以下方式审查了八个开放权重系统：换入另一名患者的、具有相同或相反标签的X线片；遮挡放射科医生标记的区域或其他位置大小相同的区域；移除X线片，或用噪声或照片替代X线片。在来自MIMIC-CXR的2548个是非题中，一个多模态模型无论图像如何都回答“是”；另一个多模态模型会改变答案，但不遵循标签；还有四个系统会使用图像，但当X线片被替换为具有相反标签的X线片时，仍保留约一半的正确答案。一个仅接收问题文本的医学模型，在合并题目上的得分为55.3%，高于两个多模态系统。在每个发现都存在的情况下，该模型得分为91.8%；在该情况下，对所有问题都回答“是”可得100%。在图像不可或缺的情况下，表现最佳的多模态系统在平衡准确率上比该模型高10.4%。在CheXpert上，各类别结果没有变化。当正确答案取决于标记区域时，模型的置信度并不会更高。在一项由三名放射科医生参与的阅片者研究中，阅读了包含200个均衡病例的数据集的两名放射科医生得分分别为86.0%和82.0%，各系统得分为50.0%至73.0%。准确率并不能证明模型使用了图像，但对图像进行干预可以检验这一点。
12:00 arXiv cs.LG 77
arXiv:2604.26766v2 公告类型：replace-cross 摘要：在急诊科，准确且一致地分配急诊严重程度指数（ESI）仍是一项长期挑战，因为高度多样化的自由文本分诊记录会导致分诊错误和工作流程低效。本研究评估了开源小型语言模型（SLM）能否作为可靠且保护隐私的临床分诊决策支持工具。我们在多种提示词处理流程中系统比较了多个SLM，发现临床病例摘要（即对分诊叙述的简明概括）能够实现最准确的预测。SLM Qwen2.5-7B在准确性、稳定性和计算效率之间展现出最佳平衡。通过利用专家整理的儿科分诊数据和银标准儿科分诊数据进行大规模领域适配，微调后的Qwen2.5-7B模型显著减少了不一致情况和具有临床意义的错误，其表现优于所有基线SLM以及先进的专有大型语言模型（LLM，例如GPT-4o）。这些发现凸显了机构专用SLM用于可靠、保护隐私的ESI决策支持的可行性，并强调了有针对性的微调相比更复杂推理策略的重要性。
12:00 arXiv cs.LG 79
arXiv:2604.18572v3 公告类型：替换交叉版本 摘要：柏拉图式表征假说认为，在不同模态（例如文本和图像）上训练的神经网络会趋向于对现实形成一种共享表征。如果这一假说成立，那么这将对模态选择是否重要这一问题产生重大影响。在本文中，我们表明，支持这一论断的证据远比后续研究所暗示的弱。原始研究在1024对文本—图像样本上使用的互惠 $k$ 近邻指标只能捕捉粗粒度结构。为了避免随着数据规模扩大而导致对齐崩溃，$k$ 必须按比例增长，这削弱了关于细粒度表征趋同的论证。研究报告中对齐程度随语言模型能力增强而提升的现象，在近期模型上已经饱和。此外，一对一的文本—图像配对有利于对齐，而在非双射数据下，对齐程度会下降。我们进一步发现，图像表征和文本表征确实共享粗粒度语义结构，但更强的语言模型和更丰富的描述都无法带来细粒度对齐。因此，多模态表征共享粗粒度结构，但没有证据表明它们趋同于一种共享表征——可以说，完整的表征趋同需要细粒度对齐。
12:00 arXiv cs.LG 78
arXiv:2609.39995v2 公告类型：替换 摘要：扩散规划器在生成多模态轨迹方面展现出强大能力。然而，现有方法主要依赖专家示范来拟合轨迹分布，学习场景、行为与轨迹之间的统计相关性，却没有显式建模驾驶规则。在专家数据稀缺的长尾场景中，缺乏可供模仿的行为可能导致生成的轨迹违反安全或合规要求。此外，其生成过程缺少规则层面的解释，因而难以确定哪些规则促使轨迹调整、这些规则何时生效以及作用强度如何，从而限制了故障诊断、安全验证和针对性改进。为解决这些局限，我们提出 Rule-Aligned Diffusion Planner（RADP），在训练过程中将可微分驾驶规则融入扩散目标，使规则知识超越有限的示范数据，成为内在的行为准则。我们进一步提出 Rule-Pressure Attribution（RPA），利用规则损失相对于预测轨迹的梯度构建监督信号，并采用轻量级归因头在线估计每条规则施加的优化压力。为评估这些归因在闭环行为方面的相关性，我们提出一种时间风险对齐协议，用于评估当前的规则压力是否能够反映后续闭环执行过程中的相应风险。在 nuPlan 上的实验表明，RADP 能够改善具有挑战性的安全关键场景中的闭环规划；同时，RPA 与后续特定规则风险表现出一致的时间对齐，验证了内在规则学习和规则层面可解释性的有效性。
12:00 arXiv cs.LG 78
arXiv:2605.14867v2 发布类型：替换 摘要：由于脉冲活动具有较高的时空分辨率，能够支持准确解码，因此一直是行为解码中占主导地位的神经信号。然而，随着皮层内脑机接口（iBCI）向更高通道数和无线运行方向发展，记录脉冲所需的高采样率带来了巨大的功耗和带宽需求。局部场电位（LFP）具有互补优势，包括更高的长期稳定性、更低的能耗和更低的带宽需求。然而，基于 LFP 的解码器通常准确率较低，并且依赖无法直接用于实时部署的非因果架构。我们提出了 REALM，这是一种用于因果 LFP 行为解码的回溯式知识蒸馏（RKD）框架。受语音识别中离线到在线蒸馏的启发，REALM 将预训练的多会话双向 LFP 教师模型中的非因果表征知识迁移到因果学生模型中。我们首先使用连续掩码自编码（CMAE）在多个记录会话上预训练双向 Mamba-2 教师模型，然后通过结合表征对齐与自编码的目标函数，将其表征蒸馏到紧凑的因果学生模型中。在无标签和微调两种流程中，REALM 的平均准确率均为所比较解码器中的最高水平，并且相较于每个基线（包括当前最先进的 CrossModalDistill）都取得了具有统计显著性的提升。在预训练、蒸馏和解码的整个过程中，REALM 始终仅使用 LFP；其参数量不到 CrossModalDistill 已发表学生模型的一半，预训练时间仅为其十分之一。这些结果表明，因果 LFP-only 模型能够达到与非因果多模态模型相当的解码准确率，为下一代无线和植入式 iBCI 提供了一种实用且可扩展的方法。
12:00 arXiv cs.LG 80
离散流模型（DFMs）是一类用于生成离散数据的灵活生成模型，而扩散大语言模型（dLLMs）可被视为一种特殊情形，其采用特定的混合路径和掩码源分布。尽管近期已有多项研究探索了针对 dLLMs 的强化学习，但其在更一般的离散流模型中的应用仍未得到充分研究。在本文中，我们提出离散 Flow-GRPO（dFlowGRPO），这是一个面向离散流模型的统一强化学习框架，支持广泛的概率路径和非掩码源分布。我们推导了 DFMs 的完整轨迹概率，并将去噪过程表述为马尔可夫决策过程，使 dFlowGRPO 能够在强化学习过程中综合利用相关条件转移速率和后验模型的信息。我们将 dFlowGRPO 应用于近期提出的多模态离散流模型 FUDOKI，并在图像生成和多模态理解任务上对其进行评估。实验证明，在文生图任务上，dFlowGRPO 优于现有针对 dLLMs 的 GRPO 类方法，其性能可与使用 Flow-GRPO 训练的连续流模型相媲美，同时在理解任务上也展现出强大的能力。
12:00 arXiv cs.LG 76
arXiv:2508.16748v2 公告类型：替换 摘要：当前普遍采用的多模态自监督学习（SSL）方法依赖于冗余假设：不同视图之间共享大量与任务相关的信息。我们认为，在以异质性为特征的复杂现实场景中（例如长度可变的医疗或行为数据），这一假设并不成立；在这些场景中，强制进行严格对齐可能会丢弃独特的模态特定信号，并无意中放大偏差。在本文中，我们提出 FairSSL，这是一种将数据异质性视为公平性资源而非障碍的框架。不同于标准的对比学习方法，FairSSL采用面向受试者的 Variance-Invariance-Covariance Regularization 目标函数，在同一受试者的不同片段之间施加对齐约束。我们引入基于片段的池化策略，以处理长度可变的模态，并对表征进行正则化，以促进：（i）受试者内部充分的变化性；（ii）跨模态和跨受试者不变性；以及（iii）表征去相关。理论分析表明，我们的目标函数能够界定受保护群体之间的得分差距。在实验中，FairSSL在异质多模态数据集上显著优于现有基线方法，在不牺牲下游预测性能的情况下提升了公平性。代码见：https://github.com/abtinmU/FairSSL
12:00 arXiv cs.LG 77
arXiv:2610.02117v1 公告类型：cross 摘要：在策略自蒸馏近期已成为提升语言模型推理能力的一种有效方法，其通过接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。然而，将其应用于多模态大语言模型（MLLMs）仍基本处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其增益仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏方法：为教师模型提供文本形式、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序生成的场景，其中自动提供物体标识和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这些空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅凭图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。重要的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型实现显著的从合成数据到真实数据的迁移，且超越后训练所使用的任务和数据分布。项目页面：https://github.com/sirkosophia/Where-OPD
12:00 arXiv cs.LG 80
arXiv:2610.02081v1 公告类型：cross 摘要：近年来，基于Wasserstein梯度流（WGF）和仅正向扩散过程（FODP）的采样算法大量涌现，并且通常伴随着关于以指数速度收敛到目标分布的理论保证。这些保证经常被解读为此类方法能够高效采样复杂多模态分布的证据，并且往往得到经验结果的支持。在本文中，我们论证这种解读从根本上具有误导性。借助Jordan-Kinderlehrer-Otto（JKO）方案和Otto calculus，我们证明，典型的WGF采样动力学与过阻尼正向扩散具有相同的密度演化，因此继承了非平衡统计物理中早已得到充分认识的亚稳态和慢混合现象。我们使用两种互补工具——谱分析和平均首次通过时间（MFPT）分析——研究这一类采样器，并表明，模式之间的良好分离可能导致指数级增长的混合时间，这与较小的谱隙和罕见的模式间跃迁有关。对于本文研究的常用对数线性退火调度，我们发现，引入中间分布并不能消除总输运时间的指数级增长。这一局限是结构性的，而非特定于实现方式：纯粹的局部、梯度驱动输运机制，可能需要指数级长的时间才能在彼此分离良好的模式之间输运概率质量。我们认为，这代表了WGF和FODP采样标准形式的一项根本性局限，并促使未来开发从根本上具有非局部性的机制，以实现高效的多模态采样。
12:00 arXiv cs.LG 78
arXiv:2610.01959v1 发布类型：cross 摘要：路径寻找和多机器人运动规划需要在具有复杂几何约束的环境中生成平滑、指向目标且无碰撞的轨迹。近年来，基于扩散的规划器表明，轨迹生成可以被表述为迭代去噪过程，这为能够处理多模态轨迹分布并优化完整轨迹的学习型方法打开了大门。然而，一个关键局限在于，扩散规划器需要在大量可行轨迹集合上进行训练，这使其依赖特定地图，并且在缺乏高质量示范数据时难以部署。本文提出了一种无需训练的基于扩散的运动规划器，以从障碍物、平滑性、速度和智能体间可行性等项中推导出的解析局部得分，替代学习得到的全局轨迹得分。该方法依赖于一个关键观察：通过仅考虑相邻路径点之间以及附近约束之间的局部交互关系，即可重构轨迹得分。对这一结构的利用产生了一种分解式去噪过程，在保留经典轨迹方法优化结构的同时，继承了扩散模型的迭代优化特性。在大量复杂环境和大规模多智能体规划任务上的实验表明，所提出的解析得分能够以有限的计算成本生成平滑且可行的轨迹。例如，在包含100多个障碍物的环境中，该方法可在GPU上用不到6秒的时间为300多个智能体生成可行路径；与强大的学习型方法和优化基线相比，其性能更优，同时避免了学习型扩散规划器对数据的需求。
12:00 arXiv cs.LG 83
arXiv:2610.01670v1 公告类型：cross 摘要：多模态大语言模型（MLLM）越来越多地被用作基于指令的图像编辑任务的自动评审者，以及模型训练的奖励信号。然而，由于视觉干预本身可能会改变待评估的质量，系统审计这些评审者是否会受到与编辑质量无关的线索影响颇具挑战性。因此，只有在经过验证、确认干预保持底层编辑质量不变的情况下，评判结果的变化才能归因于偏差。为应对这一挑战，我们提出了 EditJudgeBias，这是一个经过质量保持验证的反事实基准，包含1,196个真实编辑样本，以及注入四个评估位置的13种线索。我们使用经过校准的多模态验证器、对照实验和人工检查，验证所请求编辑的质量保持不变。随后，我们从三个互补维度审计了五个 MLLM 评审者：对保持质量的线索具有不变性、与人类判断的一致性，以及成对偏好的稳定性。重要的是，我们将观察到的变化与每个评审者自身的零剂量噪声下限和重复查询噪声下限进行比较，而不是以零为基准。实验表明，保持质量的线索会使每个评审者的判断变化超过其自身的噪声水平。伪造的多数意见会提高评分；无关的视觉元素造成的变化大于整幅图像的操纵；交换候选项顺序则会逆转多达60.9%的成对决策。编辑区域线索也往往会降低与人类判断的一致性。这三项指标以不同方式刻画评审者，表明鲁棒性无法由单一指标衡量。
12:00 arXiv cs.LG 75
arXiv:2610.00926v1 发布类型：cross 摘要：自动驾驶是未来智能交通的基石技术，而端到端学习已成为一种变革性范式，通过统一的可微模型将多模态感知输入直接映射为驾驶动作。尽管端到端学习具有诸多优势，但端到端自动驾驶（E2E-AD）的最终效果取决于其训练生态系统的质量。本文全面综述了 E2E-AD 的训练方法与生态系统。我们提出了数据—策略—平台分类体系，将训练概念化为一个相互依存的系统。数据层定义可学习的内容，策略层决定学习如何与驾驶目标保持一致，平台层则支持规模化和持续演进。在这一框架下，我们综述了以数据为中心的流程、学习范式和训练基础设施方面的最新进展，并分析了它们之间的相互作用如何影响模型性能、鲁棒性和可部署性。最后，我们反思了当前的局限，并提出面向未来的愿景，强调从数据数量转向数据价值、从孤立优化转向由基础模型驱动的泛化、从静态训练转向集成训练—测试闭环，旨在构建稳健、可扩展且值得信赖的自动驾驶系统。我们在 \href{https://github.com/Jiaaqiliu/Awesome-Training-Ecosystem-for-E2E-AD}{Our Project Page} 持续维护一个不断更新的仓库，跟踪前沿文献和相关工作。
12:00 arXiv cs.LG 76
arXiv:2610.00833v1 公告类型：cross 摘要：流畅的 LLM 解释可能并不遵循结构化系统中的证据。我们提出 VERITYGATE，这是一种针对已声明证据 ID、实体、数字和声明类型的四门控检查器。它检查固定模式，但不会验证 prose 中的每一个事实。在 r=0 和 r=1 时，我们针对每种设置分别测试了 900 个实例（450 对有依据-无依据样本），使用的模型包括 GPT-4o-mini、Llama-3.3-70B 和 Claude Sonnet 4.6。在这一模式级契约下且修复之前，mini 的声明有 80.3% 未通过检查，Sonnet 的声明有 47.9% 未通过检查。这些是验证器拒绝率，而不是 prose 幻觉率。一次修复使 mini 的声明存活率从 19.7% 提升至 28.0%，使 Sonnet 的声明存活率从 52.1% 提升至 54.3%。每个示例的经验证声明数对 mini 增加 0.14，对 Llama 减少 0.71，对 Sonnet 减少 0.47，因此必须同时报告存活率和输出量。第二次 Sonnet 处理没有带来明确收益。在 r=1 时，对于 mini、Llama 和 Sonnet，Gate 4 分别覆盖了失败声明的 97.0%、98.7% 和 100%。小规模人工研究支持这些规则，但也显示出模式检查与 prose 正确性之间存在差距。一项特定领域的 GPT-4o 评审测试显示出顺序效应，因此它只能作为有用性检查。我们发布代码和数据。
12:00 arXiv cs.LG 71
arXiv:2610.00487v1 公告类型：cross 摘要：由于组合式动作空间、可互换组件、等终装配序列，以及构建过程中的严格稳定性要求，自主构建物理上可实现的三维结构仍然是一项重大挑战。现有最先进的方法针对基于文本的生成式构建对大型语言模型进行微调。然而，这些方法不支持多模态（文本、图像、草图）条件，忽视了脚手架在稳定中间结构方面的实际作用，并且推理速度较慢。因此，我们将构建形式化为一个概率式的下一方块生成任务，其中包含多个潜在的装配动作和多种潜在的任务条件模态。同时，我们通过引入辅助脚手架方块标记，明确考虑脚手架的效用。我们提出了 Scaffold Multimodal Monte Carlo（ScaffoldM3C），这是一种用于稳定方块式构建的多模态、轻量级、自回归模型，能够提出一组下一步候选方块。利用这些候选方块，我们采用序贯蒙特卡洛（SMC）来维护可能的装配序列集合，从而能够同时考虑多个可能不同的装配方向。我们通过扩展 StableText2Brick 数据集来训练多模态架构，使其包含图像条件提示和经脚手架稳定的构建序列。ScaffoldM3C 的规模比竞争基线小 4 倍，在推理过程中实现了 5 至 20 倍的加速，同时达到了与现有最先进方法相当的构建质量和更高的整体稳定性。我们通过仿真和真实世界的机器人装配演示，展示了该方法的有效性。
12:00 arXiv cs.LG 75
arXiv:2610.00333v1 公告类型：cross 摘要：多模态在线策略蒸馏（OPD）旨在提升视觉对齐能力，同时保留语言模型强大的推理能力。近期的多教师方法结合 LLM 和 VLM 教师，以提供互补的监督信号。然而，直接使用 VLM 的完整预测分布，会将其视觉对齐信号与自身的语言先验纠缠在一起，使对齐信息无法被独立传递。相反，增强视觉监督强度虽然可以改善感知能力，却可能过度强调视觉证据，从而削弱语言推理能力。为解决这一权衡问题，我们提出 LEGO-OPD，将 Language Expert 和 Grounding expert 中的因子有选择地组合成一个教师分布，用于多模态 OPD。在广义贝叶斯框架下，Language Expert 为候选 token 提供先验，而 Grounding expert 提供视觉似然，用于更新该先验，而不是传递其完整的预测分布。这种因子化组合使语言推理和视觉对齐能够被独立控制。我们进一步引入自适应校准，以确定在每个解码前缀下视觉似然应以多大程度更新语言先验。具体而言，LEGO-OPD 使用 Grounding expert 由图像引起的预测偏移作为依赖于前缀的参照，从而避免视觉监督不足或过度。基于 Qwen3 模型的实验表明，在多模态和纯文本推理任务上，LEGO-OPD 均稳定优于所评估的单教师和多教师 OPD 基线。此外，它在保留纯文本推理能力的同时，提升了初始学生模型的视觉感知能力。
12:00 arXiv cs.LG 78
arXiv:2610.01962v1 公告类型：新 摘要：视觉语言模型（VLMs）能够将视觉身份与传记信息相关联，因此需要在保留关于同一人物的获准知识的同时，有选择地遗忘个人可识别信息（PII）。这一场景颇具挑战性，因为敏感信息和保留信息可能共享相同的视觉输入与中间表征。我们提出了 SIEVE，一种简单且有效的选择性 VLM 遗忘框架。SIEVE 在控制模型输出的同时，直接对注意力值表征进行正则化。对于遗忘样本，SIEVE 将注意力值抑制至常数零；对于保留样本，则通过将其表征匹配到冻结的参考模型来加以保留。这些目标与序列级别的遗忘和保留监督相结合，从而实现有针对性的遗忘，同时不会大幅影响保留知识。大量实验表明，在多种模型-模态设置下，SIEVE 在遗忘任务上取得了最先进的性能，同时保持了具有竞争力的保留效用。消融实验进一步表明，值抑制与负交叉熵能够提供互补的遗忘信号，而基于参考模型的值匹配则能显著减轻效用下降。这些结果表明，当敏感知识与保留知识密切相关时，注意力值可以作为选择性多模态遗忘的有效干预点。
12:00 arXiv cs.LG 83
arXiv:2610.01908v1 公告类型：新 摘要：即使训练期间没有视觉信息，带可验证奖励的强化学习（RLVR）也能提升视觉-语言基准测试分数。在测试时提供图像后，盲训练模型在 3B 规模上恢复了真实图像增益的大约一半，在 7B 规模上则接近五分之四。持续进行真实图像训练可能会削弱落地能力，但基准测试收益仍会持续存在。这两项发现揭示了同一个差距：提示中的图像，并不等同于学习信号中的图像。我们的设计原则“视觉可解性”要求：视觉证据对于得出正确答案必须是必要的，同时任务仍须具备可学习性。我们在反事实坐标场景上对其进行测试：问题保持不变，目标从不被点名，因此要得到正确答案，就必须在图像中找到目标。使用标准 GRPO 以及正确性和格式奖励后，一个 7B 模型在留出场景上的目标寻找准确率（发现）从 0.425 提升到 0.875；这些场景比它训练时见过的任何场景都更加密集，而且它在从未训练过的问题类型上也有所提升。两个对照实验确定了增益的来源。将测试图像替换为灰色画布后，发现率降为零；改为使用灰色画布进行训练时，在步数匹配为 30 且四个随机种子中的每一个上，即使随后使用真实图像进行测试，模型也几乎无法获得任何增益。所学技能还能迁移到独立于训练语料构建的落地任务上。在相同图像、奖励和预算的条件下，加入一段能够回答训练问题的图像描述，会使增益减少近三分之二。奖励所要求的内容发生变化，RL 学到的内容也会随之变化。
12:00 arXiv cs.LG 80
arXiv:2610.01892v1 公告类型：新 摘要：多模态智能体通常会在每次执行动作前生成自由形式的推理。对于小型模型而言，有限的模型容量可能导致生成冗长的推理，这些推理对动作生成几乎没有有用指导，却会带来显著的推理成本。为应对这一挑战，我们提出基于选择的结构化推理（Selection-based Structured Reasoning，SSR），这是一种将推理重新定义为选择而非开放式生成的框架。SSR 将反复出现的高层次推理表示为预先指定、可复用的自然语言候选项。在每一轮中，模型根据当前上下文条件下各推理候选项的似然，从中进行选择，而无需额外的任务预测头。使用预先指定的推理轨迹可以实现并行评分：通过教师强制预填充，利用共享的上下文 KV 缓存，在候选项内部及候选项之间并行计算词元似然。我们使用 2B 和 4B 模型，在七个多模态搜索基准上评估了 SSR。在多种强化学习目标和监督微调设置下，SSR 在不牺牲任务性能的情况下实现了显著的效率提升。SSR 达到了与同等规模领先搜索智能体相当的平均成功率，同时将每轮推理延迟降低了 90% 以上，并将每个问题的模型总推理延迟降低了 28%–54%。项目主页：https://zfy0314.github.io/ssr-webpage/。
12:00 arXiv cs.LG 72
arXiv:2610.01882v1 公告类型：新 摘要：多智能体强化学习（MARL）为通过与环境交互学习协调行为提供了一个强大的框架。开发 MARL 策略需要在对复杂且多模态动作分布进行富有表现力的建模，以及高效训练与执行之间取得平衡。生成式策略，尤其是基于扩散的策略，能够忠实地捕捉复杂且多模态的行为，但代价高昂的迭代采样阻碍了其在在线多智能体场景中的扩展性。我们提出了一种基于单步 Flow 模型的在线 MARL 框架（OMAF），将富有表现力的生成式策略与高效的单步动作生成相结合。OMAF 采用基于 Transformer 的流策略来捕捉复杂的协调行为，同时利用其近似路径得分代理目标，为同步优化流策略提供了有原则的途径。为实现稳定且高样本效率的学习，我们进一步设计了一种联合优化方案，将 softmax Q 值估计与联合流策略目标相结合，以进行协调策略学习。通过消除迭代采样，OMAF 在不牺牲策略表现力的情况下大幅降低了训练开销。在 MPE 和 MAMuJoCo 的 10 个标准任务上的大量实验表明，OMAF 始终取得优越性能：与基线方法相比，回报最高提升 3.4 倍，样本效率最高提升 10.5 倍。这些结果验证了 OMAF 作为在线 MARL 中兼具表现力与计算效率的单步流策略范式的有效性。
12:00 arXiv cs.LG 77
arXiv:2610.01076v1 公告类型：new 摘要：结构化电子健康记录（EHR）以临床代码序列的形式记录患者的临床轨迹。要从此类记录中回答临床问题，既需要了解完整轨迹的上下文，也需要掌握支持答案的具体事件。我们提出 GLoC-EHR，这是一种多模态语言模型，通过轨迹的固定大小全局记忆和所选事件的局部记忆，读取记录的上下文编码。该模型学习利用全局记忆生成住院过程摘要，并利用局部记忆生成被掩码概念的描述，同时使二者与临床文本对齐。随后，通过先进行推理依据微调，再采用群组相对策略优化（GRPO）进行训练，使模型在回答前引用证据；优化奖励包括答案正确性和记录支持的证据。在三项 MIMIC-IV 结局任务中，GLoC-EHR 直接作答时，在参与比较的模型中取得了最高的宏平均 AUROC，而读取序列化记录的零样本 LLM 远远落后。采用循证推理后，其宏平均 AUROC 仍接近直接多任务版本；同时，目标函数中的证据项在相近宏平均 AUROC 下减少了不受支持的证据。局部记忆增加了具有独特性的受支持发现，尤其是在严格匹配条件下，而宏平均 AUROC 没有可检测到的变化。在无需重新训练的情况下，GLoC-EHR 在 EHRSHOT 上的表现与 EHR-BERT 相当，并且在两个未见过的实验室问题上优于对其自身骨干模型进行零样本提示的表现。
12:00 arXiv cs.LG 73
arXiv:2610.00984v1 发布类型：新摘要：准确的用药推荐是临床决策的核心，直接决定治疗效果与患者安全。然而，现有方法存在两个关键局限：药物通常被抽象为离散标记，忽略了其分子结构和药理机制；同时，常用的“扁平化”推荐范式未能利用国际标准化的解剖学治疗学及化学分类（ATC）系统中的层次逻辑。为解决这些问题，我们提出了HADRec，一种将分子知识与电子健康记录（EHR）相融合的层次感知药物推荐框架。HADRec采用LLaMA-7B对临床记录进行编码，以获得丰富的患者表征，并使用ChemBERTa对药物简化分子线性输入规范字符串进行编码，从而构建全局分子知识库。随后，通过交叉注意力机制对患者状态与药物特征进行深度多模态融合。该框架进一步引入层次化预测器和一种新颖的一致性约束损失，以严格遵循ATC逻辑依赖关系。在MIMIC-III上的大量实验表明，HADRec在Jaccard、F1和PR-AUC指标上均达到了最先进的性能。在MIMIC-IV上的外部验证证实了其在分布偏移情况下的强泛化能力；校准分析显示，HADRec在MIMIC-IV上的预测置信度校准良好，ECE = 0.04，Brier = 0.06。反事实评估揭示了与临床相符的推理过程，将疾病特异性治疗与一般性护理区分开来。总体而言，这些结果表明，HADRec为构建安全、可靠、具有高性能、可解释性且以临床为基础的AI驱动用药推荐系统提供了可行路径。
12:00 arXiv cs.LG 76
arXiv:2610.00708v1 公告类型：新 摘要：数据驱动的黎曼几何为高维数据提供了非线性插值和几何表示。为了使这些操作具有统计意义，观测值之间的路径应优先穿过高似然区域。现有的可扩展拉回几何构造通常采用单模态高斯潜在分布，假设数据位于单个流形附近。对于多模态数据，将彼此分离的模态或局部结构映射到同一个高斯区域，可能需要显著的传输变形，并损害所得几何。我们针对由流形混合支撑的数据提出一种拉回几何。利用潜在高斯混合分布，我们将其黎曼度量定义为责任度加权的分量精度期望的矩阵平方。该度量光滑且正定，并且在单分量极限下恢复现有的高斯构造。对于结构化的重叠混合分布，我们建立了对数密度沿测地线呈凹性的条件，从而在所提出的几何与穿过高似然区域的路径之间建立形式化联系，并推导出相应的局部曲率关系。我们将这种几何应用于具有自适应混合学习能力的 normalizing flow，使活跃分量的数量能够从数据中自发形成，同时支持逐分量重构和局部有效维度估计。在合成几何数据、具有已知参考轨迹的受控多视角图像场景以及 MNIST 上的实验表明，该方法能够减少传输失真，在路径对高似然区域的支持方面具有竞争力，较为接近地恢复参考轨迹，并提升插值的真实感。这些结果将可扩展拉回几何拓展到不再局限于接近单个流形的数据集，同时保留了局部结构的可处理性和可解释性。
12:00 arXiv cs.LG 73
arXiv:2610.00381v1 公告类型：新 摘要：医学模型不仅要根据正确性进行评判，还要看其报告的置信度是否与实际准确率相符。通用型医学多模态模型拓展了单一模型的感知能力，但它们仍然将诊断、影像所见或细胞计数等有界决策表达为生成文本，因此报告的概率反映的是下一个词元，而不是决策本身。受 Jev 等决策原生接口的启发，我们提出 OmniMed-Jev，将每项医学决策表示为基于运行时提供的候选集进行的 Choice、Noul 或 Score 决策，并返回该候选集上的完整分布：互斥类别、某项所见是否存在的二元判断，或有界的有序数值。该设计在三个方面体现了 omni 特性：它接受多种成像模态，覆盖不同预测任务，并通过一个以候选项为条件的概率模型来表达这些任务，从而使异构输出成为可比较的概率，而非特定于任务的字符串。在与生成式基线进行接口受控的比较中，双方使用相同的骨干网络、数据和训练计划，OmniMed-Jev 报告的概率与观测到的正确性吻合得更为紧密，将校准误差最多降低一个数量级，将可靠性误差最多降低两倍，同时点预测性能保持相当；计数是唯一一个生成式基线仍然领先的任务类别。将决策分布作为模型输出并非格式上的改变，而是使报告的数值真正成为名副其实的概率的关键。这些结果表明，在所评估的任务范围内，显式决策建模有助于使报告的置信度具有实际意义；但它们并不意味着模型已具备临床应用准备度：该比较无法将接口因素与相关的训练差异区分开来，我们也在结果旁对此进行了说明。代码可在 github.com/lytang63/OmniMed-Jev 获取。
12:00 arXiv cs.LG 75
arXiv:2610.00277v1 发布类型：new 摘要：联邦多模态图基础模型（GFM）旨在将预训练多模态模型适配到去中心化的图数据上，其中每个客户端拥有一个私有多模态图，且无法共享原始信息。这些模型通常结合多模态 Encoder（从异构模态中提取语义证据）和图神经网络（GNN）（在图结构上执行关系推理）。然而，现有的联邦 GFM 适配方法主要更新图侧模块，同时冻结多模态 Encoder，将适配限制在\emph{信息如何传播}，而固定了\emph{提取什么信息}。通过实证研究，我们发现 Encoder 与 GNN 的适配并非相互独立：Encoder 的适配会受到图关系的影响；此外，跨客户端的模块交换表明，分别参数化的 Encoder 和 GNN 更新之间存在显著的配对敏感性。受此观察启发，我们提出了 \textbf{FedCORE}，一种通过共享的低维潜在状态来表示 Encoder 和 GNN 更新的联邦适配框架。FedCORE 从多模态信号和结构信号中联合优化这一核心状态，并直接在共享状态空间中执行联邦演化，从而保持感知适配与推理适配之间的兼容性。大量实验表明，FedCORE 将 Encoder--GNN 配对差距从 $30.6$ 降至 $5.9$，相较于独立联合适配降低了 $80.7\%$。
12:00 arXiv cs.LG 75
arXiv:2610.00268v1 公告类型：新 摘要：多模态图学习面临一个根本性挑战：新类别可能在部署后出现，而模型训练时使用的是固定的标签空间。现有方法通常会检测未知节点，并利用 LLM 生成候选类别描述，但它们无法确定现有类别是否不足以覆盖这些节点，也无法判断生成的类别是否足够可靠、可以用于扩展类别空间。我们的实证研究揭示了三个挑战：未知节点识别需要利用超越单个模态的多模态信息；LLM 生成的类别描述可能无法充分捕捉多模态类别特征；直接添加候选类别可能引入冗余类别。基于这些观察，我们提出 MOVE，一种多模态开放世界类别验证与扩展框架。MOVE 通过联合考虑视觉标记、文本属性和图上下文，识别无法归入现有类别的节点；利用多模态 LLM 生成候选类别；仅当候选类别获得多模态证据的一致支持且不会引入不必要的类别时，才选择性地扩展类别空间。实验表明，在未知类别识别、开放域标注和下游图学习任务中，MOVE 的平均性能提升了 11.87\%。
17:00 BAIR Blog 80
different_tests Understanding the behavior of complex machine learning systems, particularly Large Language Models (LLMs), is a critical challenge in modern artificial intelligence. Interpretability research aims to make the decision-making process more transparent to model builders and impacted humans, a step toward safer and more trustworthy AI. To gain a comprehensive understanding, we can analyze these systems through different lenses: feature attribution , which isolates the specific input features driving a prediction ( Lundberg & Lee, 2017 ; Ribeiro et al., 2022 ); data attribution , which links model behaviors to influential training examples ( Koh & Liang, 2017 ; Ilyas et al., 2022 ); and mechanistic interpretability , which dissects the functions of internal components ( Conmy et al., 2023 ; Sharkey et al., 2025 ). Across these perspectives, the same fundamental hurdle persists: complexity at scale . Model behavior is rarely the result of isolated components; rather, it emerges from complex dependencies and patterns. To achieve state-of-the-art performance, models synthesize complex feature relationships, find shared patterns from diverse training examples, and process information through highly interconnected internal components. Therefore, grounded or reality-checked interpretability methods must also be able to capture these influential interactions . As the number of features, training data points, and model components grow, the number of potential interactions grows exponentially, making exhaustive analysis computationally infeasible. In this blog post, we describe the fundamental ideas behind SPEX and ProxySPEX , algorithms capable of identifying these critical interactions at scale. Attribution through Ablation Central to our approach is the concept of ablation , measuring influence by observing what changes when a component is removed. Feature Attribution: We mask or remove specific segments of the input prompt and measure the resulting shift in the predictions. Data Attribution: We train models on different subsets of the training set, assessing how the model’s output on a test point shifts in the absence of specific training data. Model Component Attribution (Mechanistic Interpretability): We intervene on the model’s forward pass by removing the influence of specific internal components, determining which internal structures are responsible for the model’s prediction. In each case, the goal is the same: to isolate the drivers of a decision by systematically perturbing the system, in hopes of discovering influential interactions. Since each ablation incurs a significant cost, whether through expensive inference calls or retrainings, we aim to compute attributions with the fewest possible ablations . different_tests Masking different parts of the input, we measure the difference between the original and ablated outputs. SPEX and ProxySPEX Framework To discover influential interactions with a tractable number of ablations, we have developed SPEX (Spectral Explainer). This framework draws on signal processing and coding theory to advance interaction discovery to scales orders of magnitude greater than prior methods. SPEX circumvents this by exploiting a key structural observation: while the number of total interactions is prohibitively large, the number of influential interactions is actually quite small. We formalize this through two observations: sparsity (relatively few interactions truly drive the output) and low-degreeness (influential interactions typically involve only a small subset of features). These properties allow us to reframe the difficult search problem into a solvable sparse recovery problem. Drawing on powerful tools from signal processing and coding theory, SPEX uses strategically selected ablations to combine many candidate interactions together. Then, using efficient decoding algorithms, we disentangle these combined signals to isolate the specific interactions responsible for the model’s behavior. image2 In a subsequent algorithm, ProxySPEX , we identified another structural property common in complex machine learning models: hierarchy . This means that where a higher-order interaction is important, its lower-order subsets are likely to be important as well. This additional structural observation yields a dramatic improvement in computational cost: it matches the performance of SPEX with around 10x fewer ablations . Collectively, these frameworks enable efficient interaction discovery, unlocking new applications in feature, data, and model component attribution. Feature Attribution Feature attribution techniques assign importance scores to input features based on their influence on the model’s output. For example, if an LLM were used to make a medical diagnosis, this approach could identify exactly which symptoms led the model to its conclusion. While attributing importance to individual features can be valuable, the true power of sophisticated models lies in their ability to capture complex relationships between features. The figure below illustrates examples of these influential interactions: from a double negative changing sentiment (left) to the necessary synthesis of multiple documents in a RAG task (right). image3 The figure below illustrates the feature attribution performance of SPEX on a sentiment analysis task. We evaluate performance using faithfulness : a measure of how accurately the recovered attributions can predict the model’s output on unseen test ablations. We find that SPEX matches the high faithfulness of existing interaction techniques (Faith-Shap, Faith-Banzhaf) on short inputs, but uniquely retains this performance as the context scales to thousands of features. In contrast, while marginal approaches (LIME, Banzhaf) can also operate at this scale, they exhibit significantly lower faithfulness because they fail to capture the complex interactions driving the model’s output. image4 SPEX was also applied to a modified version of the trolley problem, where the moral ambiguity of the problem is removed, making “True” the clear correct answer. Given the modification below, GPT-4o mini answered correctly only 8% of the time. When we applied standard feature attribution (SHAP), it identified individual instances of the word trolley as the primary factors driving the incorrect response. However, replacing trolley with synonyms such as tram or streetcar had little impact on the prediction of the model. SPEX revealed a much richer story, identifying a dominant high-order synergy between the two instances of trolley , as well as the words pulling and lever, a finding that aligns with human intuition about the core components of the dilemma. When these four words were replaced with synonyms, the model’s failure rate dropped to near zero. image5 Data Attribution Data attribution identifies which training data points are most responsible for a model’s prediction on a new test point. Identifying influential interactions between these data points is key to explaining unexpected model behaviors. Redundant interactions, such as semantic duplicates, often reinforce specific (and possibly incorrect) concepts, while synergistic interactions are essential for defining decision boundaries that no single sample could form alone. To demonstrate this, we applied ProxySPEX to a ResNet model trained on CIFAR-10, identifying the most significant examples of both interaction types for a variety of difficult test points, as shown in the figure below. image6 As illustrated, synergistic interactions (left) often involve semantically distinct classes working together to define a decision boundary. For example, grounding the synergy in human perception, the automobile (bottom left) shares visual traits with the provided training images, including the low-profile chassis of the sports car, the boxy shape of the yellow truck, and the horizontal stripe of the red delivery vehicle. On the other hand, redundant interactions (right) tend to capture visual duplicates that reinforce a specific concept. For instance, the horse prediction (middle right) is heavily influenced by a cluster of dog images with similar silhouettes. This fine-grained analysis allows for the development of new data selection techniques that preserve necessary synergies while safely removing redundancies. Attention Head Attribution (Mechanistic Interpretability) The goal of model component attribution is to identify which internal parts of the model, such as specific layers or attention heads, are most responsible for a particular behavior. Here too, ProxySPEX uncovers the responsible interactions between different parts of the architecture. Understanding these structural dependencies is vital for architectural interventions, such as task-specific attention head pruning. On an MMLU dataset (highschool‐us‐history), we demonstrate that a ProxySPEX-informed pruning strategy not only outperforms competing methods, but can actually improve model performance on the target task . image7 On this task, we also analyzed the interaction structure across the model’s depth. We observe that early layers function in a predominantly linear regime, where heads contribute largely independently to the target task. In later layers, the role of interactions between attention heads becomes more pronounced, with most of the contribution coming from interactions among heads in the same layer. image8 What’s Next? The SPEX framework represents a significant step forward for interpretability, extending interaction discovery from dozens to thousands of components . We have demonstrated the versatility of the framework across the entire model lifecycle: exploring feature attribution on long-context inputs, identifying synergies and redundancies among training data points, and discovering interactions between internal model components. Moving forwards, many interesting research questions remain around unifying these different perspectives, providing a more holistic understanding of a machine learning system. It is also of great interest to systematically evaluate interaction discovery methods against existing scientific knowledge in fields such as genomics and materials science, serving to both ground model findings and generate new, testable hypotheses. We invite the research community to join us in this effort: the code for both SPEX and ProxySPEX is fully integrated and available within the popular SHAP-IQ repository. https://github.com/mmschlk/shapiq (SHAP-IQ Github) https://openreview.net/forum?id=KI8qan2EA7 (ProxySPEX NeurIPS 2025) https://openreview.net/forum?id=pRlKbAwczl (SPEX ICML 2025) https://openreview.net/forum?id=glGeXu1zG4 (Learning to Understand NeurIPS 2024)
22:00 Microsoft Research Blog 74
生物学并不是孤立运行的，代表生物学的 AI 也不应如此。Quine 是一项早期研究工作，旨在构建生物学的多模态世界模型。通过连接跨越不同生物学尺度和模态的洞见，Quine 帮助科学家以计算方式探索远超直觉所能及的空间，并在假设进入实验室之前确定其优先级。实验结果提供了重要反馈，帮助研究人员进一步明确未来的研究方向。文章《介绍 Quine：为应对生物学复杂性而设计的 AI 研究系统》最初发表于 Microsoft Research。
08:00 Hugging Face Blog 73
08:00 Hugging Face Blog 71
08:00 Hugging Face Blog 75
08:00 Hugging Face Blog 64
23:10 Hugging Face Blog 66
08:00 Hugging Face Blog 72
08:00 Hugging Face Blog 85
08:00 Hugging Face Blog 90
23:58 Hugging Face Blog 78
02:57 Hugging Face Blog 67
08:00 Hugging Face Blog 72
21:13 Hugging Face Blog 67
01:34 arXiv cs.AI 77
在策略自蒸馏近期已成为提升语言模型推理能力的有效方法，其通过让接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。在多模态大语言模型（MLLMs）中的应用却仍处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其效果仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏：向教师模型提供文本形式的、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序化生成的场景，其中自动提供物体身份和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这种空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅根据图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。值得注意的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型在后训练所使用的任务和数据分布之外实现显著的从合成数据到真实世界的迁移。项目主页：https://github.com/sirkosophia/Where-OPD
01:59 arXiv cs.AI 77
我们展示了多模态模型具备强大的推理能力，并且合适的框架能够释放其潜力，使其解决各种交互式环境中的任务。我们提出了 VISTA，这是一种赋予通用多模态模型长时域视觉能力的视觉框架。VISTA 允许模型通过视觉观察直接感知环境，并维护无损视觉记忆，以原始形式保存过往观察结果。模型可以主动检索这些观察结果，并在推理过程中重新组织其视觉输入。在 ARC-AGI-3 上，VISTA 将 Claude Opus 5.0 的相对人类操作效率得分从 40.68 提升至满分 100.00；使用该模型时，完成全部 25 个公开游戏所需的操作次数比首次参与的人类参与者少 57.4%。VISTA 的简洁设计还使其能够在仅需极少适配的情况下，自然扩展到各种视觉环境。在另外三个涵盖多种视觉游戏和谜题的基准测试中，使用相同底层模型及极简框架的 VISTA 大幅超越了基线方法。我们的结果凸显了 VISTA 作为通用视觉框架的潜力，有望推动多模态智能体在复杂视觉环境中的发展。
01:59 arXiv cs.AI 80
在多样化任务中构建可靠的机器人能力，需要投入大量人力来开发和维护技能、设计奖励，并将感知与控制相结合。我们提出 Reconstruct, Practice, Go Real（RPG），这是一个无需更新模型权重即可实现机器人执行系统自主改进的框架。RPG 在离线数据集中识别操作能力，并在仿真环境中构建相关练习任务。在练习过程中，RPG 利用执行反馈、特权模拟器状态以及数据集中现有的视频来诊断失败原因。它会根据这些诊断结果开发新的可复用符号技能、改进现有技能，并修订系统提示词。跨任务评估会在保留候选修改及合并后的修订版本以供复用之前，对它们分别进行测试。在测试时，多模态 LLM 利用生成的系统提示词和技能库来协调感知与机器人控制。在22个操作任务的留出初始化条件下，RPG 将任务成功率从第一轮练习后的28.6%提升至15轮后的95.0%，超过了所有参与评估的基线方法，包括 ASPIRE（75.5%）和由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过统一的校准与硬件适配流程后，该冻结系统在全部30次实体实验中均取得成功，三个任务各进行10次实验。项目网站：https://rpg-robot.github.io/
15:50 arXiv cs.AI 80
LLM Agents 执行中的错误及其可见后果之间可能相隔许多步骤，因此，确定性错误定位需要同时理解步骤内容和步骤依赖关系。我们提出 DeFA，一种依赖引导式智能体失败归因框架。DeFA 首先将协议关系和语义依赖结合起来，构建一个覆盖整个轨迹的事件依赖图。随后，它识别可能违反任务要求的事件，并追溯这些事件的来源及其后续影响，从而构建失败传播图。最后，DeFA 利用步骤证据及各步骤在失败传播中的作用，识别决定性错误、责任智能体和错误类别。为支持长轨迹，DeFA 将执行过程划分为多个片段，并将当前片段的详细内容与其他片段的摘要相结合，使局部诊断能够访问全局执行上下文。在 Who and When 以及 Who and When Pro 文本子集上，DeFA 在所有评估的骨干模型上都取得了最高的责任智能体识别准确率和步骤精确准确率，并在 Pro 上的分类体系一致方法中取得了最高的失败模式准确率。针对图像和视频轨迹的进一步实验表明，DeFA 适用于多模态失败归因。消融实验验证了分段、事件依赖图和失败传播图的作用。将 DeFA 的诊断反馈用于 Trace2Skill 的技能演进后，相较于原生流程，下游任务准确率提高了 6–15 个百分点，表明这些诊断结果还可以支持智能体在后续任务中的改进。
01:11 arXiv cs.AI 76
长期第一视角视频使个性化 AI 助手能够对日常生活进行推理。然而，随着视频历史记录增长到跨越数月或数年的数百小时，每次查询都重新处理原始片段在计算上变得难以承受。记忆系统通过将视频压缩为文本表示，提供了一种可扩展的替代方案，但在实际基准测试中往往表现不佳：要么记忆无法保留关键证据，要么由于不断扩大的搜索空间中存在检索竞争，检索器无法找到相关条目。为应对这些挑战，我们提出了 MemLife，这是一种多模态记忆系统，能够构建以实体为依据的第一人称文本片段，并通过按时间索引的智能体式阅读器对其进行检索。在无需训练且查询时无需访问视频的情况下，MemLife 在四个长时域基准测试中较最强的免训练基线提升了 4.6--12.0%。为进一步提升记忆质量，我们提出了 MemOpt，这是一种强化学习框架，用于优化记忆写入器，使其生成忠实、信息丰富且易于检索的记忆。MemOpt 在不同视频和问题分布上始终将 MemLife 的性能提升 2.7--5.0%，并且这些增益能够跨越不同的写入器与阅读器骨干网络以及不同的记忆系统实现泛化。
01:13 arXiv cs.AI 81
语音到语音系统必须解决其要求在多轮对话中逐步显现的任务。我们推出 SpeechConversationBench（SCB），这是一个专门用于评估口语数学推理能力的基准，采用了 103 道经过分片处理的 GSM8K 题目。该框架比较三种条件：以单轮形式提供完整原题（full）、将所有信息分片拼接后一次性提供（concat），以及在多轮对话中逐步以语音披露信息（sharded）。我们报告了四种商业语音系统和 LEGO 在最终答案准确率方面的表现；LEGO 是由 SCBX Innovation Lab 团队内部开发的专有语音流水线，具备显式的对话上下文管理能力。与 concat 相比，四种商业系统在 sharded 条件下的准确率下降了 5.0 至 25.3 个百分点。LEGO 在三种条件下均达到 77.5% 的准确率，而 GPT-4o Realtime 在 sharded 条件下的准确率为 76.6%。这两个单轮基线有助于区分模型对问题重新表述的敏感性，以及增量式语音交互所带来的额外挑战。
01:30 arXiv cs.AI 81
传统上，视觉感知通常被表述为：在假设图像内容和模型的参数化知识足以解决查询的情况下，仅通过一眼查看图像进行一次性预测。然而，在依赖细粒度视觉细节或需要知识密集型且时效性强的信息的现实场景中，这一假设往往并不成立。我们将此类情况称为\textit{证据不足下的感知}，并将感知建模为一种能够获取超越单次观察所得信息的智能体过程。为解决这一场景缺乏数据的问题，我们设计了两条专用数据生成流程，生成用于训练的 EviRover-SFT-5K 和 EviRover-RL-12K。我们进一步构建了 EviLens，这是一个经过人工验证的基准，涵盖五类感知任务，共包含688个实例。在这些数据的基础上，我们提出了 EviRover。据我们所知，这是首个经过明确训练、能够通过交互解决感知查询的感知智能体，其训练流程先采用监督微调，随后进行智能体强化学习。实验表明，4B EviRover 在 EviLens 上平均超过其骨干模型30个百分点，达到与先进专有模型相当的性能。这些增益还从 EviLens 迁移到了 WebEyes、传统感知基准和通用多模态基准，在 BrowseComp-VL 上提升了15个百分点。所有代码、模型和数据均已发布。
01:55 arXiv cs.AI 76
随着交互式 3D 世界日益被用于研究智能行为，开发高效流程以识别这些模拟环境中的异常变得十分重要，例如漂浮物体、可穿越的墙壁，或与周围场景不一致的物体。包括视觉语言模型（VLM）和视觉语言动作模型（VLA）在内的多模态 AI 系统，已展现出自动化执行这一任务的潜力。然而，3D 世界审计十分复杂，需要将两种截然不同的能力紧密结合：行动能力，用于在 3D 世界中导航，并系统且高效地搜寻异常；视觉推理能力，用于理解环境，并从多模态观测中识别异常。多模态智能体能否有效结合这两种能力，目前仍基本未得到探索：它们能否在采取行动验证潜在异常的同时，利用视觉推理识别这些异常。本文介绍 WorldAuditBench，这是一个用于 3D 世界审计的基准，包含跨越五类异常、分布于 13 个环境中的 213 项异常任务；这些环境使用 Unreal Engine 5 和 Three.js 构建。我们在固定探索预算下，采用两种审计范式评估了五个前沿模型：先基于 VLA 进行探索，再基于 VLM 识别异常；以及一种端到端 VLM 智能体，其中视觉推理直接指导行动选择。在所评估的模型和两种范式中，成功率介于 6.6% 和 42.3% 之间，显著低于人类表现（83.4%）。通过世界审计任务，WorldAuditBench 为研究多模态智能体如何在交互式 3D 环境中结合行动与视觉推理提供了测试平台，同时凸显了当前这类智能体在探索过程中收集和解读证据方面的能力局限。
14:09 arXiv cs.AI 72
对话中的情绪识别已得到广泛研究，但将大型语言模型（LLM）应用于多模态对话中的连续维度情绪评估，仍基本处于探索阶段。我们提出了一个基于LLM的框架，在IEMOCAP上同时进行离散情绪识别和效价-唤醒度-支配度（VAD）维度评估，并依据SpeechCueLLM方法，将声学线索融入自然语言描述。我们在零样本提示、少样本提示和LoRA微调设置下，对涵盖LLaMA、GPT和Qwen系列的六个模型进行了评估。尽管GPT的规模更大，经过LoRA微调的LLaMA模型在两项任务上的表现均显著优于采用提示工程的GPT模型；我们认为，这一差距源于领域适配，而非模型容量。我们的最佳模型取得了0.7822的效价CCC，在IEMOCAP上达到了新的最先进水平。消融实验表明，文本化的音频描述能够显著提升较小模型的性能（加权F1提升3.5至3.6），但对最大模型的贡献很小，这说明当语言能力受限时，音频线索最具价值。VAD各维度之间的性能不对称性，与IEMOCAP标注结果中标注者一致性的层级高度相似。
01:04 arXiv cs.AI 76
我们在 LongMemEval-S 上评估了一个可审计的长期记忆系统。其检索链使用混合候选检索、cross-encoder 重排序、覆盖优先的数据包编译，以及确定性推理脚手架；LLM 仅作为可替换的最终阅读器使用。该链在 470 个可回答问题中的 468 个问题上将所有黄金会话放入候选池，并在 470 个问题中的 462 个问题上生成黄金完整的数据包。通过未固定的 CLI 别名调用 Claude Opus 阅读器，在两次 500 题运行中，在 GPT-4o 评判下分别得到 479/500 和 475/500。72 条可回答的知识更新行使用了实质性修改过的评分提示，其在官方文本下的影响尚未测量。这一组结果横跨 Chronos High 已发布的 478/500；阅读器生成、评分提示以及可能的数据版本的差异，加上系统内方差，既不能证明优越性，也不能证明等价性。在相同数据包上，grok-4.6-high 阅读器得分为 476/474，而一个最大推理努力的 agentic 变体退化到 461/465。标题结果的两次运行在八个判决翻转行上存在差异。第二个评判器在每次运行中都与标题评判器在 493/500 行（98.6%）上一致，并给两次运行均评分为 472/500；官方评判器在重新评分字节完全相同的第 1 次运行答案时，也翻转了三个判决。负对照否定了一个验证器：它修复了三个错误草稿，但破坏了十一个正确草稿。所有组件均在同一组 500 个问题上开发，没有留出评估或独立人工裁决；检索与脚手架方法来源以及从转录记录导出的审计均已保留；标题阅读器接收了额外的操作员上下文，其完整请求未被保留，且 MCP 工具可用性尚未解决。我们发布了物化数据包、脚手架、阅读器输出、评判器判决和对照，以供检查和重新评分。
01:59 arXiv cs.AI 72
统一多模态模型既能查看图像，也能渲染图像，因此原则上它们可以修复自己的生成结果：诊断一张图像哪里出错，进行修改，观察结果，然后再次诊断。一次修改是否有帮助，只有在渲染之后才知道，因此反思文本和图像生成必须在整个循环中联合学习。基于反思轨迹的监督微调（SFT）提供了冷启动，但无法找到高成功率的修复路径；而仅优化渲染器或仅优化一个头部的朴素 RL 则会使大部分收益未被利用。我们提出 UMM-Reflection，它在一个统一模型内部将强化学习（RL）应用于完整的反思轨迹：同胞轨迹共享同一张初始图像，因此组相对优势会比较不同反思策略；并且一个轨迹级优势同时更新反思 token 和基于流的修改，从而避免逐轮信用分配的组合爆炸。不同于单轮编辑或带有外部评论器的流水线，信用会跨轮次流动，并流向同一模型的两种角色，而且推理时不需要验证器。在 BAGEL 上，UMM-Reflection 相比 SFT 将 GenEval 提高了 12.05 分，并且这些收益迁移到了 WISE（+10.97）、OneIG-Bench（+3.48）和 T2I-CompBench++（+4.63），这些基准均未用于训练。
00:32 arXiv cs.AI 79
历史照片和其他经典图像如今只需一条指令就能被无缝编辑，往往不会留下可靠的像素级痕迹。在这种情况下，操纵的唯一证据可能只是关于图像所描绘内容的一个事实。现有基准反而依赖生成器伪影、图像-文字说明不一致、视觉上的不合理之处或外部参考，因此并未测试模型能否利用自身的世界知识来核验一张已识别出的图像。我们提出 Mandela-Bench，其中包含 1,507 个经典图像编辑样本：1,359 个仅凭知识即可识别的伪造样本，每个都与一个可验证事实相矛盾；以及 148 个无锚点对照样本，它们保留了编辑过程但未引入事实矛盾；另有 474 张未改动原图。我们的评分不仅考察模型是否检测到伪造，还考察其解释是否指出了被插入的实体或被违反的事实。在 36 个多模态模型中，从 0.8B 参数规模到前沿规模，我们发现了一种一致的失效模式。当某位公众人物被从一张熟悉的照片中移除时，模型在多达 72.7% 的回答中仍会说出此人的名字。有些模型在单独展示替换后的人脸时能够将其与原始人脸区分开来，却仍会将完整的编辑后照片判断为真实。提供真实事件和日期并不能改善基于知识的检测，而在裁掉可识别构图后再提供相同信息则可以。即使在明确要求核验的提示下，36 个模型中也只有一个在至少一半伪造图像上达到 KGR 标准。这些结果表明，这些失败不能仅由知识缺失或感知不足来解释。相反，它们与这样一种现象一致：识别会使核验偏向记忆中的经典图像，而不是实际观察到的编辑内容。
00:06 arXiv cs.AI 72
医学视觉语言模型（VLM）后训练通常通过答案准确率进行评估。我们在 PMC-VQA 上开展了一项受控的 Qwen2.5-VL-3B 研究，考察准确率和训练目标的变化如何与基于图像条件的决策相关。我们比较了仅限于语言模型的低秩适配（LoRA）监督微调（SFT）、扩展的多模态适配范围、标准的仅答案 Group Relative Policy Optimization（GRPO），以及一种反事实证据目标。在 2,000 个干净测试问题上，语言模型 LoRA SFT 使正确图像准确率变化了 +1.10 个百分点（95% 配对 bootstrap 置信区间：-0.85 至 +3.05），而视觉受益事件减少了 2.40 个百分点，图像敏感性减少了 5.60 个百分点。配对记录显示，新增了 155 个视觉受益事件，丢失了 203 个视觉受益事件。更广泛的适配相比语言模型 LoRA SFT 产生了更低的正确图像准确率。标准 GRPO 产生了混合奖励组和参数更新，其干净测试准确率变化存在不确定性。生成审计显示，规范选项分数可能遵循与生成答案不同的 token 路径。当沿贪婪生成路径获取分数时，证据目标在训练集上有所提升；在匹配训练剂量的验证数据上，其相对于标准 GRPO 的增益仍不一致。样本级分析追踪了后训练过程中证据分数、决策边际和生成答案如何变化。这项实证与测量审计识别了优化活动、目标获取和有用的留出视觉行为之间的差距。
20:52 arXiv cs.AI 74
长时域任务需要在有限且与查询无关的记忆预算下，保存并随后恢复跨会话证据。现有的压缩方法可能会丢弃细粒度的视觉线索，或将语义相似但彼此不兼容的观测混为一谈。我们提出 C3M，一种跨会话多模态记忆组织方法，用于在持久化的源文本-图像证据之上维护一个有界的活动索引。关系感知更新会整合安全的冗余，同时保留互补记录和不兼容记录。在查询时，基于预算的路由会选择有用的索引页，并在固定的读取预算下扩展其关联的源证据。总体而言，这些机制为跨会话长时域任务构建了一种紧凑且保留溯源信息的多模态记忆组织方式，保留了可靠下游推理所需的时间区分和源链接。代码可在 https://github.com/HuzhouNLP/C3M 获取。
21:36 arXiv cs.AI 81
本文对三种加纳语言（Twi、Dagbani 和 Ewe）中的青少年健康沟通自动语音识别（ASR）开展了一项端到端研究。研究分为三个相互衔接的阶段：第一阶段，我们在通用领域《圣经》语料库和青少年性健康与生殖健康（ASRH）领域 ASR 数据集上，使用字符错误率和词错误率（CER、WER）对五个 ASR 系统进行了基准测试，其中包括三个特定语言的 Wav2Vec2 模型以及两个多模态大语言模型 Gemma 3n 和 Gemma 4。第二阶段，在基准测试结果的指导下，我们开展了有监督的领域适配：尽管 Gemma 4 是零样本条件下表现最强的候选模型，但对其进行微调在计算上不可行，因此我们转而采用轻量级的 Qwen3-ASR-0.6B，使用大型加纳《圣经》语料库（约 9 万个样本）进行微调，并严格在留出的人工采集领域内音频上进行评估。微调后，所有语言的 WER 均有所降低，其中 Ewe 的改善最为显著（WER 从 109.3% 降至 64.8%，下降 44.5 个百分点；CER 从 65.1% 降至 24.9%）。第三阶段，我们通过 KasaHealth 对研究进行验证：KasaHealth 是一款以语音为先、以三种语言部署的实时 ASRH 应用，并配套使用 Senti-Check 这一技术评估工具。KasaHealth 经 50 名社区受访者测试后，聊天认可率达到 100%，翻译获评“良好”或“优秀”的比例为 72%，愿意推荐的比例为 92%；与此同时，测试还揭示了最限制其实际应用的领域差距。贯穿三个阶段的证据一致表明：对于这些语言而言，制约因素是经过验证的领域内数据，而不是模型能力或计算资源。
21:24 arXiv cs.AI 73
我们提出 LAYERSCOPE，一种无标签、逐层的框架，旨在刻画模型在视频和多模态场景中学习到的表征。使用最终层或中间层的表征评估下游性能，通常需要大量标注数据、反复进行面向具体任务的评估以及大量计算。为解决这些局限，LAYERSCOPE 使用局部、全局、分布和基于对应关系的几何指标，在无需任务特定标签的情况下，比较模型内部及模型之间逐层表征的结构。我们在来自 MVEB/MVEB+ 的视频和多模态分类、聚类以及文本到视频检索任务上，评估了七种架构各异的模型。我们发现，中间层表征的表现可能优于最终层表征和模型默认输出。我们还发现，没有任何单一几何指标能够持续稳定地预测下游性能，但不同模型家族之间会呈现出各自独特的逐层几何特征。LID 与性能之间的关系取决于具体任务，而 RankMe 对分类和聚类提供了最有力的度量，但并非通用的层选择器。我们还发现，相较于仅使用分布距离，考虑配对关系的指标能够更好地解释检索性能。因此，LAYERSCOPE 为跨模型、跨层比较表征提供了一个框架，从而能够在视频和多模态场景中开展更加系统的评估。
23:08 arXiv cs.AI 75
Large language models (LLMs) have shown strong performance in creative text generation, yet their ability to produce culturally grounded and stylistically constrained literary forms remains underexplored. Prior work has focused largely on modern language varieties and poetry, while classical prose traditions such as maqama remain largely unstudied. The maqama is a classical literary genre characterized by rhymed prose (saj), dense rhetorical ornamentation, and episodic narrative structure, making it a challenging testbed for evaluating whether LLMs can move beyond surface fluency toward deeper literary competence. In this paper, we present the first controlled evaluation study of maqama generation with LLMs, comparing five models under zero-shot, few-shot, and rule-based prompting, and evaluating outputs through both human annotation and an LLM-as-a-judge framework across dimensions such as rhetorical richness, saj density, structural coherence, and stylistic authenticity. Our results show that prompting strategy plays a strong role in stylistic quality: few-shot prompting most consistently improves saj density, while its effects on rhetoric and coherence vary by model, with the strongest models (GPT-4o and GPT-5.4-mini) benefiting most from rule-based prompting on these dimensions, though zero-shot prompting yields the highest aggregate scores across all five models. We further observe systematic differences between models in stylistic alignment with Arabic maqama conventions, and corroborate our findings with a second independent LLM judge, paired statistical significance testing, and non-LLM proxy measures of saj.
01:55 arXiv cs.AI 79
社会导航通常假设目标已被指定，并专注于在遵循社会规范的同时抵达该目标；而机器人群组加入则需要根据群组的实时活动和队形，预测应从何处加入。这是一项高度语义化的任务，但对于机器导盲犬和自动驾驶代步车等应用而言，是一项重要能力。我们提出了以语言为基础的机器人群组加入任务：给定一项观测和对目标群组的自然语言描述，机器人识别相关群组成员，并预测符合社会规范的加入位姿。为实现语义指代 grounding，我们通过递归谱划分生成结构化候选子集，并利用语言条件图像--几何模型对其进行排序。确定目标群组后，目标预测器利用人类队形先验，在可行的机器人位姿上生成多模态能量--朝向图。在不同群组规模、人群密度和视觉歧义条件下，针对交谈、排队和观众场景的实验表明，我们的方法以亚秒级推理速度取得了具有竞争力的 grounding 准确率，并在加入位姿预测方面优于所有基线方法。真实机器人实验进一步展示了该方法在静态和动态变化的互动中的群组加入能力。
16:09 arXiv cs.AI 83
我们提出了 NV-Reason-CT，这是一种用于胸部和腹部 CT 的生成式视觉-语言模型，结合了原生 3D 视觉编码与放射科医生指导的推理。该模型将原生 3D 视觉 Transformer 与语言模型相耦合，将所有视觉 token 及其明确的 3D 坐标输入语言解码过程，而不进行进一步的空间 token 合并。这在视觉编码器内部，并在与文本联合处理期间通过语言模型的位置编码，保留了体积空间信息。 我们在一个经过整理的语料库上进行训练，该语料库包含来自 70,111 个唯一 CT 图像输入的约 550,000 个多模态指令示例，结合了标准化报告、聚焦异常和特定解剖结构的问题、多轮交互，以及来自已记录并转录的专家 CT 解读、由放射科医生撰写的推理。专家标注提供直接监督，并指导额外的基于报告的合成推理。端到端监督微调（SFT）之后采用 Group Relative Policy Optimization（GRPO），并在胸部和腹部异常集合上使用可验证奖励。 该模型支持异常分类、报告生成，以及带有可审查观察结果、鉴别诊断和不确定性的交互式推理。评估涵盖公开 CT 基准和一个留出的 NIH 队列。在 CT-RATE 上，NV-Reason-CT 在没有任务特定分类头的情况下实现了 0.614 的 macro-F1 和 0.871 的 macro-AUROC；生成的报告达到了 0.592 的基于报告推导的 macro-F1。在一项由专家放射科医生参与的初步研究中，AI 辅助审阅获得了有利的信心评分，并与平均报告的解读和报告时间减少 50% 相关。我们发布该模型和训练代码，以支持针对体积医学影像可解释 AI 的可复现研究。
16:41 arXiv cs.AI 74
多模态学习正成为面向物理的 AI（AI4Physics）中的一种强大范式，其中对物理系统的预测需要联合解释异构观测、测量数据和领域知识。然而，现有方法通常将物理量和控制方程表示为通用的数值或文本 token，忽视了决定其时空相互作用的物理约束。为解决这一局限，我们引入了 \textbf{物理场模态}，并提出 \textbf{PhyMo}，这是一个以物理为基础的多模态框架，通过与 PDE 相关联的算子来组织异构测量数据。PhyMo 遵循三阶段学习流程：首先在 PDE 残差监督下通过场重建对物理场编码器进行预训练；随后将其表示与视觉嵌入对齐到共享潜在空间中；最后由相应的下游预测头处理融合后的多模态表示。在涵盖多种物理环境的五个数据集上的实验表明，与每个数据集上最强的基线相比，PhyMo 达到了最先进的性能，证明了 PhyMo 在 AI4Physics 多模态表示学习中的优越性。
17:47 arXiv cs.AI 78
在行人周围运行的机器人通常会对有限集合的人类未来轨迹预测进行推理。反复进行在线更新可能会将这一有限的预测预算集中到占主导地位的目的地上，使合理的替代目的地代表不足甚至完全缺失，从而将这些替代方案排除在下游决策可用的有限表示之外。我们提出 Destination Support Restoration（DSR），这是一种因果后选择算子，无需重新训练宿主预测器，也无需增大所维护集合的规模，即可修复目的地支持集。在修复步骤中，DSR根据观测前缀评估一个临时的、按目的地分层的候选库，将候选证据转换为整数目标数量，保护活跃模式的代表，并将冗余的多余假设重新分配给代表不足的模式。所维护和返回的集合始终恰好包含 $N$ 个假设，且DSR最多替换 $\lceilρN\rceil$ 个条目。受保护的代表保留当前的类别支持；具备谱系感知能力的粒子滤波器还会保留存活的重采样祖先。每次替换都会使分配结果与基于证据确定的目标之间的不匹配减少一个单位。在使用三个随机种子的完整3,719条轨迹 Edinburgh protocol 上，当 $N=64$ 时，DSR使 MIF 加权 ADE 和 FDE 分别降低13.36%和13.30%。与 CLiFF、PPT、causal GDTS、Social Informer 和 PECNet 进行成对集成后，在每一组评估中，这两个指标均得到改善。这些结果表明，当固定假设集作为下游系统的接口时，有限集合的支持分配是预测侧一个有用的控制点。
19:18 arXiv cs.AI 81
通用视频编辑的发展依赖于构建大规模成对监督数据，并有效地使视频生成骨干模型适应指令驱动的编辑。不同于视频生成，视频编辑必须执行所请求的变换，同时保留无关主体、场景结构、运动和时间连续性。我们提出了 VideoX-Qwen，这是一个面向通用指令驱动视频编辑的集成式数据构建与模型训练框架。我们的可扩展生产流程将专门的生成模型与理解模型组织成互补的添加、移除、替换和属性编辑路径，随后进行质量筛选与指令增强。该流程生成了超过 120 万条定向视频编辑数据记录，其中每个主要任务组均包含超过 40 万条记录，自动接受率达到 89%。由此得到的数据集通过统一的源视频-指令-目标视频接口，对常见编辑操作进行了广泛且结构化的覆盖。我们进一步开发了统一的 Qwen-Wan 编辑器，将多模态语义条件与密集的源视频潜变量引导相结合。渐进式图像-视频训练策略对齐了多模态指令接口，使视频生成器适应源视频条件下的编辑，并利用筛选出的高分辨率数据进一步提升输出质量。在与 UniVideo 和 Kling O1 基于 100 个样例的比较中，VideoX-Qwen 在报告的 11 项指标中的 9 项上取得了最佳平均结果，这些指标涵盖指令遵循、编辑质量、内容保留、结构与感知相似度以及视频分布质量。总体而言，大规模数据生产系统与统一训练框架为构建更强大的指令驱动视频编辑能力提供了实用基础。
00:19 arXiv cs.AI 82
医疗智能体日益将通用推理模型与专业临床工具相结合，但其能力在很大程度上仍受部署前由临床医生和工程师所设计内容的限制。递归自我改进（RSI）提供了一种不同的范式：智能体从自身失败中学习，并自主扩展其能力。然而，将 RSI 直接应用于医疗领域会带来根本性的安全挑战。我们提出了 MedRSI，这是首个面向医疗领域的递归自我改进框架。该框架通过工具组合和特定任务模型训练，持续将诊断失败转化为新的临床能力。受临床实践启发，MedRSI 引入了两种临床对齐的自我进化机制。临床成本感知的失败优先级排序根据错误可能造成的临床后果，而非仅依据错误频率，来确定改进方向。快速发现与缓慢注册机制将能力的快速发明与保守采用分离开来，只有当新工具在后续患者队列中持续展现出益处后，才会被纳入持久化智能体。在公开的青光眼和心脏病基准以及两个私有临床任务上，MedRSI 逐步发展出分割、测量、预测、多模态推理和生成能力，超越了人工设计的医疗智能体，并自主发现了原始设计者未曾预见的临床问题解决方案。我们的结果表明，医疗智能体不必始终受限于部署前规定的能力：通过以临床为基础的机制来决定改进什么以及保留什么，它们能够从诊断经验中持续构建、验证并积累新的能力。代码可在 https://github.com/ImprintLab/MedRSI 获取。
00:45 arXiv cs.AI 81
多模态智能体检索（MAR）要求智能体通过反复调用外部工具来解决复杂的信息获取任务。ReAct 等典型框架将原始多模态输入与不断累积的交互历史保存在单一且持续增长的上下文中，从而导致上下文爆炸问题。尽管现有方法通过压缩冗余文本缓解了这一问题，但管理占用大量 token 的视觉内容的有效策略仍在很大程度上未得到探索。为弥补这一空白，我们首先对约 10,000 条轨迹开展了系统性的实证研究。结果表明，随着视觉线索通过外部工具逐步提取并文本化到上下文中，原始图像变得越来越冗余。持续保留图像会导致更高的输出熵，甚至可能降低任务准确率。受这些发现启发，我们提出了 MM-ContextFold，这是一种无需训练、仅在需要时加载原始图像的框架。该框架维护一个持久的纯文本主上下文，用于高层规划，并为依赖图像的子任务创建临时分支上下文。在每个分支中，智能体加载相关图像、完成子任务，并将结果以简洁的文本摘要形式折叠回主上下文；随后丢弃图像和分支轨迹。在五个主干模型上的七个 MAR 基准测试中，实验结果表明，与 ReAct 相比，MM-ContextFold 将平均准确率提高了 6.3 个百分点，同时将工作上下文长度减少了 27.5\%。
00:58 arXiv cs.AI 78
大型语言模型（LLM）推理正从引擎本地的优化问题演变为分布式控制问题，涉及可复用状态、阶段放置、异构加速器、网络通信、自动扩缩容、可靠性和服务级别目标。本文结合经同行评审的系统研究、开源实现以及有文档记录的生产环境研究，梳理这一转变。本文将 vLLM 和 llm-d 视为互补层：模型服务引擎通过 PagedAttention、连续批处理、内核、量化和并行化等机制优化执行，而推理控制平面则可以在整个集群范围内优化执行发生的位置、时机以及所遵循的策略。本文的贡献在于综合分析，而非提出新的基准测试；文中报告的所有性能和部署结果均归属于其原始来源。综合证据表明，现代推理中的稀缺资源正从单纯的原始 FLOPs 转向受管理的状态、放置、网络传输、可靠性和决策质量。我们提出一种推理执行规划器，用于选择可行的执行方案，而不只是选择端点；这些方案包括聚合式与分离式拓扑、KV 来源及传输操作、硬件变体、路由/准入策略，以及较慢时间尺度上的扩缩容决策。我们还提供按来源归属整理的基准测试图谱、瓶颈迁移分类法、实用部署指南、基于 SLO-goodput 的评估框架，以及面向智能体、多模态、异构和高韧性推理的研究问题。
01:09 arXiv cs.AI 75
大多数医疗视觉-语言模型（VLM）擅长开放式报告生成和视觉问答（VQA），但在统一界面内对结构化、细粒度临床感知的支持有限。我们提出 QwenVLConnector，这是一种基于 Qwen2.5-VL 的医疗聊天机器人，在单一的下一个词元目标下统一了分类、多标签分类、文本化检测、计数、回归和自由形式报告生成。其关键组件是一个轻量级的密集多层 Connector，用于聚合低层和高层视觉特征，通过预训练的视觉 Merger 对其进行对齐，并在不增加序列长度的情况下将其与最终视觉表示融合。该设计在保持效率的同时，用互补的空间和语义线索丰富视觉词元。在 FLARE-2D 上，相比 Qwen2.5-VL 基线，QwenVLConnector 将检测 F1 从 0.55 提升到 0.85，将单标签分类从 0.37 提升到 0.51，并使报告生成的 GREEN 最高提升 18.3 分。我们进一步探索了用于报告生成的多模态上下文学习，显示出无需更新模型参数即可获得额外改进。总体而言，QwenVLConnector 为将结构化医疗感知与开放式临床文本生成相结合提供了一个统一且高效的框架。我们的代码可在 https://github.com/plnguyen2908/QwenConnector 获取。
05:10 arXiv cs.AI 78
LLM 解释器正越来越多地作为运行时监督附加到自主智能体上，操作员阅读的是对智能体信念和行动的生成式说明，而非其内部状态。我们审计的是该说明本身：将一个跟踪德国电网需求并调整发电量的 Active Inference (AIF) 智能体与基于三个后端（GPT-4o、Claude-3-Opus、Gemini）的 LLM 解释器配对，并使用三种黑盒触发因素探测这一组合。每步将观测流篡改 600 MW，会使智能体的后验偏移 490 MW，约为电网容量的 0.9%。在注入期间生成的 30 条解释中，没有任何一条在既定评估准则下标记出异常，而且每条都流畅地叙述了被篡改后的信念。在智能体采取客观错误行动的时间步上，三个解释器都会在 80–95% 的情况下产生迎合式合理化解释（每个后端 n = 20）。观测元数据字段中的攻击者可控文本会引导解释器，不同提供商的易受影响程度不同，且三个后端上的数据外泄均成功。我们为每种失效提出了缓解措施，但未对其进行评估。在我们观察到的每一种失效中，解释都是流畅但错误的。此外，解释器架构中没有任何机制会在操作员依据解释采取行动之前检查该解释是否为真。因此，对解释器的测试应纳入任何智能体部署审计之中。
20:03 arXiv cs.AI 83
大型音频语言模型的成功推动了参数量超过数十亿的超大规模多模态网络的发展。然而，对保护隐私和低延迟处理的需求，使研究重点转向能够在设备端运行的小型音频语言模型（SALMs）。本文介绍了面向边缘计算设计的 SALMs 系列 Samsone。我们的核心模型 Samsone-134M 在多个基准测试中为其规模类别确立了新的当前最先进水平。我们还通过推出 Samsone-99M 和 Samsone-356M，进一步探索 SALMs 的规模定律。尽管模型规模紧凑，Samsone 系列的性能仍可与参数量大几个数量级的模型相媲美。为推动开放研究和结果复现，我们使用公开可用的数据训练 Samsone。我们发布了训练代码、模型权重和针对移动设备优化的检查点，并提供了一个开源 Android 应用，用于展示 Samsone 在设备端的实时推理能力。
21:27 arXiv cs.AI 80
急诊科（ED）的决策依赖于异质的临床信息，包括患者病史、生命体征、实验室结果和心电图（ECG）。Vision-Language Models（VLMs）能够联合处理这些模态，但强大的预测性能并不一定意味着模型有效利用了正确患者的 ECG。我们将这种失效模式称为 ECG Mirage：表面上具备多模态能力，却未有效依赖患者特异性的 ECG 信息。我们区分了两种形式：ECG 忽视，即 ECG 几乎不带来预测收益；以及 ECG 混淆，即匹配的 ECG 优于无图像输入，但不如不匹配的 ECG。为评估这些行为，我们在固定临床文本和预测目标的情况下，对比使用匹配 ECG、与结局不一致的不匹配 ECG 以及无图像输入时得到的预测结果。在 MDS-ED 上的四个 VLMs 中，无论是 ICU 入院预测还是临床恶化预测，匹配 ECG 都未表现出一致的优势。随后，我们先使用监督学习，再进行条件直接偏好优化，训练了四个受限视觉提示，同时冻结 VLM 主干。所得模型在 ICU 入院和临床恶化预测上的平衡准确率分别达到 70.6% 和 67.5%，并将匹配与不匹配条件之间的性能差距分别提高到约 16.5 个百分点和 5.5 个百分点。总体而言，本研究识别了多模态临床预测中的 ECG Mirage，并提出将视觉提示调优作为一种高效的缓解策略。
22:21 arXiv cs.AI 76
多模态生存模型可以结合全切片图像和基因组谱中的互补预后信息，但在外部队列偏移和计算复杂性存在的情况下，实现有效融合仍然具有挑战性。为应对这些挑战，我们提出了 MIST，即基因组引导的组织学注意力多模态生存预测方法。MIST 将基因组特征表示为标记，并允许这些标记在进行生存预测之前查询紧凑型基础模型提取的组织学上下文标记。该设计不是仅在最终阶段合并分别编码的模态，而是利用组织学上下文丰富分子信息。训练过程将离散时间生存预测与基因组特征掩码、WSI 丢弃以及配对 WSI-基因组对比对齐相结合。在结肠癌、肾癌、肺癌和胶质母细胞瘤队列的四项外部评估中，MIST 在主要比较中均较标准融合基线提高了外部 C-index。这些结果表明，基因组引导的组织学注意力是一种紧凑且有效的多模态肿瘤学结局预测策略。我们的代码可在 https://github.com/samiyavuuz/MIST 获取。
22:29 arXiv cs.AI 79
盲人和低视力用户在陌生室内环境中定位并实际获取物体时，常常面临挑战。现有基于视觉语言模型的助手能够提供语义描述，但可能带来延迟、幻觉以及与具身行动契合度不佳的引导。我们提出了 Touvigation，这是一种免手持物体获取系统，将视觉语言理解与持久化局部空间建模相结合，以提供低延迟、相对于身体的引导。通过对八名盲人和低视力参与者开展形成性访谈，我们设计了一种多阶段引导框架，可随着用户从定向、行走过渡到伸手和触觉验证，自适应地调整空间指代方式。我们邀请12名盲人和低视力参与者，将 Touvigation 与多模态大语言模型助手及无辅助搜索进行了比较评估。Touvigation 的任务成功率达到100%，而多模态助手和无辅助搜索分别为58%和85%；同时，Touvigation 还缩短了完成时间并降低了认知负荷。研究结果表明，持久化空间定位与自适应具身引导能够改善盲人和低视力用户的物体获取体验。
22:32 arXiv cs.AI 64
Despite recent advances in large language models (LLMs), performing logically consistent deductive reasoning over extended interactions remains challenging. Tasks that require integrating evidence across multiple reasoning steps, maintaining consistency with prior inferences, and updating beliefs under new constraints can surface limitations in current models while providing a useful testbed for evaluating reasoning enhancements. In this paper, we implement a text-based, multi-agent version of the classic board game Clue as an environment to evaluate multi-step, agentic deductive reasoning. In this setting, agents must infer hidden information from a sequence of observations, maintain consistency across turns, and reason over an evolving set of logical constraints. We instantiate six LLM-based agents (GPT-4o-mini and Gemini-2.5-Flash) as players that engage in turn-based gameplay; using three agents per model family, we establish baseline performance across repeated games. We then introduce a tool-augmented approach in which a structured possibility matrix converts implicit game state from generated reasoning logs into an explicit representation of remaining possibilities. The possibility matrix encodes extended-turn memory and deductive constraints, offloading these tasks from the agent. We compare this approach against the baseline to evaluate how tool augmentation supports reasoning quality and task success for autonomous agents in a strategic reasoning environment.
23:32 arXiv cs.AI 74
科学海报生成将多模态论文提炼为单页视觉作品，在固定的空间预算下，迫使人们在信息覆盖范围与可读性之间进行严格权衡。现有方法将计划作为瞬态提示传递，并孤立地验证各个阶段。这种策略会导致需求在内容模块与布局模块之间逐渐偏移，且先前的检查可能被静默地失效。我们提出 PosterVisor，一种将海报生成从瞬态提示转向持久控制的控制框架。Orchestrator 以论文和视觉资产为依据落实评估标准，并将其编译为语义-几何契约（Semantic-Geometric Contract，SGC），把论断和来源绑定到所需的视觉元素、预算与空间承诺上。只有完全实例化的记录才会成为可执行断言；其他可用需求则保留为软性指导。递归契约执行（Recursive Contract Enforcement，RCE）会随着证据的出现，在各个阶段动态触发检查。尤为重要的是，在修复过程中，RCE 会重新检查受影响的检查点状态，从而防止由修复引起的回归被静默传播。我们在 HTML/CSS 和可编辑 PPTX 生成器中实现了 PosterVisor。在包含 100 篇论文的 Paper2Poster 基准测试中，与 PosterGen 相比，PosterVisor-PPT 提高了观测到的平均海报依据问答准确率（64.47% 对 58.53%）；在人类评审者进行的无平局两两比较中，PosterVisor-PPT 在 72.5% 的比较中更受偏好（95% 置信区间：61.6%–83.4%）。另一项包含 30 篇论文的研究也取得了更高的 VLM Overall 和 PaperQuiz 均值。这些结果支持采用由评估标准编译而成的契约，以及面向阶段的执行机制，以实现可控的海报合成。
23:32 arXiv cs.AI 73
脑信号分析对于神经科学研究和临床诊断都至关重要，但当前方法面临着诸多关键限制。端到端模型需要针对具体任务重新训练，且泛化能力有限；预训练模型则缺乏语义深度，仍然依赖大量微调。与此同时，通用多模态基础模型虽然在其他领域表现强大，但由于表征不匹配以及缺乏领域知识，难以解读脑信号。本研究通过统一的语言—信号对齐框架，提出了一种用于零样本和多任务脑信号分析的多模态基础模型（METIS）。METIS在迄今规模最大、种类最丰富的脑信号语料库上进行预训练，该语料库包含来自20个数据集、超过11,000名受试者的70,000多个小时的记录。在涵盖12个数据集的综合零样本评估中，METIS的平均准确率比领先的通用模型高出20.9%以上。值得注意的是，在完全不进行微调的情况下，METIS的性能达到或超过了有监督的任务专用模型。此外，METIS还展现出卓越的数据效率和强大的泛化能力：在少样本设置下，其平均AUROC优势超过16.0%；在跨数据集迁移任务中，优势达到15.9%。这项工作为通用脑信号分析确立了新范式，为下一代神经技术的发展铺平了道路。
23:55 arXiv cs.AI 75
包容性住户调查的进展加强了关于被迫流离失所人口的社会经济证据，为生活条件和福利提供了不可或缺的基准。然而，这些调查仍然资源密集且具有周期性，而在两轮调查之间，条件可能发生变化，尤其是在受脆弱性、冲突和暴力影响的情境中。因此，需要更新更频繁、空间粒度更细的补充证据，以识别两轮调查之间社会经济条件可能发生变化的地点，并为行动优先排序提供信息。地球观测和机器学习提供了一种可扩展的、具有明确空间属性的社会经济信息来源。然而，面向一般人口开发的工具尚未在被迫流离失所情境中得到系统性适配和评估，而在这些情境下，生活条件、定居模式和流离失所影响可能存在显著差异。我们通过将一个多模态时空视觉 Transformer 适配到南苏丹、喀麦隆和赞比亚的被迫流离失所者及收容社区情境中来弥合这一空白；该模型已基于来自 36 个非洲国家约 120 万个住户的 Demographic and Health Survey 数据进行了预训练。我们使用由 UNHCR FDS 和 RMS 数据推导出的社会经济指数来开发和评估更新后的适配模型。结果显示，在与营地相交的网格中，卫星衍生的地理空间协变量可解释社会经济结果变异的最高 66%，平均绝对误差（MAE）为 4.37 个指数点；在不与营地相交的区域中，可解释 41%，MAE 为 5.41。该框架通过以定期更新的、基于模型的社会经济估计填补关键的空间和时间数据空白，对周期性住户调查形成补充并增加价值。这些估计能够在两轮调查之间维持洞察，并支持及时的人道主义优先排序和实地核查。
00:49 arXiv cs.AI 87
% !TEX root = ../main.tex 人们越来越多地使用大型语言模型（LLMs）寻求心理健康支持，但它们在不断演变的高风险对话中的安全性仍缺乏充分刻画。我们开发了 K-Bench，这是一个经临床医生校准、受保护的基准测试，用于评估来自 14 家提供商的 33 个基础模型所对应的 125 种模型配置，涵盖固定队列中的 200 个多轮短对话案例，涉及自杀、自残、家庭暴力、物质滥用以及无风险情形。合成患者对话与真实人机对话在分布上呈现出较大重叠。一个冻结的 GPT-4o 评判器在 151 份经临床医生评分的对话记录所包含的 6,751 个符合条件的项目比较中，与临床医生共识达到了 94.2% 的完全一致率。领先模型在提供有力支持性对话的同时，综合风险评分超过 95 分；而在风险探索方面，表现较低的模型配置之间则呈现出显著差异。治疗性提示带来的提升因配置而异，且主要集中在较弱的模型上；提高推理能力并未带来平均水平上的改善。K-Bench 将更广泛的临床覆盖范围和大规模配置比较结合起来，并配有持续更新的公开排行榜，其实际测试材料受到保护，以避免被直接针对性优化。排行榜可访问 www.k-bench.ai。
01:10 arXiv cs.AI 73
离线强化学习旨在仅从固定数据集中学习策略，而这些数据集通常包含多模态动作分布。流策略能够自然地表示此类多模态行为，但如何高效地学习一步流策略仍然具有挑战性：标准的价值引导通常会导致模式坍塌，或在分布外区域利用价值高估偏差。为此，我们提出了基于最优传输的一步流策略（OptiFlow），一种将一步流策略学习视为结构化样本分配问题的框架。OptiFlow 联合训练一个具有价值感知能力的参考流策略和一个高效的一步策略，并通过逐状态熵正则化最优传输将二者的动作样本耦合起来。对于每个状态，评论家估计的价值决定蒸馏目标动作的优先级，而动作距离代价则确保配对在几何上相容。通过避免直接最大化评论家价值，我们的传输引导方法以高价值且有数据集支持的模式为锚点，使一步策略能够在分布内进行利用，同时避免分布外发散的风险。实验结果表明，OptiFlow 能够有效捕捉最优多模态行为，并在多种离线强化学习基准测试中取得出色表现。我们的代码可在 https://github.com/Yonsei-DILLab/OptiFlow 获取。
01:23 arXiv cs.AI 82
滑移检测是灵巧操作的基础，但现有系统通常缺乏对检测延迟的精确刻画以及跨平台泛化能力。我们提出 SlipSense，一种构建于 TacV5 之上的多模态触觉滑移检测框架。TacV5 是一种紧凑型传感器，集成了以 240 Hz 运行的 $32 \times 32$ 压阻阵列和以 8 kHz 运行的三轴 MEMS 加速度计。压阻阵列捕捉空间压力分布，而加速度计捕捉摩擦引起的振动，从而提供互补的滑移线索。该框架执行模态特定编码、传感器内融合和跨模态注意力，并以 240 Hz 进行因果时序预测。在涵盖 37 个物体、包含 140 万帧数据的数据集上进行的实验表明，这两种模态具有互补性。SlipSense 达到 96.7% 的 Macro F1，误报率低于 1.6%，并能在 23.1 ms 内检测出 76% 的滑移事件。当仅使用 UMI 数据进行训练时，SlipSense 能够零样本泛化至 Tesollo 灵巧手，在无需重新训练的情况下，跨越未见过的物体、不同的传感器单元和机器人平台实现迁移。
00:07 Hacker News 熱門 84
嗨，HN，我是 Nari Labs 的 Toby。 我们一直在努力让 OSS 语音模型实现超高速运行。去年，我们构建了 Dia，这是首个能够进行自然对话的 OSS 文本转语音模型。从那以后，又有许多优秀的语音模型向公众发布。 但市场仍由闭源模型主导。我们认为，问题出在推理上。现有的 vLLM / SGLang 等系统并不适合多模态推理。为了证明这一点，我们构建了一个专门针对 Qwen3-TTS 的推理引擎，并将其开源了（ https://github.com/nari-labs/nari-qwen3-tts ）。在 10 RPS 下实现低于 50 ms 的延迟，这表明开源模型可以运行得更快、成本也更低。 从那以后，我们一直在努力为所有人提供廉价、快速且高质量的服务。我们甚至在闭源模型擅长的领域击败了它们！ 在广受引用的 Coval（YC S24）语音 AI 基准测试中，与 11Labs、Cartesia 等相比，我们的 Qwen3-TTS 端点不仅延迟排名第 2，准确率（WER）更排名第 1，同时还是成本最低的端点。我们的 Qwen3-ASR 端点延迟最低，准确率排名第 2，仅比第 1 名低 0.1%。它是榜单上成本第二低的模型。 为了让这些模型运行迅速、表现出色，同时保持较低成本，我们在推理工程方面投入了大量巧思。有趣的是，与我们的端点相比，Alibaba 的官方端点在准确率和延迟方面似乎表现更差。不过，我们仍然非常感谢 Qwen 团队将这些出色的语音模型 OSS 化。 我们希望继续降低价格，让语音技术成为一种大众化商品——这样每个应用都能拥有出色的 TTS 和 STT，而不必担心单位成本。我们也在研究音频领域的其他部分，例如说话人分离，以及视频和世界模型推理。敬请期待更多内容！ 评论 URL： https://news.ycombinator.com/item?id=49699267 积分：7 评论数：1
22:24 arXiv cs.AI 75
多模态模型合并旨在将多个任务专家整合为一个模型，同时保留它们互补的能力。大多数单模态模型合并方法在单个层内组合专家更新，多模态方法基本沿用了这一设计。然而，专家更新会改变传递给后续层的表示，使其影响能够沿深度传播，并影响视觉信息与文本信息的交互。当视觉更新与语言更新被组合时，后续更新所作用的输入已经被先前更新修改，从而使二者的影响相互耦合。这带来了两个挑战：（1）如何刻画单个专家更新在不同深度上的多模态影响；（2）如何依据这些多模态影响联合组合专家更新。为应对这些挑战，我们提出了 TAC-Merge，用于追踪和协调多模态模型合并中的跨层影响。该方法包含两个模块，即多模态影响映射（MIM）和耦合合并控制（CMC）。MIM 构建更新效果图，并结合 Ricci 曲率与专家预测来定义共享融合目标。CMC 对系数调整之间的交互进行建模，并联合优化区域权重，以合成一个共享模型。在多种多模态任务上的实验表明，TAC-Merge 能够有效整合互补的专家能力，并支持向未见任务的泛化。
01:01 arXiv cs.AI 77
临床时间线支持治疗窗口分析和无数据泄漏建模，但出院小结往往掩盖事件时序，结构化 EHR 表格也只能描述患者病程的一部分。我们提出了一个保留 UID 的框架，将每次叙述性事件发生与其来源文本片段关联起来，并通过纯文本估计、结构化证据检索、带时间戳的源行锚定和联合修订，在整个过程中保留该身份。我们还提出了 GAVEL，这是一种 LLM 评判器，可将两个 UID 对齐的时间线与叙述和结构化记录进行比较，从而增强既有的匹配和时间评估。基于六个开放权重模型和 40 份混合重症监护摘要，与其纯文本版本相比，GLM 5.2 多模态修订在不降低事件恢复率的情况下提高了时间一致性，并且其表现具有与临床医生标注相竞争的水平；而其他模型的修订版本增益较小，整体表现也较低。消融实验表明，UID 主要用于保留事件，而源行关联则支持时间定位。盲法人工审查支持了 GAVEL 的大多数判断；受控裁决显示，多模态 GLM 5.2 优于纯文本版本，但 DeepSeek V3.2 并非如此。在开发 UID 和评判器流程的过程中，我们证明了事件恢复率提高了 43\%，构建出了具有与临床医生标注相竞争表现的框架，并实现了一个能够为重建和评估提供事件发生级溯源的系统。
21:20 arXiv cs.AI 81
当 AI 系统能够适应使用者时，其实用性会显著提升；但在多智能体系统中，一个智能体学习到的有用上下文往往无法被其他智能体获取。我们提出了内核管理的共享内存，这是一种系统级抽象：专用智能体写入结构化、带标签的记忆，而由智能体系统内核，而非各个智能体，负责检索、隐私执行和提示注入。我们在 AIOS 上实现并评估了这一设计，并在三种助手模型（GPT-4o、Llama-3.1:8B、Qwen-2.5:7B）和总计 1,800 次试验中，将其与三种替代方案进行了比较。与使用相同底层存储、但不受管理的外部记忆后端 Mem0 相比，内核管理的检索与注入使个性化得分在 5 分制上提高了 2.4–4.0 分（例如，在 GPT-4o 上，用户资料使用度从 1.05 提升至 4.69），且每项比较均达到显著水平（p < 10^-18）。与标准的检索增强注入相比，三种模型均获得了同样显著且一致的提升。与完整、未经筛选的上下文拼接相比，后者对可用上下文设置的是软上限，而非对响应质量设置上限；内核管理的注入在三种模型中的两种上表现出统计学上的相当水平，在第三种模型上则出现了轻微且与模型相关的性能不足，同时使用的提示显著更短：三种模型的端到端延迟均降低了 15%–61%，每次调用的 token 使用量和推理成本也相应减少。这些结果表明，将记忆管理集中于智能体系统内核，而不是将检索和隐私执行留给各个智能体，能够以其一小部分成本，实现大部分不受约束上下文所带来的个性化收益。
23:44 arXiv cs.AI 78
多模态大语言模型（MLLMs）会为每张图像处理数百乃至数千个视觉 Token，从而产生高昂的推理成本。现有的视觉 Token 剪枝方法虽能缓解这一开销，但它们隐含地假设可以对所有输入统一采用单一固定的剪枝策略。我们的分析进一步揭示，按照基准测试平均准确率对剪枝方法进行排名，会掩盖显著的样本级互补性：尽管平均表现最佳的策略整体上最为出色，但其他策略在相当比例的独立样本上表现更优。为利用这种多样性，我们提出 VIP-Router，一种轻量级的 VIsion Pruning Router，可在指定剪枝级别下，自适应地选择预测为最适合每个输入的剪枝策略。VIP-Router 基于低成本的视觉和文本特征，在保留完整 Token 推理选项的同时，识别最合适的候选策略，以应对预测剪枝可能不利的情况。在精心筛选的、对剪枝敏感的视觉感知基准 VTC-Bench Group A 上进行评估时，VIP-Router 在所有压缩比例下均持续优于最佳固定策略基线：平均准确率相对提升 26.9%，在计入实际 Token 成本后，平均效用相对提升 22.0%。值得注意的是，VIP-Router 以即插即用的方式运行，无需修改底层剪枝算法或模型权重，其可训练参数量仅相当于主干模型的 0.017%。此外，VIP-Router 在多种 MLLM 主干模型上均表现有效，并在未见过的基准测试上取得稳定增益，凸显了样本自适应路由在视觉 Token 剪枝中的潜力。
23:56 arXiv cs.AI 74
临床诊断通常需要同时评估医学影像和患者记录。然而，标准机器学习算法无法对这两类数据进行联合分析。同时，遵守 HIPAA 和 GDPR 可能会限制对敏感患者数据进行集中式聚合。这造成了一个关键空缺：如何在相互远离的网络之间安全融合视觉与文本语境。因此，我们提出 OmniMed-FL，这是一项针对多模态联邦学习的受控系统研究，用于五分类临床状况分类（正常、肺炎、COVID-19、胸腔积液、心脏扩大）。我们的代理语料库将 3,000 张公开胸部 X 光片与 3,000 条按类别条件生成的合成记录配对，这些配对按类别匹配，而非按患者匹配。该框架在 3 至 20 个医院客户端、采用非独立同分布 Dirichlet 划分的条件下，对八种融合策略、三种初始化方法、四种缺失文本插补规则以及相匹配的联邦基线进行了基准测试。由于所有记录均为合成数据，且配对并非患者级别，因此这些结果只是描述性的代理比较，并非对诊断性能或部署就绪度的估计。在这些限制条件下，当客户端数为 $K=5$ 且数据严重偏斜（$α=0.1$）时，仅本地训练取得 0.297 的宏 F1 分数，FedAvg 达到 $0.662\pm0.074$，FedProx 达到 $0.737\pm0.085$，相匹配的 FedMME 风格单次集成为 $0.647\pm0.080$，而我们的 SCAFFOLD-AdamW 改进方法为 $0.070\pm0.015$；FedProx 与 FedAvg 之间 0.075 的差距处于两个双随机种子标准差中较大者的范围内。在一个 $4\times3$ 的网格实验中，标签偏斜带来的 F1 损失最高达 0.27，而客户端数量接近增加七倍所带来的损失最多为 0.10；与此同时，双向通信量随客户端数线性增长，在 $K=20$ 时达到 183.5 GiB。多模态融合在两个语料库上均表现最佳：在合成语料库上得分为 0.956，而文本和图像分别为 0.934 和 0.664；在 X 光片语料库上则为 0.906，而文本和图像分别为 0.880 和 0.737，其模型状态大小是仅使用文本时的 $2.3\times$。
01:56 arXiv cs.AI 77
医疗保健的数字化在患者一生中生成了海量、纵向且多模态的患者记录，然而，充分利用这些数据来表征和预测患者状态轨迹仍是一项关键挑战。当前的 AI 模型往往难以捕捉真实世界多模态患者数据中复杂、不规则的时间动态以及内在随机性。现有用于建模纵向患者记录的 AI 方法主要是判别式的，受限于少数几种模态，受封闭类别词表约束，将时间视为单调的归纳偏置，或者在预测未来患者状态方面能力有限。我们提出 NOAH，这是一种时间感知、任务无关的生成式 transformer 模型，用于表征和预测完整的多模态患者旅程。NOAH 具有一种新颖的双向时间整合机制和变分潜在空间，用以捕捉患者状态的连续演变以及临床轨迹的随机性。NOAH 基于 MIMIC 数据集家族中 299,000 名患者的 431,000 次住院就诊所产生的超过 5.59 亿个临床事件构建，可原生处理医学影像、时间序列和数值信号、类别事件，以及结构化和非结构化临床记录。NOAH 是其领域中首个真正整体化的生成模型，支持带可选时间控制的自回归预测、零样本分类以及反事实干预模拟。它生成信息量高且具有预测性的患者状态表征，在临床结局、15 个 ICD 章节和 29 种合并症的探测任务中，以及在事件发生时间预测中均表现出强劲性能。NOAH 能够无缝处理多样化模态和复杂时间动态，为个性化临床护理和数字医学中的智能预测系统提供了一个通用、任务无关且可扩展的基础。
00:22 arXiv cs.AI 79
本文介绍了 Gander，这是一个端到端模型，在单一框架内统一了全模态感知、实时交互和智能体能力。与基于轮次的传统范式不同，Gander 持续接收包括视频、语音和文本在内的多模态流式输入，从而能够在日常对话和复杂的工作流型智能体场景中实现自然的全双工交互。用户可以随时打断模型，模型也可以主动提供中间反馈或提出后续问题。为原生支持这些能力，Gander 采用了两项关键架构设计：1）采用 Cerebellum-Brain 协作框架，其中 Cerebellum 负责实时交互和全模态对话能力，而 Brain 负责复杂推理和更高层次的智能体任务。两个组件通过工具调用和智能体编排运行时持续交互。2）Cerebellum 构建于流式 Thinker-Talker 架构之上，在分块层面将用户输入和模型输出进一步扁平化为有序 token 流，为低延迟、持续性交互提供统一表示。我们从四个维度对 Gander 进行了全面评估：对话能力、全模态理解能力、交互能力和智能体智能。内部人工评测表明，Gander 在实现具有竞争力的全模态交互性能的同时，保持了 SOTA 开源模型自然且富有表现力的语音对话能力。Gander 在具有挑战性的真实场景中也展现出稳健性，包括背景噪声干扰、多方交互和附和式沟通。我们将 Gander 及其模型、代码和数据一并开源，以促进社区进一步开展研究与开发。
01:12 arXiv cs.AI 73
对话中的多模态情感分析和情绪识别需要对文本、声学和视觉模态之间的异构交互进行有效建模。尽管大型语言模型（LLM）具备强大的语言理解能力，但将其适配到多模态情感计算仍然面临挑战：全模型微调的计算成本过高，而许多现有的轻量级适配器无法在跨模态融合过程中保留丰富的文本线索。为解决这些局限性，我们提出多视角文本引导多模态融合适配器（MVFA），这是一种参数高效的框架，能够为冻结的 LLM 增强强大的多模态推理能力。MVFA 首先通过最大池化、平均池化和注意力池化构建互补的文本视图；随后，这些视图引导音频和视觉特征之间的跨模态交互。融合后的多模态表示通过 Enhanced Q-Former Fusion Module 进一步压缩为一组紧凑的可学习伪标记。我们以 ChatGLM3-6B-base 作为主要主干模型，并在 LLaMA2-7B 和 Qwen3-8B 上进一步验证 MVFA，以考察其在多个冻结 LLM 主干模型之间的可移植性。MVFA 在三个具有挑战性的数据集上进行了评估：CH-SIMS V2.0、MELD 和 CHERMA。实验结果表明，MVFA 仅更新很小一部分参数，便在关键指标上取得了最先进的性能。具体而言，在 CH-SIMS V2.0 上达到 84.62\% Acc2 和 84.59\% F1，在 MELD 上达到 67.36\% Acc 和 66.03\% WF1，在 CHERMA 上达到 74.66\% Acc。这些结果表明，多视角文本引导融合是情感计算领域一种有效且可扩展的参数高效多模态 LLM 适配范式。代码公开于 https://github.com/Overwhelm1208/MVFA。
01:29 arXiv cs.AI 83
科学编码代理会生成相互依赖的代码、结果、图表和论断，但仅评估最终输出无法确定其结论是否得到科学支持。我们提出了以证据为基础的多模态科学分析，要求代理生成可执行的分析，并提出由同一次运行产生的结果和可视化所支持的论断。我们介绍了 SciRIGOR，这是一个评估框架和基准，包含来自六个领域、17个子领域的科学文章中的100个案例。该框架重建带类型的证据图，将工件保真度与关系有效性分离，并为完整的论断—支持路径评分，同时定位最早出现不支持关系的位置。基于来源的替代路径能够容纳科学上等价的分析和可视化。我们评估了11种代理/模型配置。在完整基准测试中，论断与忠实结果和不忠实结果的一致率几乎相同（91.8% 对 91.0%）。然而，没有任何系统在软证据链得分上超过62.6%，或在严格的完整链成功率上超过18.0%。这些发现表明，内部一致性并不能证明科学正确性：评估必须验证从数据到论断的完整路径上的支持关系。
04:20 arXiv cs.AI 78
多模态大语言模型（MLLMs）在视觉问答等通用视觉理解任务上表现出色，但它们往往难以掌握一项基本的比较能力：识别两幅相似图像之间发生了什么变化。我们提出 VDiff-Bench，这是一个用于细粒度图像差异识别的高难度多项选择基准。VDiff-Bench 包含针对图像对的 1,756 道四选一题目，涵盖 10 类变化：位置、运动、局部图像颜色、整体图像颜色、出现/消失、噪声/分辨率、纹理、替换/尺寸、OCR/文本以及光照。每道题对应两个图像输入和 4 个选项：真实差异、两个高难度负面描述，以及一个“无差异”干扰项。为增加任务难度，我们专门构建了以真实标注为条件的负面选项，要求模型将实际变化与语义上相近的替代描述区分开来。对 11 个当前最先进的开源和闭源 MLLMs 的实验表明，细粒度视觉比较仍然十分脆弱：模型在不同数据来源和变化类别上的表现不均衡，并且在噪声和纹理等细微低层次变化上持续失败。例如，三个 7–8B 规模的开源 MLLMs 在语义变化上的得分为 52.5%–70.6%，但在噪声和纹理等低层次变化上的得分仅为 8.7%–33.3%，并错误地认为两个图像输入之间没有变化。令人意外的是，尽管其他闭源商业模型表现强劲，Grok 4.3 在识别图像间的噪声和纹理差异方面却出现了显著的性能下降，大幅落后于 Kimi K2.5 和 K3 等大型开源模型。总体而言，VDiff-Bench 为评估 MLLMs 的比较性视觉理解提供了有针对性的诊断工具，揭示了标准单图像视觉语言任务无法捕捉到的缺陷。
21:39 arXiv cs.AI 73
科学论文要求模型联合推理文本、公式、图表、代码和数据集，同时保留支撑证据的来源。现有基准通常将这些能力分开评测，因此无法明确多模态模型是否能够支持真实的科学阅读工作流。我们提出 SciDocBench，一个面向工作流的科学文档理解基准。它包含124个由专家撰写并经过难度筛选的问题，组织为五个科学领域中的七组研究助理能力组和19个子任务。每个问题在四种匹配条件下实例化，将英文或中文问题与全图优先或交错式文档表示相结合，形成496个评测实例，用于受控分析。表现最强的被评测系统仅达到62.6/100，在文档感知、证据锚定、核验和跨文档推理方面存在明显弱点。为将这些诊断结果转化为可扩展的训练信号，我们提出 SciDocIR，这是一种带类型的证据图表示，可保留科学文档对象、版面和交叉引用关系以及来源信息。基于 SciDocIR，我们构建了 SciDocDataset，包含约15K个监督微调样本和8K个强化学习样本，覆盖14个可验证子任务。SciDocBench、SciDocIR 和 SciDocDataset 共同构成了一个从评测到训练的框架，用于诊断和改进科学文档助手。项目页面见 https://github.com/InternLM/SciDocBench。
22:50 arXiv cs.AI 74
当 LLMs 支持面向公众或高风险的工作流时，漏检的虚构内容会伤害用户和机构，而误报会消耗有限的人工审核能力。在没有可信上下文或参考文档可用时，我们研究了两种可通过黑盒模型 API 获取的信号：语义熵，它衡量采样响应含义之间的分歧；以及由 token 对数概率导出的不确定性。它们的失效模式可能是互补的：当响应形成单一语义簇时，语义熵就变得没有信息量；而 token 不确定性可能漏掉那些始终自信但错误的输出。我们通过 TopK 方法，将 token 级信号在采样响应之间进行聚合，从而扩展基于 token 的不确定性检测；评估了混合方法 CoCoA，它结合了目标响应不确定性与语义差异；并提出并研究了两种监督方法：Gated，它将单簇情况路由到一个聚合 token 特征分类器；以及 Stacked，它联合学习语义不确定性和更广泛的 token 特征。我们使用四个语言模型评估了七个基准，包括五个公开基准（四个文本数据集和多模态手写支票提取）以及两个构建的基准（Financial Summaries 和 Long-Text QA）。在跨模型和数据集的评估中，Stacked 在将近一半的情况下表现最佳，而 TopK 和 CoCoA 在没有监督训练标签的情况下仍具有竞争力，不过它们的阈值需要仔细校准。没有任何一种方法在所有情况下都最强。因此，我们在 1% 到 15% 的假阳性率预算下评估性能，分析它们对生成和校准选择的敏感性，并考察其在数据集特征上的变化。
18:42 arXiv cs.AI 77
大型语言模型（LLMs）近期在自动生成旅行行程方面展现出强大能力。然而，真实世界中的旅行规划本质上是不确定的：交通延误、客流波动以及意外的随机延迟，常常会使原本可行的行程失效。现有的基准，如 TravelPlanner 和 TripCraft，假设环境是确定性的，只评估静态约束是否满足，而忽略了在这些不确定性出现时生成的计划是否仍然具有鲁棒性。为了解决这一限制，我们提出 UTP-Bench1，一个面向不确定性感知旅行规划的大规模基准。该数据集整合了覆盖印度504座城市的真实旅行数据，包括景点、餐厅、住宿以及多模态交通网络。为了模拟真实世界中的扰动，UTP-Bench 纳入了从主要城市收集的经验性延误分布和客流密度模式，从而能够在随机条件下评估旅行计划。我们进一步提出三项评估指标，分别是 Buffer Adequacy Score (BAS)、Crowd-Aware Timing Score (CATS) 和 Transport Delay Absorption Score (TDAS)，用于量化生成的行程在面对交通延误和客流变化时维持鲁棒性的能力。使用 GPT-5、Qwen3、Mistral 和 Phi-4 等先进 LLMs 的实验表明，模型生成的计划与人工制定的计划之间存在显著差距，尤其是在时间缓冲、延迟感知的交通调度以及人群敏感规划方面。
17:52 arXiv cs.AI 75
尽管多模态大语言模型（MLLMs）具有很强的多模态理解能力，但在处理长视觉 token 序列时会产生巨大的计算开销。为降低推理成本，近期研究通过以视觉为中心或文本引导的策略探索视觉 token 剪枝。然而，这些方法往往忽视高范数离群 token，即特征范数异常大的 token，从而导致次优的剪枝决策。 在本文中，我们表明这类高范数离群 token 在特征和空间两个维度上都高度冗余，但现有方法却常将其误保留为有信息的线索。 受此观察启发，我们提出 SinkPruner，一种无需训练的视觉 token 剪枝框架，用于高效的 MLLM 推理。SinkPruner 采用由粗到细的设计，包含两个关键模块：一个视觉净化器，用于过滤高范数冗余并缓解 attention sink 和 attention dispersion；以及一个文本引导的剪枝器，进一步保留与文本查询在语义上对齐的 token。 在十二个图像-语言和四个视频-语言基准上的大量实验表明了我们框架的有效性、效率和泛化性。值得注意的是，在 token 减少 89% 的情况下，SinkPruner 仍保留了 LLaVA-1.5（Qwen2.5-VL）原始性能的 96.5%（91.8%）。实验进一步表明，我们的视觉净化器在提升现有剪枝方法性能方面具有良好的可迁移性。我们的代码地址为 https://github.com/LaVi-Lab/SinkPruner。
17:02 arXiv cs.AI 73
我们介绍 ImageEval 2026 共享任务中关于文化背景扎根的阿拉伯语多模态评测的概况。该任务包括两个子任务：(i) AynVQA，涵盖英语和现代标准阿拉伯语（MSA）中的语音视觉问答以及基于图像的幻觉检测；(ii) CRAI-Bench，用于评估文生图生成的文化准确性。共有 14 支团队参加测试阶段，其中 12 支团队提交了系统描述论文。参赛系统采用了多种方法，包括零样本提示、视觉语言模型微调、语音识别流水线、集成以及分数校准。我们描述了任务设置、数据集、评测流程和参赛系统，并总结了不同赛道的主要结果。共享任务中的所有数据集和评测脚本均已向研究社区开放。该共享任务凸显了文化背景扎根的多模态评测所面临的挑战，尤其是在阿拉伯语语音和图文推理方面。
17:44 arXiv cs.AI 72
对于来源研究和艺术市场研究而言，拍卖目录是追踪特定物品在时间与空间中流转的重要资源。尽管历史拍卖目录遵循既定的领域规范，其内部格式仍然高度多样，而由于缺乏可机器读取的拍品表示，对其进行大规模分析目前仍受到限制。我们提出一个流程，能够从 German Sales 这一涵盖19世纪和20世纪历史拍卖及销售目录的大型数据库中自动提取结构化的拍品级元数据。我们使用一个由人工标注的代表性目录页面测试集，在不同提示策略和受限解码框架下评估 Vision-Language Models (VLMs)。为反映文化遗产机构面临的实际约束，包括预算、算力资源和数据隐私要求，我们在从商业服务商到本地托管的量化模型等不同部署模式下对这些方法进行基准测试。我们发现，商业端点设定了性能上限，而机构网关则提供了一种可行且保护隐私的替代方案。本地部署仍然可行，但必须在生成过程中严格约束输出结构，以保证得到有效的 JSON 格式。尽管不同程度的人工在环修正仍然必要，但这项工作表明，基于 VLM 的流程能够成功地将历史拍卖目录用于大规模自动化分析。
19:48 arXiv cs.AI 71
在安全关键场景中部署大型语言模型（LLMs）和视觉语言模型（VLMs）时，可靠的不确定性估计是一个至关重要的要求，尤其是在模型参数不可访问（黑盒）的情况下。我们提出 BiG-SURE，这是一种基于跨温度语义一致性的 不确定性估计器。该方法将低温度响应作为稳定的语义锚点，将高温度响应作为在保持语义不变的输入变换下的探针。随后，它使用基于 NLI 的蕴含得分构建锚点-探针二分图（BiG），并通过该矩阵归一化后的平方谱能量来定义置信度，不确定性则由其补集给出。这个基于二分图的语义不确定性与可靠性估计（SURE）得分，用于衡量高温度探针是否仍与模型在低温度下形成的稳定信念保持语义一致。我们在多个模型家族上，对文本 QA、多语言 QA 和多模态 QA 任务评估了 BiG-SURE。在这些实验中，BiG-SURE 相比以往的黑盒不确定性估计器提升了平均拒答 AUROC，同时保持了简单、无监督，并且可应用于黑盒模型设置。
19:53 arXiv cs.AI 76
Multimodal Large Language Models (MLLMs)正越来越多地部署在需要跨视觉上下文进行复杂推理的多图像场景中。然而，当前的MLLMs仍然受到对象幻觉的根本性限制——它们会生成看似合理但在事实上不一致的对象描述。现有基准主要面向单图像设置，或仅提供高层次的多图像评估，无法系统性地诊断视觉复杂性和推理需求如何引发幻觉。为弥补这一空白，我们提出MIOH，一个细粒度多图像对象幻觉基准，基于三种多图像推理模式（全面、比较、选择）和三种受控对抗压力（视觉上下文规模、感知难度、上下文偏置），系统评估四项基础任务（存在性、计数、属性、位置）中的对象幻觉。通过对29个模型的评估，我们揭示即使是GPT-5和Gemini-2.5-Pro这样的最先进系统，也会在不同推理模式和任务上表现出不同的失败模式。我们的评估表明，幻觉不仅源于感知失败，也源于在多张图像之间维持对象表征时整合阶段的局限。MIOH为分析多图像对象幻觉提供了一个受控框架，并作为开发更可靠的多模态AI系统的关键评估工具。
07:07 arXiv cs.AI 79
Chain-of-thought（CoT）监测假设推理轨迹能够忠实记录塑造模型答案的信息。现有的忠实性测试往往把显式偏好线索放在用户消息中，而智能体可能会通过工具返回结果或原始工件接触到偏好。我们提出 FACE-Eval（Faithful Attribution of Cue Effects Evaluation），这是一个包含 5,100 个样本的评估，变量包括线索位置（用户消息或工具返回）和显式性（直接摘要或原始工件）。我们在遵循线索的回答中衡量口头承诺，并在所有带线索样本中衡量未言明采纳。我们评估了来自 8 个家族的 15 个 open-weight 模型，总参数规模从 4B 到 1.60T 不等。对于每个模型，工具返回中的线索比用户消息中的线索带来的口头承诺都更低，隐式线索也比显式线索更低。对于全部 15 个模型，工具返回线索的未言明采纳都更高；在 30 个模型-通道比较中的 28 个里，隐式线索的未言明采纳也更高。来源归因提示在 7 个模型上缩小了通道差距，有时是通过提高用户通道的未言明采纳；而告知模型其推理将被监测并不能可靠地消除这一差距。我们还使用两个转录监测器（GPT-5.6-Luna 和 GPT-4o-mini）来检测每个家族中最大模型的偏好采纳。在 32 个模型-通道-显式性单元中，更高的未言明采纳与两个监测器更低的检测能力相关（Pearson r=-0.54 和 r=-0.78，分别如此）。这些结果表明，在此测试的单次调用、预填充工具场景下，当偏好信息通过工具传入或必须从原始工件中推断时，CoT 监测可能不那么可靠。
22:41 arXiv cs.AI 72
我们提出 MAP，这是首个用于评估多模态 AI 系统作为辅助工具，在用户规划前往现实世界地点时满足无障碍需求的基准。在我们的评估中，系统会收到验证或推荐满足某项无障碍需求的兴趣点的请求。MAP 包含两项新评估：面向可访问性规划的主张验证，用于评估地点信息和所述无障碍特征是否有依据，并识别满足请求的无障碍特征的地点；面向可访问性规划的视觉证据检索，用于检查多模态 AI 系统能否为所请求的地点和无障碍特征选择视觉证据。我们的方法通过在预定时间评估系统并刷新真实值数据，支持在地点信息和无障碍信息可能随时间变化的场景中比较 AI 系统。该基准基于自动评分，并对部分回复进行人工评分。
20:31 arXiv cs.AI 73
多模态表征学习正从传统的双塔架构转向基于大语言模型（LLM）的嵌入器，因为它们具有很强的指令遵循能力。尽管取得了这些进展，现有方法主要关注语言和图像模态，而这两者也仍然是当前嵌入器中用户条件交互的主导模态。本文提出首个 Omni-Interactive Universal Embedder（OmniUE），它不仅通过利用专用可学习 token 的中间层表示，在文本、视频和音频之间学习统一的嵌入空间，还支持全交互式查询，使用户能够以文本、感兴趣的视觉区域和音频片段的形式提供输入。在 OmniUE 中，视觉和音频分割器处理多样的用户交互，并将其与 omni-LLM 集成，通过上下文聚合生成用户条件化的任意到任意嵌入。为评估 OmniUE 的全交互能力，我们提出 OmniCHOIR，这是一个用于全交互式组合音频检索的基准，基于给定的文本、视频和音频，以及单模态或多模态交互提示，对模型进行评测。OmniUE 在多种模态上始终优于最先进的基线，在文本交互视频基准（MMEB-v2-video）上平均提升 10.5%，在音频任务（MAEB）上提升 1.1%，在视觉交互基准（SCaR）上提升 83.7%，在我们的全交互 OmniCHOIR 基准上提升 24.1%。我们相信，协同推进全模态表征学习和全交互式查询将为通用嵌入器铺平道路。
00:28 arXiv cs.AI 75
多模态医学预测常常面临配对不完整的问题：具有互补信号的辅助模态只对一部分受试者可用（甚至完全不可用），且在部署时不能假设其存在。我们提出 PANDA（Prototype Anchored Data Alignment），这是一种两阶段框架，可在推理时没有辅助输入的情况下，将辅助信息传递给主模态模型。第 1 阶段从已配对子集中学习共享嵌入，并从辅助模态估计类别原型；第 2 阶段使用交叉熵损失加上与冻结原型的对齐项，在所有受试者上训练主编码器。由于监督定义在类别原型层面，PANDA 能适应任意配对率，包括受试者重叠为零的情况。我们在两个应用上评估 PANDA。在一个包含 1,021 名受试者的多扫描仪 ADNI 队列上，我们在三种配对率不同的辅助模态下进行 AD/CN 分类：表格化评分（44.8%）、FDG-PET（18.7%）以及外部手写运动学数据（0% 重叠）。相较于相同 backbone 的仅 MRI 基线，PANDA 达到 AUC 0.868 +-0.020（提升 7.9 个百分点），并将 1.5T 条件下 CN 假阳性减少 24.3 个百分点；在一个可完全训练的 Conv5-FC3 backbone 上，它达到 AUC 0.893（整体最佳）。配对率消融结果表明，联合锚点在 75% 到 5% 的配对率范围内始终保持在随机种子噪声范围内。在以 RNA-seq 作为辅助数据、基于全切片图像进行的 TCGA-Lung 生存预测任务上，PANDA 在 2 年 OS（AUC +3.5 个百分点）和 Cox PH（C-index +9.0 分）方面优于仅 WSI，并且优于全融合训练；后者甚至不如仅 WSI，但 PANDA 在推理时无需 RNA。由于该队列较小，较宽的置信区间使得这些提升低于常规显著性水平。总体而言，PANDA 提供了一种面向部署的机制，用于利用不完整的辅助模态来提升主模态预测。
00:30 arXiv cs.AI 72
理解科学领域中的指令遵循能力，对于有效利用多模态大语言模型（MLLMs）推动科学领域发展至关重要。在这项工作中，我们提出 SciMIF，这是一个新颖的基准，用于评估 MLLMs 遵循复杂科学指令的能力。具体而言，基于对 5 个代表性科学学科中 22 项不同任务的广泛分析，我们提出了一个全面的分类体系，包含 10 组约束，能够同时刻画通用功能需求和学科特定特征。在该分类体系的指导下，我们开发了一条高保真指令注入流水线，用于系统性地增强现有科学数据集。我们在多个最先进的闭源和开源 MLLMs 上进行了全面实验。研究结果表明，不同科学学科之间存在显著的性能差异，其中化学对当前 MLLMs 构成了更大的挑战。此外，我们观察到，增大模型规模并不会带来相应的约束遵循能力提升，而且当前模型在细粒度约束以及需要深入应用学科知识的指令上仍然表现出严重困难。SciMIF 填补了当前在科学领域多模态指令遵循评估方面的空白，为未来提升 MLLMs 在严谨科学应用中的能力奠定了关键基础。数据和代码将发布于 https://github.com/shenye7436/SciMIF 。
01:50 arXiv cs.AI 84
应对从粮食安全和灾害风险到疾病暴发及社会经济脆弱性等关键全球挑战，需要高保真的地理空间建模。然而，构建可预测的行星级模型仍受制于分散的数据生态系统，需要人工检索数据、多模态数据整理与融合，以及迭代式模型选择。我们提出 Planetary Prediction Engine (PPE)，这是一个自主 AI 系统，可直接从自然语言查询出发，执行这一端到端工作流。PPE 按需综合多模态数据集，从开放网络和地球观测平台（Data Commons、Google Earth Engine）中检索时空相关协变量，并将其与地理空间基础模型嵌入（PDFM、AlphaEarth）融合。同时，它还会在面向任务定制的模型架构家族中搜索，并配备自动化过拟合防护。在不同任务、地理区域和科学领域中，PPE 始终优于当前最先进方法或人工调优的专家基线。对于美国空间回归，PPE 在 21 个 CDC 健康指标上的平均 $R^2$ 提升至 76.8%（基线为 60.0%），在 FEMA 国家风险指数上提升至 64.9%（基线为 60.0%），在 Social Vulnerability Index 上提升至 66.2%（基线为 58.6%）。对于数据稀缺环境中的空间下采样任务，PPE 融合本地代理变量，使尼日利亚粮食安全指标的基线准确率翻倍（$R^2$ 从 31.5% 提升至 66.1%）。对于 2026 年 DRC Bundibugyo Ebola outbreak 的流行病学即时预测，PPE 实现了 83.3% 的 Recall@10（在五次每周预测中识别出 18 个新入侵卫生区中的 15 个），比公开的最先进模型（约 73%）提高了 10.3 个百分点。通过将自主的多模态行星数据发现与有针对性的模型优化相结合，PPE 降低了行星尺度分析的技术门槛，使快速、定制化、专家级部署成为可能。
01:56 arXiv cs.AI 85
现有的动作质量评估（AQA）数据集和方法主要依赖 RGB 和姿态等视觉输入，忽视肌肉力学等生理动态，且常将动作建模为单一整体模式。这些局限阻碍了细粒度、基于生物力学的反馈。我们提出 MyoMechanix，这是一个面向负重动作的多模态生态系统，将运动与肌肉活动对齐。该数据集由专家标注，包含来自 38 名受试者的 20 个动作、7500 多个样本，具备同步的多视角 RGB 视频、3D 姿态、sEMG 及其他生理信号，构成迄今最大的多模态 AQA 基准。我们进一步构建了 Fitness Knowledge Graph（FKG），将专家标注组织为动作、阶段、关键步骤、错误和纠正反馈之间的结构化关系，从而支持组合式评分和可解释评估。基于这些表示，我们开发了 CUBIST（Compositional Ontological Reasoning Engine），通过分解-分析-重组实现细粒度错误归因和反馈生成。我们还建立了 MyoMechanix-AQA、MyoMechanix-VideoQA，以及一种新的 MyoMechanix-Video2EMG 任务。实验表明，多模态感知和结构化表示能够提升性能、可解释性和错误归因，其中 CUBIST 取得了最先进结果；VideoQA 增强了语言驱动的动作理解；Video2EMG 则表明，可用基于视频的替代方案来取代代价高昂的 EMG 传感。MyoMechanix 将技能活动理解推进到面向 Physical AI 应用的生物力学基础、多模态和组合式推理层面，服务于健身、康复、医疗保健和机器学习。Project page: https://haoyin116.github.io/MyoMechanix/
01:57 arXiv cs.AI 72
本文探讨了一项新颖的多模态无监督持续后训练（MU-CPT）任务，使已部署的 MLLMs 能够从流式未标注数据中持续演化。现有针对 MLLMs 的无监督后训练方法通常对目标 token 进行统一优化，忽视了它们在视觉依赖（VD）上的异质性。然而，我们发现 token 级 VD 对 MU-CPT 至关重要。具体而言，其结构性扭曲可作为跨模态灾难性遗忘的指示器，而其内在异质性则可作为引导新任务学习的罗盘。基于这一特性，我们提出了一个视觉依赖感知（VDA）框架，包含两个主要组件。首先，视觉约束最优传输（VC-OT）将新任务学习过程中旧任务 VD 的结构性扭曲表述为一个最优传输问题，以缓解跨模态遗忘。通过设计区域感知的地面代价和依赖分层的传输惩罚，它在严格禁止视觉依赖退化为语言偏置的同时，防止视觉关注发生全局偏移。其次，视觉调制适应（VMA）利用 VD 的异质性来强调以视觉为基础的新任务学习，从而促进新任务的可塑性。总体而言，我们的方法在具有挑战性的 MU-CPT 过程中同时保持了旧任务的稳定性和新任务的可塑性。大量在 MU-CPT 设置下进行的实验验证了 VDA 的有效性。
01:34 arXiv cs.AI 83
我们提出 LAION-BVD，这是一个用于多模态学习的大规模开放视频数据集，包含从 CommonCrawl 收集的 13 亿个特定平台视频 URL。基于这些 URL，我们下载了 8000 万个视频，总时长达 1000 万小时。该数据集旨在支持跨视频、音频和图像模态的多模态预训练。我们利用内容感知的场景检测提取片段，并为这些片段合成生成视频和音频描述。基于这些数据训练的模型在标准视频-文本和音频-文本基准上取得了具有竞争力的性能，并且随着训练规模或模型规模的增加，性能持续提升。此外，我们还探索将视频帧作为图像-文本数据的替代来源，通过提取场景变化帧来实现。与标准网页图像语料库相比，这些帧呈现出不同的视觉分布，而在该数据集上训练的模型在图像-文本检索任务上取得了很强的性能。我们向研究社区发布 LAION-BVD。它以前所未有的规模显著扩展了对多模态视频的开放访问。
00:42 arXiv cs.AI 71
Vision-Language-Action (VLA) 模型可以将多模态上下文转化为机器人动作，但其动作解码器仍主要通过行为克隆进行训练。这种方式监督的是演示了哪个电机指令，却将该行为在指令下所服务的局部目标隐含起来。基于未来的监督通过帧、潜在观测、轨迹或运动表示来丰富动作学习，但这些信号捕捉的是可能发生之事的特定实现，而不是即将发生的行为所共享的语义目标。我们提出 Intention Distillation (INDI)，将行为层面的意图蒸馏到动作解码器中。在训练期间，一个冻结的教师 VLM 会根据当前观测、指令、粗粒度动作摘要以及对应的执行视频来解释一个演示片段。部署后的 VLA 从其标准输入中，在一个中间解码器层恢复所得的多模态意图表示，并利用它结合行为如何展开及其达成内容的表示来组织动作预测。在 SimplerEnv-Bridge 上，INDI 将 GR00T-N1.7 从 64.3% 提升到 84.7%；在 RoboCasa Kitchen 上，它将受控的 GR00T-N1.7 基线从 64.1% 提升到 70.3%，并且在两个基准上均使 $π_{0.5}$ 获得一致提升。在真实世界任务中，INDI 将平均成功率从 62.0% 提升到 68.7%，在更长时域任务上提升最高达 12.0 个百分点。进一步分析表明，恢复出的潜变量被解码器使用，捕捉行为目标和执行进度，并以依赖目标的方式组织下游预测。这些结果表明，动作解码器受益于显式建模其所生成行为的语义目标。
00:48 arXiv cs.AI 56
We present Team Semiintelligencn's solution for the ACM RecSys 2026 TalkPlayData Challenge, addressing conversational music recommendation through a multi-modal and personalized conversational recommender system. Our submitted system employs a three-stage pipeline: (1) multi-modal retrieval constructing decay-weighted centroids across seven dense embedding spaces - track- and user-level CF-BPR, Qwen3 (metadata, lyrics, attributes), CLAP audio, and SigLIP visual - supplemented by BM25 lexical retrieval and an artist substring-match signal, all fused via weighted Reciprocal Rank Fusion (RRF) with optimized signal weights; (2) lightweight reranking (history filtering, popularity smoothing, and catalog diversity penalization); and (3) persona-diversified response generation using GPT-4o-mini. Beyond this submitted configuration, we report development-time experiments with additional components - constrained LLM-guided artist injection, album continuation signals, XGBoost LambdaMART, and a superior GPT-4.1 response prompt - that were not deployed to Blind B due to cost and complexity constraints. We optimize RRF weights on a 500-session development split via differential evolution, improving MRR by +19.5%. On Blind A, we observe that unconstrained LLM-guided injection across 54 sessions causes catastrophic nDCG regression (-18.9%), while conservative injection on only 9 sessions yields the best observed Blind A nDCG - a finding we present as a Blind A observation warranting further validation. The submitted system achieves a Blind B composite score of 0.3213.
00:28 arXiv cs.AI 72
多模态大型语言模型（MLLMs）将语言推理与视觉感知相结合，但它们在显式或此前未见过的规则约束下执行视觉空间规划的能力仍未得到充分探索。这一场景要求模型共同理解空间布局、解释自然语言规则，并据此规划有效动作。为弥补这一空白，我们引入 RuleMaze，这是一个可控基准，其中 MLLMs 必须在遵守不同复杂度自然语言规则的同时穿越迷宫。RuleMaze 通过要求准确感知、规则解释和受约束的动作规划，隔离出规则合规的空间规划能力。为实现可扩展且系统化的规则构建，我们提出 Language-Logic-Function Hybridization，它能够自动生成自然语言规则，并将其转换为逻辑表示和可执行验证器，从而消除手动规则工程。为提升规则遵循能力和泛化能力，我们引入 Disentangled Multimodal Planning（DMP），它通过可解释的推理原语将感知、执行和规则验证分离开来。通过解耦这些组成部分，DMP 有助于系统性地泛化到更复杂且此前未见过的规则，同时提供透明的中间规划轨迹。实验表明，与端到端文本规划基线相比，DMP 显著提高了规则合规性和规划成功率。总体而言，RuleMaze 为研究 MLLMs 中具备基础感知且可解释的基于规则的空间规划建立了一个原则性基准。代码可在 https://github.com/oceanflowlab/RuleMaze 获取。
01:59 arXiv cs.AI 72
医学报告的个性化解读已成为患者日益重要的需求。满足这一需求既需要基于证据的医学事实性，也需要依赖语境的患者沟通，然而现有的医学视觉-语言任务并未充分捕捉这两方面要求。为弥合这一差距，我们提出 Patient-oriented Medical Report Interpretation（PMRI），这是一项新的开放式多模态生成任务，要求模型基于用户的查询和对话历史，用准确且易懂的语言解释医学报告。这两个目标在可验证性上有根本差异，却又紧密耦合，因此在传统的监督微调和整体式强化学习范式下难以联合优化。为应对这一挑战，我们提出 G-CARL，这是一个基于证据且与清单对齐的强化学习框架，它将用于原子声明验证的多源检索与上下文感知、实例特定的加权清单相结合，为事实性、用户需求满足度和表达质量提供结构化监督，同时不限制回答的多样性。我们进一步构建了 MMedReport，一个真实世界的 PMRI 基准，并设计了由临床医生制定的三维评估方案。大量实验表明，G-CARL 在整体质量、声明级精确率和清单召回率方面持续优于现有的后训练基线。临床医生进行的成对偏好评估进一步证实，G-CARL 生成的解读更准确，也更符合患者需求。
23:12 arXiv cs.AI 73
持续学习在很大程度上一直以模型为中心，将模型参数视为会随序列经验而变化的状态。现代智能体也可以通过由提示、记忆、工具、技能和路由规则组成的 harness 来适应。由于这些内容共同塑造后续执行，即使模型被冻结，harness 更新也可能破坏先前可靠的行为。这提出了一个新问题：智能体如何在模型之外持续改进其状态，同时保留早先获得的行为？我们提出 Harness Continual Learning (HCL)，这是一种新的持续学习范式，其中 harness 围绕冻结的基础模型演化，并将由此产生的早期行为损失定义为 harness 级遗忘。我们用四个面向执行的组件来实例化 HCL：Task Interface、Experience Memory、Capability Map 和 Adaptive Router。我们进一步引入受保护的 harness 演化，以将更新生成与状态提交分离。Continual Optimizer 根据执行后反馈提出候选 harness，Continual Evaluator 则仅在检查当前改进、历史保留和有效性之后才提交生成的候选 harness。文本推理、多模态感知和开放世界交互方面的实验展示了能力积累和失败恢复，在多个设置中相对于相应基线的相对提升超过 10%。组件消融评估了每个 harness 组件的贡献，而受控保留扫描揭示了可测量的 harness 级遗忘，并表明稳定性—可塑性权衡可以被显式调整。
01:59 arXiv cs.AI 72
大规模图像生成受益于数据规模、质量、再平衡和重标注方面的进展，然而传统流程通常孤立地优化特定任务数据集。一个核心挑战不仅在于如何策划每个特定任务语料库，还在于如何根据生成能力之间的依赖关系来组织异构监督。我们提出了一种 \textbf{能力驱动的数据基础设施}，将能力特定的监督构建与能力对齐的课程调度相结合。其三个专门化但可互操作的数据引擎为文本-图像对齐、图像间转换和图像-知识关联构建互补的关系监督，同时 caption experts 在任务和粒度之间对齐 T2I 与编辑监督。多阶段课程按照能力获取的依赖顺序，共同演化任务组成、视觉概念分布、数据质量和图像分辨率，并通过定向检索、专家构建和差距感知重采样，以能力感知评估闭合循环。在大规模下，该框架策划了一个包含 440M 图像的 T2I 语料库、120M 个编辑对，以及超过 27M 个图像-实体对。借助这一基础设施，我们从头训练了两个规模的多模态扩散模型，大小分别为 3B 和 6B。我们在 CPI-Bench 上进行了定量评估，并在多样化的文本到图像和编辑场景中进行了定性评估。实验结果展现了广泛的视觉覆盖、多样的渲染能力，以及生成能力之间的有效迁移。
00:15 arXiv cs.AI 75
尽管用于多参考图像生成的统一多模态模型近期取得了进展，现有基准仍围绕预定义任务类型（例如“主体组合”）组织，这并不适合这种组合式场景，并会导致覆盖碎片化、复杂度不可控且诊断价值有限。我们认识到多样化的多参考任务共享一组通用的原子操作，因此采用面向能力的视角，并形式化定义了四个算子：锚定（$f$）、解耦（$g$）、应用（$\oplus$）和组合（$C$）。这样，任何多参考提示都可以表示为这些算子上的组合公式，其结构复杂度由算子槽位数量量化。基于这一形式化方法，我们构建了 TRACE-Bench，包含约 1,600 个评测案例，槽位数覆盖 1--8，由 631 个公式模板和约 4,000 张参考图像构成，涵盖多样的艺术风格和真实世界主体。公式结构直接驱动一种与算子对齐的评测协议，用于按能力评分，并支持通过诊断树分析进行递归式故障定位。对 9 个领先模型的评测揭示了整体评分无法呈现的洞见：主要瓶颈在于解耦（$g$）和属性绑定（$\oplus$），而非场景级组合（$C$）；即便最佳模型在属性保真度上也仅得 0.74。项目页面：https://amuseum-whr.github.io/TraceBench
23:32 arXiv cs.AI 82
近期的视频生成器能够伪造对战争、灾难、公共紧急事件以及其他现实世界危机的逼真描绘，从而带来重大的错误信息风险。然而，现有基准在此类场景下对检测器和生成器行为的证据仍然有限，包括可检测性如何随生成条件变化、人们如何感知生成视频，以及检测器在社交传播过程中是否仍然可靠。为弥补这一空白，我们提出 RA-Bench，这是一个使用真实视频作为锚点的 AI 生成视频检测基准。RA-Bench 包含 17,886 个视频，其中包括覆盖 10 个社会风险类别的 1,830 个真实视频锚点，以及来自四个开源和五个闭源生成器的 16,056 个生成片段。基于 RA-Bench，我们从三个维度组织评估。首先，我们评估检测器的泛化能力，涵盖七种传统检测器、十种在三种审核设置下的零样本多模态模型，以及两个专门针对 AI 生成视频检测进行微调的 MLLMs。在这些方法中，三类检测器都无法在 RA-Bench 实例上持续泛化。随后，我们考察可检测性如何随生成质量、条件信息和采样种子而变化。这些分析表明，生成属性对不同检测器类别的影响不同，而源级别检测模式在不同种子下保持稳定。最后，我们研究人在真实性判断中的表现以及检测器在社交传播过程中的可靠性。我们发现，误导人们的视频对当前检测器而言同样难以识别，并且社交传播会使检测更加困难。总体而言，这些发现表明，当前方法难以检测逼真的 AI 生成视频，凸显了对能够适应不断演进的视频生成器且具备鲁棒性的检测器的需求。
23:39 arXiv cs.AI 79
患者越来越多地询问大型语言模型（LLM）助手该看哪位医生，这使这些系统成为 AI 信息中介：在一个人对其他人的选择中居间作用的算法，并由此以无声且大规模的方式决定哪些医生变得可见。我们报告了一项预先设定的随机算法审计，考察哪些因素会对这些推荐产生因果影响。七个模型（六个开放权重模型；gpt-4o-mini）分别在五张合成的家庭医学医生卡片中进行选择，这些卡片的属性在 3,024 个选择集、三个患者画像、九种提示改写和九个实验组中独立随机化，共产生 40,068 条评分响应；性别和族裔通过姓名来传递信号，遵循通信审计方法。声誉信号占主导地位：将评分从 3.9 提高到 4.7 会使被选择概率增加 31.4 个百分点（pp），而将费用从 90 美元提高到 190 美元会使其降低 20.0 个百分点。人口统计均等性被拒绝，但方向并非人类审计研究所预测的方向：带有女性信号的姓名增加 2.5 个百分点，带有 Hispanic、South-Asian 和 Black 信号的姓名相对于带有 White 信号的姓名增加 1.3–2.9 个百分点；按费用等价计算，这些倾向相当于每次就诊 7–14 美元，而一个没有内容含义的首位排列位置价值 11 美元。然而，模型在其陈述理由中提及性别或族裔的比例最多只有 0.03%，并且在 0.39% 的试验中弃答，因此这些效应在模型自身解释中不可见，依赖模型自我报告的透明度义务无法检测到它们。一个推理模型直接未能通过预先设定的可审计性门槛。冻结的设计使审计可重复：任何新模型都可以在相同刺激下接受评估，这使得周期性行为审计，而非自我报告式解释，成为适合目的的监测技术。
00:16 arXiv cs.AI 76
基于 Transformer 的语言模型性能强大，但由于反复进行高维矩阵乘法，推理成本很高。我们提出 Reduced Matrix Multiplication (RMM)，这是一种无需训练、输入自适应的推理方法，通过沿收缩维度选择信息量较高的切片来减少 Transformer 矩阵乘积，而不修改模型权重。在简单的保留比例控制下，RMM 提供了平滑且可预测的准确率—效率权衡。针对参数规模从 1B 到 70B 的语言模型，我们发现简化容忍度取决于模型家族、任务、组件和保留比例，尽管它通常会随模型规模增大而提高。在中等程度的简化下，RMM 在所评估的判别式、自回归生成和长上下文设置中保持稳健。我们进一步表明，同一原则可扩展到多模态视觉—语言推理。机制性消融揭示了 Transformer 内部的一种结构性不对称：attention 侧计算比 MLP 组件更容易被简化。最后，在 NVIDIA A100 上使用自定义 kernel 的实际耗时基准测试表明，这些计算节省可以转化为实际运行时间收益，尤其是在更长序列长度下。综上，这些结果将 RMM 定位为输入自适应推理时优化的一个可扩展方向。
01:34 DeepMind Blog 85
此前处于预览版的 Gemini 2.5 Flash-Lite 现已稳定并正式发布。这个高性价比模型以小巧体量提供高质量，并包含 2.5 系列功能，如 100 万 token 上下文窗口和多模态能力。
02:02 DeepMind Blog 81
我们宣布推出 MedGemma 系列中的全新多模态模型，这是我们用于健康 AI 开发的最强大开放模型。
22:10 DeepMind Blog 73
16:00 OpenAI Blog 64
我们在 CLIP 中发现了一些神经元，无论以字面、符号还是概念方式呈现，它们都会对同一概念作出响应。这或许可以解释 CLIP 在对概念的意外视觉呈现进行分类时的准确性，同时也是理解 CLIP 及类似模型所学习到的关联和偏见的重要一步。
15:00 OpenAI Blog 62
我们创建了 GPT-4，这是 OpenAI 在扩展深度学习方面取得的最新里程碑。GPT-4 是一个大型多模态模型（接受图像和文本输入，输出文本），尽管在许多现实场景中能力不如人类，但在各种专业和学术基准测试中展现出人类水平的表现。
18:00 OpenAI Blog 65
向 ChatGPT 免费用户推出 GPT-4o 和更多工具 我们正在发布最新的旗舰模型，并在 ChatGPT 中免费开放更多功能。
18:00 OpenAI Blog 89
推出 GPT-4o，并在 ChatGPT 中免费提供更多功能。
18:05 OpenAI Blog 65
我们宣布推出 GPT-4 Omni，这是我们的全新旗舰模型，能够跨音频、视觉和文本进行实时推理。
12:15 OpenAI Blog 70
Color Health 正在与 OpenAI 合作，开创一种加快癌症患者获得治疗的新方式。他们的新 Cancer Copilot 应用使用 GPT-4o 来识别缺失的诊断信息并制定量身定制的检查计划，使医疗服务提供者能够就癌症筛查和治疗做出循证决策。
18:00 OpenAI Blog 57
08:00 OpenAI Blog 78
18:00 OpenAI Blog 80
15:00 OpenAI Blog 70
Mercado Libre 推出 Verdi，一个由 GPT-4o 驱动的 AI 开发者平台
18:00 OpenAI Blog 86
我们推出了一款基于 GPT-4o 构建的新模型，能够更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。
17:59 OpenAI Blog 54
Altera uses GPT-4o to build a new area of human collaboration
18:04 OpenAI Blog 84
开发者现在可以使用图像和文本微调 GPT-4o，以提升视觉能力
01:00 OpenAI Blog 57
Building smarter maps with GPT-4o vision fine-tuning
22:00 OpenAI Blog 60
Mercari leverages GPT-4o mini and GPT-4 to streamline selling, enhance product listings, and boost sales, transforming the online marketplace with features like AI Listing Support and Mercari AI Assistant.
19:00 OpenAI Blog 87
4o image generation 是一种新的图像生成方法，相比我们早期的 DALL·E 3 系列模型能力显著更强。它可以创建逼真的输出。它可以将图像作为输入并对其进行转换。
02:00 OpenAI Blog 88
我们已回滚 ChatGPT 中上周的 GPT‑4o 更新，因此人们现在使用的是一个行为更均衡的早期版本。我们移除的这次更新过于奉承或迎合——通常被形容为谄媚。
08:00 OpenAI Blog 70
我们正在将 Operator 现有的基于 GPT-4o 的模型替换为基于 OpenAI o3 的版本。API 版本将继续基于 4o。
18:00 OpenAI Blog 59
Retell AI is transforming the call center with AI voice automation powered by GPT-4o and GPT-4.1. Its no-code platform enables businesses to launch natural, real-time voice agents that cut call costs, boost CSAT, and automate customer conversations—without scripts or hold times.
08:00 OpenAI Blog 86
2026 年 2 月 13 日，除此前已宣布停用的 GPT‑5（Instant、Thinking 和 Pro）外，我们还将从 ChatGPT 中停用 GPT‑4o、GPT‑4.1、GPT‑4.1 mini 和 OpenAI o4-mini。在 API 中，目前没有任何变化。
18:00 OpenAI Blog 85
GPT-5.4 mini 和 nano 是 GPT-5.4 的更小、更快版本，针对编码、工具使用、多模态推理以及高容量 API 和子代理工作负载进行了优化。