精选

2026年10月14日星期三 · AI 自动挑选的高价值内容

数据时间 2026/10/14 17:13

当前热点

  1. 推出 Claude Haiku 5.53 个信源同时报道

10月14日

星期三 · 40 条
arXiv cs.AI精选78

GeoReader:为视觉语言模型的空间推理学习潜在几何

视觉语言模型(VLM)难以处理 RGB 观测中隐含的度量关系和多视图关系。几何基础模型可以从 RGB 中恢复这些结构,但现有方法要么将估计得到的特征与视觉 token 融合,仅通过问答学习如何使用它们;要么将 VLM 的潜变量与几何特征对齐。然而,捕获几何信息并不意味着模型会使用它:将一个已发布的特征对齐模型中的对齐潜变量置零后,其准确率仍保持不变。我们提出 GeoReader,这是一种为能够读取几何信息的 VLM 学习几何表示的框架。首先,我们训练轻量级几何读取器,使其生成连续输入 token,并使用由冻结 VLM 解码的几何描述对其进行监督,从而让读取器以目标模型已经能够读取的形式表达几何信息。随后,我们冻结读取器以保持这一接口,同时在空间问答数据上微调 VLM,并根据问题调节几何信息的注入。几何描述仅作为训练目标:在推理时,VLM 无需生成几何思维链,而是直接依据连续几何 token 作答。利用从 RGB 图像预测的几何信息,我们的方法在 Qwen3-VL-4B 上于 MindCube-Tiny 达到 94.3;结合多源问答混合数据,在 Qwen3.5-9B 上于另外六个空间基准测试中取得平均 72.5 的成绩。这些结果表明,有用的几何表示应当是接收模型能够使用的表示,而不仅仅是能够从中重建几何信息的表示。

#国内厂商#论文研究#论文#Qwen / 通义#安全与对齐

推荐理由:介绍让视觉语言模型真正读懂几何信息的新方法,显著提升空间推理能力。

arXiv cs.AI精选80

UniW(A)M:用于世界模型与世界-动作模型的统一混合专家框架

世界模型(WMs)和世界-动作模型(WAMs)分别专注于未来世界预测和可执行动作生成。尽管这些模型都从具身轨迹中学习共享的物理动力学与交互语义,但它们通常是孤立训练的,从而限制了预测与控制之间的知识复用。因此,核心挑战在于开发一种统一的学习框架,在共享这些动力学的同时,保留每种范式所需的独特建模能力。我们提出了 UniW(A)M,一种基于扩散 Transformer 构建的混合专家世界(动作)模型,将动作条件世界建模与多种 WAM 变体统一起来。共享专家负责捕获共同动力学,而原子能力专家则跨接口复用,使每个接口都保留自身的条件路径。在部署时,即插即用的自适应接口路由器(PAIR)从目标任务分块场景的一小部分中学习,为每个执行分块选择合适的 WAM 接口,在保持骨干网络冻结的同时,平衡任务成功率与执行效率。我们在 LIBERO、RoboTwin 2.0 以及三个真实世界操作任务上评估了 UniW(A)M,其真实世界平均成功率达到 88.3%,而最强基线为 76.7%。在 WorldArena 上,它在全部三个任务的动作条件世界建模中均取得领先。AC-WM 联合训练为每个动作接口的动作生成都带来了提升,而 PAIR 则将 OOD 成功率从 63.3% 提高到 76.7%。

推荐理由:统一世界建模与动作生成,提升机器人跨任务控制与泛化能力。

arXiv cs.AI精选77

通过无需训练的奖励归因解锁 Token 奖励

本文提出了一种极高效且无需训练的方法,可直接从现有的深度奖励模型中提取 Token 级奖励信号。我们的核心思想是通过估计每个 Token 的影响,将整体过程奖励归因于单个 Token。该影响被定义为:当一个 Token 被语义上无意义的 Token 替换时,最终宏观奖励(例如过程奖励)的变化。朴素地计算这种影响在计算上不可行,因为对于包含 N 个 Token 的序列,需要通过 PRM 进行 N 次前向传播。为克服这一瓶颈,我们提出了一种高效的基于梯度的估计器。具体而言,我们采用一阶泰勒近似,将影响的计算简化为 Token 嵌入与无意义 Token 嵌入之差,与奖励相对于 Token 嵌入的梯度之间的内积。该方法仅需一次前向传播和一次反向传播。由此得到的 Token 级奖励使标准 RL 算法能够在无需额外训练奖励模型的情况下,执行精确的信用分配。在具有挑战性的推理基准测试中,实验结果表明,我们的方法显著提升了策略优化效率,并增强了 LLM 推理能力的泛化性。对于 Qwen2.5-VL-7B-Instruct,我们的 P2T 在 MathVista 上相比结果奖励提升了 +4.9%;对于 Qwen2.5-Math-7B,在 AIME24 上提升了 +11.5%。代码将通过 https://github.com/stonewst/P2T 发布。

#国内厂商#开源/仓库#Qwen / 通义

推荐理由:深度 86 / 新颖度 85,来自 arXiv cs.AI。

arXiv cs.AI精选82

仅用少量人类视频进行 Steertuning 策略学习

当前的机器人学习方案需要大量机器人示范,才能获得稳健且具备适应性的策略。在本文中,我们介绍了 Steertuning,这是一套能够让机器人仅通过 5 段人类示范,在不到 5 分钟内于新环境中学习新任务的系统。Steertuning 由两部分组成。(1)我们在自建的第一视角人类数据集上预训练了一个拥有 4 亿参数的扩散策略模型。该数据集包含 100 小时经过密集标注的随机交互数据。这种预训练使 Steertuning 能够适应背景差异,并在部署到新任务时实现空间泛化和物体泛化。(2)给定新任务的 5 段示范后,我们仅用 2 分钟(2000 次训练更新)对模型进行微调,并在反向采样过程中,使用观测结果与部署环境最接近的示范来引导策略的动作。结合专为本体迁移设计的数据处理流程,Steertuning 在 12 个新环境中的 12 项任务上取得了 71% 的成功率,这些环境涵盖实验室场景和新住宅中的厨房。从新任务的数据采集到机器人策略部署,整个过程耗时不到 5 分钟。我们的完整数据集、模型权重、代码库和机器人视频将在我们的网站上公开:https://steertuning.github.io。

#数据与训练#开源/仓库

推荐理由:新颖度 88 / 深度 88,来自 arXiv cs.AI。

arXiv cs.AI精选74

A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus

We develop a rate-transfer method that converts finite-time Lyapunov estimates for an associated stochastic differential equation (SDE) into finite-time convergence bounds for stochastic gradient algorithms. Under generic moment and smoothness conditions, the convergence analysis of the stochastic gradient method reduces to a calculus argument verifying a Lyapunov generator inequality for the SDE. The method recovers established rates for classical stochastic gradient methods and provides a way to establish convergence rates for new optimization algorithms through calculus arguments applied to their associated SDEs.

#论文研究#论文

推荐理由:深度 82 / 新颖度 78,来自 arXiv cs.AI。

arXiv cs.AI精选84

SolBehave:评估 LLM 生成的智能合约的行为正确性

大型语言模型日益生成 Solidity 智能合约,而这类合约一旦部署便永远无法修补,使单个潜在缺陷永久存在并可被利用。然而,当前的评估大多只考察生成的代码能否编译。我们提出 SolBehave,这是一项用于大规模评估模型生成合约正确性的基准测试,超越了临时性单元测试。针对 250 个真实且可复现的 Ethereum 合约,我们采用三种互补的行为保真度测试:差分模糊测试、历史交易重放,以及作为核心贡献的、由动态条件响应(DCR)图引导的合成交易重放;该图枚举了合法函数调用序列的空间。差分模糊测试将每个生成函数与原始函数在自动生成的输入上进行比较;历史重放则根据合约实际上在链上接收过的交易,对整个合约进行比较;DCR 引导的重放则依据符合其预期用法的调用序列进行比较,其中包括从未在链上发生过的调用顺序。我们在进行一轮自动修复后,评估了七个最先进的开放权重模型。编译成功率介于 26.4% 和 92.7% 之间,但在差分模糊测试中,汇总各模型和样本后,所有能够编译的生成函数体中只有 31.4% 与原始函数等价。在合约层面,出现偏离是常态而非例外:对于七个模型中的六个,在历史重放下,能够编译的生成合约中有 13% 至 31% 与原始合约发生偏离;在 DCR 引导的重放下,这一比例为 13% 至 44%;只有 Gemma-4-31B 在两种测试下的偏离率均低于 3%。因此,编译成功是正确性的必要条件,但远非充分条件。

#Google / Gemini#论文研究#论文

推荐理由:揭示智能合约生成的行为偏差,提供超越编译测试的系统化评估方法。

arXiv cs.AI精选78

PreciseCoder: Faithful and Generalizable Debugging Beyond Unit-Test Rewards

Reinforcement learning (RL) from unit tests is the common recipe for post-training code models, but a unit test only asks whether the final program passes. We analyze what this unit-test-only reward teaches a model during debugging and find that, while it raises pass rates, it also teaches the model to edit more and to hallucinate bugs in code that is already correct. We introduce PreciseCoder, a training algorithm that augments the unit-test reward with a signal for semantically verified, localized edits, which correlates with smaller edits and higher pass rates. On 4B, 9B, and 27B models, PreciseCoder reduces the average number of edit lines from 7-15to 3 at a pass rate on par with unit-test-only training. Trained only on single-line bugs, PreciseCoder can generalize to repository-level program repair, where it resolves more issues with smaller patches. Its precision also transfers from weaker to stronger models: given the reasoning trace of a 9B PreciseCoder model, frontier models such as GPT-5.6 Sol and Qwen3.8-Max gain 4.6-12.4 points in edit precision with no additional training. Linguistic analysis of the thinking traces shows that our reward encourages the model to reason about individual lines, name the buggy ones, and form consistent bug hypotheses.

#国内厂商#OpenAI / ChatGPT#论文研究#论文#Qwen / 通义

推荐理由:深度 88 / 新颖度 86,来自 arXiv cs.AI。

arXiv cs.AI精选81

超越判定:借助可验证反馈进行智能体式代码评测

大型语言模型(LLM)的测试时扩展可以包括生成多个候选解以供选择,或修改先前的尝试。为了指导选择和修改,我们需要一个能够估计候选解正确性并提供失败证据的验证器。然而,在竞赛编程中,官方评测系统会在有限的提交次数限制下给出权威判定,却不会透露失败原因或导致失败的输入。为了在不消耗官方提交次数的情况下提供有信息量的反馈,我们提出了一项任务:模型仅使用题目描述和源代码,对候选程序进行判定和诊断,并将生成的反例作为可检查的证据。为评估这项任务,我们基于 USACO 2026 竞赛构建了 USACO-JUDGE,使用由人类专家和多个 LLM 编写的通过与未通过评测的程序。随后,我们在通用执行沙箱中通过强化学习训练了 ARBITER,这是一个拥有 35B 参数的混合专家(MoE)智能体式验证器。训练使其在错误程序上的反例成功率从 40.61% 提升至 62.67%,并使其在 USACO-JUDGE 上的二元判定平均准确率从 71.41% 提升至 87.41%,接近前沿验证性能。除验证之外,ARBITER 在代码选择和代码改进方面也都优于基线方法。在一项 IOI 2026 案例研究中,在官方提交次数限制下,由 ARBITER 指导的代码改进使 GPT-OSS-120B 的预期得分超过了金牌分数线。

#Agent 智能体#OpenAI / ChatGPT#论文研究#论文

推荐理由:深度 94 / 新颖度 88,来自 arXiv cs.AI。

arXiv cs.AI精选77

Jeva: System One Models from First Principles

System one models enable direct, low-latency decision-making. Yet recent practice of predicting an answer from serialized text does not, by itself, respect the structure of a decision problem. We argue that current designs underemphasize four important structural requirements. (i) null-aware: Models should distinguish answer absence from uncertainty among candidates; (ii) permutation-invariant: Reordering alternatives should not change the decision; (iii) option-scalable: Growing candidate sets should not require redefining the output space; (iv) cacheable: Request-independent computation over recurring alternatives should be reusable across requests. We introduce Jeva, a decision-native architecture that addresses these requirements jointly. A shared encoder independently represents the request and each option, while a compact decision stack refines only the request state against immutable option memory. Symmetric aggregation yields permutation-equivariant probabilities; shared scoring accommodates variable-size candidate sets. A separate coverage estimate distinguishes answer absence from candidate competition, enabling explicit null outcomes. Request-independent option representations and layer projections support reuse across newly assembled sets. These mechanisms unify Choice, Noul, and Score outputs. Across evaluations, Jeva combines strong typed-decision performance with near-perfect null detection and no decision flips under any tested permutations. It scales to thousands of candidates and substantially reduces latency through cross-request reuse without changing decisions.

#芯片与算力#论文研究#论文

推荐理由:介绍面向决策的Jeva模型,兼顾空答案识别、候选集扩展与低延迟复用。

arXiv cs.AI精选79

BLADE:审计LLM多智能体系统中的信息使用以进行失败归因

大型语言模型多智能体系统通过在专业化角色、工具和工作流之间开展协作,扩展了单个智能体的能力。然而,协作也使故障更难诊断:一个智能体可能误解正确结果,而其他智能体则将这一错误继续传递下去。因此,失败归因旨在识别负责任的智能体和决定性错误步骤。近期方法会追踪依赖关系,但知道信息源自何处,并不等同于知道错误发生在何处。我们提出BLADE(通过审计依赖证据进行责任定位),这是一种无需训练的框架,超越信息追踪,转而审计信息的使用方式。BLADE利用Jev进行结构化概率判断,并使用依赖概率来选择相关的信息源—决策交接点进行审计。在这些交接点上,BLADE检查接收方的决策是否忠实地使用其信息源,以及是否符合任务要求,从而区分错误引入、错误传播和错误修复。这些发现将用于形成全局诊断,并考虑所有执行步骤。在没有参考答案的情况下,在共享Jev决策接口下,针对五个Who&When和Who&When Pro子集中的1,228次失败运行,BLADE在八种策略中取得了最佳或并列最佳的步骤准确率,相比All-at-once提升了2.2至11.1个百分点。明确呈现责任证据,为构建更具可解释性和可靠性的智能体系统提供了一条路径。

#Agent 智能体#论文研究#论文

推荐理由:深度 92 / 新颖度 85,来自 arXiv cs.AI。

arXiv cs.AI精选78

轻装上阵,CarryOn:为长程智能体构建面向对象的上下文

长程智能体将任务进展积累在持久化任务状态中,却仍反复处理描述这些进展如何取得的交互历史。这引出了一个自然的问题:长程上下文能否围绕可复用的进展来组织,而不是围绕产生这些进展的历史?本文介绍 CarryOn,这是一种面向对象的上下文运行时,围绕可复用的任务对象组织任务续接。CarryOn 不将压缩后的历史或重建的进展描述作为任务续接的主要依据,而是基于续接载体、补充性执行上下文以及持续更新的近期交互尾部构建上下文视图。一个核心挑战是,在相关历史被移除后,如何保持这一可复用基础的有效性:CarryOn 如何在不于每次折叠时重建完整表示的情况下更新这一基础?CarryOn 跨折叠维护载体记录,依据绑定的证据和适用的环境检查修订受影响的记录,同时保留未受影响的记录,并同步更新执行上下文。在 OSWorld 2.0 和 BrowseComp-Plus 上的实验表明,性能分别提升了 5.8% 和 7.0%,同时总 token 用量分别减少了 51.9% 和 22.9%。项目页面:https://ethannju.github.io/carryon

#Agent 智能体#开源/仓库#论文研究#论文

推荐理由:提出对象化上下文方法,提升长程智能体任务表现并显著降低令牌消耗。

arXiv cs.AI精选73

LLM 集成增益从何而来?分解候选价值、多样性与聚合

LLM 集成增益通常以单一基线为参照进行衡量,但归因于额外候选的价值可能随所用比较基准而变化。我们在四种匹配条件下研究 LLM 聚合器:直接生成(无候选)、单槽位(多槽位接口中仅有一个候选)、重复候选(同一候选重复出现)和多候选(分别生成的候选)。在任一非多样性对照下,总体候选增益(CIV)都可通过代数运算分解为额外候选对比效应(DSV)和候选上下文对比效应(CCV);这种分解取决于所选对照,但 CIV 不受影响。在 MultiHopRAG 的模型多样性实验(k=2)中,重复差距 Rep=-8.33 个百分点 [-13.25, -3.75] 量化了分别以重复候选和单槽位为参照所测得增益之间的差异。在 FRAMES 上采用更强模型组的匹配扩展实验(n=200,k=3,聚合器输出上限为 4096)中,配对差值 Delta Rep=+9.67 个百分点 [+6.00, +13.50];在各模型组内,Rep 的符号发生反转(原始模型组为 -6.33;更强模型组为 +3.33)。在 FRAMES 证据聚合中,两种非多样性对照下的候选上下文对比效应均保持显著负值。我们的结果说明,在将增益归因于额外候选之前,集成评估应先明确所用的参照对照。

#推理与部署#论文研究#论文

推荐理由:揭示集成收益受对照组选择影响,帮助研究者准确拆解候选数量与上下文的贡献,规范评测与归因。

arXiv cs.AI精选75

从字节到威胁:用于恶意软件检测的字节序列 Transformer

现有恶意软件检测方法高度依赖通过对可执行文件进行静态或动态分析而获得的手工设计特征。这些方法需要专门的领域知识、专用分析工具以及耗时的分析过程,因此在面对现代恶意软件日益增长的复杂性和多样性时,其可扩展性和鲁棒性受到限制。因此,直接处理原始字节的方法正受到越来越多的关注,因为原始字节包含丰富的语义和结构信息。然而,对于传统静态方法和基于 CNN 的方法而言,捕捉可执行文件中的长程依赖关系仍然具有挑战性。本文提出 MalwareFormer,这是一种基于 Transformer 的字节级恶意软件检测框架,可直接处理原始字节,无需领域知识或特征提取。MalwareFormer 的准确率达到 98.35%,平衡准确率达到 98.32%,宏平均 F1 分数达到 98.32%,误报率为 1.94%,在所有依赖阈值的分类指标上均优于两种基线方法,表明 Transformer 为字节级恶意软件检测提供了一种强大且可扩展的方法。

#国内厂商#论文研究#论文

推荐理由:直接从原始字节检测恶意软件,免去人工特征工程,并以高准确率提升检测的可扩展性与鲁棒性。

arXiv cs.AI精选83

SEAR: Self-Evolving Agentic Robotics

Frontier language-model agents can now improve robots on their own: they write control code, test it, and keep what works as skills and memories for the next task. We introduce SEAR (Self-Evolving Agentic Robotics), a framework and benchmark built around two questions. Is the agent really learning, or just trying more often? And does what it learns still help on new tasks, in a new simulator, and on a real robot? The framework runs an agent in three modes: it writes code that becomes the policy (code-as-policy), acts live in the control loop (agent-as-policy), or works as a researcher that fine-tunes a vision-language-action model (auto-research). The benchmark adds controls that separate retained experience from repeated attempts, familiar tasks, privileged simulator state, larger budgets, and luck. Across seven frontier language models, 330 simulated and five physical tasks, and over four years of agent runtime, we highlight three findings. First, the learning curve of a robotic agent depends both on the overall time budget and the task difficulty relative to model capability. Harder tasks make longer sessions worthwhile; on easier tasks, re-rolling short attempts does just as well. Second, control code and shared routines transfer across tasks and simulators, while task-specific solutions do not. On a real robot, we observe a performance gap between agent-designed practice and novel human-designed scenes. Third, different models evolve more effectively in different ways. Some do best acting live, others writing code first. And a text-only model keeps pace with a comparable multimodal one: perception helps with error assessment, but agentic reasoning and tool use can matter more. We release the benchmark and codebase to support future research.

#Agent 智能体#论文研究#论文

推荐理由:深度 96 / 新颖度 88,来自 arXiv cs.AI。

arXiv cs.AI精选73

通过多智能体强化学习中的极值寻优控制优化团队行为

在协作式多智能体强化学习(MARL)中,智能体必须学会协调行动,以实现共同目标。有效协调的一个关键指标是行为多样性,即在面对相同观测集合时,智能体执行各具特色但彼此互补的控制策略的潜力。尽管行为多样性能够促进角色专门化和更丰富的联合行为,但其适宜水平高度依赖具体情境和任务,且通常需要付出较高成本进行调节。我们提出 Adaptive Diversity Control(ADiCo),这是一种在训练过程中在线调整行为多样性的双时间尺度框架。在较快的时间尺度上,Diversity Control(DiCo)将系统多样性调节至目标值附近;在较慢的时间尺度上,Extremum Seeking Controller(ESC)仅利用平均回合回报来调整该目标值,无需多样性—性能关系的显式模型或解析梯度。我们在两项协作式 MARL 任务的六种配置上评估了 ADiCo,结果表明它能够维持与任务相适应的多样性水平:当同质化策略更有利时保持较低多样性,而在需要异质化策略时维持较高多样性。通过这种自适应机制,ADiCo 的平均性能达到或超过 DiCo(通过网格搜索得到的最佳多样性目标值)和 Unconstrained DiCo(允许多样性在没有目标调节的情况下自然形成)。这些结果表明,将经典反馈控制融入 MARL 训练,能够通过为多样性目标值的任务特定手动选择提供一种系统化替代方案,实现有效协调。

#Agent 智能体#论文研究#论文

推荐理由:提出自适应多样性控制,帮助多智能体无需手动调参实现更高效协作。

arXiv cs.AI精选76

Self-Evolving Agent Harness

Harness self-evolution revises an agent's software scaffolding, including prompts, memory, workflows, and executable components, while keeping model weights fixed. We formalize a feedback-driven process in which accepted revisions persist across runs. The framework separates update targets from proposal and admission mechanisms. It distinguishes changes to interpreted state from revisions to tools and code, repository-level control logic, and plugin composition. We characterize search through evolutionary optimization and examine its reliability through continual PAC-learning. Under explicit assumptions, the analysis yields an expected generalization bound, a retention bound conditional on historical regression budgets, and a high-probability admission rule using fresh, independent validation data. We examine how persistent harness revisions affect knowledge sharing and organizational workflows, with implications for scientific reliability, physical safety, and institutional accountability. Cases from prior work illustrate model--harness co-design, distributed execution, and plugin reuse. Reliable deployment requires continual validation as task distributions and evaluators change, with independent safeguards for learning, runtime privileges, and consequential actions. We provide a comprehensive 66-page discussion of related work, theory, algorithms, evaluation, applications, and the broader impact of Harness RSI, together with continuously updated code and supplementary materials, at https://github.com/zgcagi/Harness-RSI.

#Agent 智能体#开源/仓库#论文研究#论文

推荐理由:深度 92 / 新颖度 78,来自 arXiv cs.AI。

arXiv cs.AI精选82

回译依然重要:利用单语数据通过 LLMs 实现低资源机器翻译

预训练大语言模型(LLMs)在零样本和少样本设置下的许多任务中表现出色。对于低资源语言的机器翻译,显而易见的选择是少样本提示和在小规模平行语料集上进行微调。我们提出一个问题:如果还能获得适量的低资源语言单语数据,情况会如何?我们认为,与继续预训练相比,更有效的利用方式是采用 LLM 出现之前的回译(BT)技术。当前经过微调的 LLM 对各语言的单语句子进行翻译,再利用生成的句对训练其反向翻译能力。训练过程中交替使用平行语料集进行更新,以保持学习的稳定性。在奥里亚语和斯瓦希里语上使用 1,000 个平行句对时,BT 在领域内翻译成低资源语言的任务上,比继续预训练高出 7.7 至 16.4 个 XCOMET-XXL 分数点。采用束搜索解码生成中间译文时,它还优于使用 10 倍平行数据的模型。从平行数据中检索得到的上下文示例可进一步提升 BT 的效果。我们还分析了单语文本的来源、质量和数量。在五种低资源语言上,以印地语作为高资源语言对照,并使用两个 3B 骨干模型,BT 相较于仅使用平行语料进行微调,使译入低资源语言的 XCOMET-XXL 分数提高了 16% 至 173%。针对奥里亚语和梵语的人工盲评结果与自动评估指标一致。

#数据与训练#论文研究#论文

推荐理由:研究证明,低资源语言翻译中,结合单语数据进行回译比继续预训练更有效,可显著提升译文质量。

arXiv cs.AI精选79

RoboSimStudio:用于快速实现机器人操作任务 Real2Sim 的交互式工具包

准确建模机器人与其操纵物体之间的物理交互十分困难,这涉及接触力学、耦合接触动力学、形变、刚度和摩擦等因素。我们提出了 RoboSimStudio(RSS),这是一款交互式工具包,将求解器、接触模型和物理参数的选择明确化并支持编辑,使人类和编码智能体能够根据观察到的物理行为反复改进仿真。我们基于开放的 Newton 物理仿真系统实现了 RSS,并介绍了人类引导的 real2sim 实验,包括:(1)视觉评估;(2)力反馈;(3)智能体驱动的 Real2Sim2Real。代码、视频及更多信息可在项目网站上获取。

#论文研究#论文

推荐理由:可操作性 86 / 深度 84,来自 arXiv cs.AI。

arXiv cs.AI精选75

Fast Rates for Offline Q-Learning with KL Regularization

This paper investigates offline Q-learning for finite-horizon Markov decision processes with Kullback-Leibler (KL) regularization. Recent studies have shown that KL regularization can yield fast rates in offline decision-making problems. However, it remains unclear whether Q-learning, which adopts incremental stochastic approximation updates, can achieve such fast rates in the offline setting. We first propose KL-regularized Q-Learning (KLQ), a simple variant of classical Q-learning. By exploiting KL regularization, we prove that KLQ achieves a sample complexity of $\widetilde{O}(1/ε)$ without explicit pessimism. This guarantee, however, has an exponential dependence on the KL regularization parameter and the horizon. To address this limitation, we further propose KL-regularized Pessimistic Q-Learning (KLPQ), which incorporates pessimism into KLQ. We prove that KLPQ retains the same \(\widetilde O(1/ε)\) rate while removing the explicit exponential dependence, thereby further improving the sample complexity. To the best of our knowledge, these results establish the first fast-rate guarantees for offline Q-learning in tabular finite-horizon KL-regularized MDPs.

#开源/仓库#论文研究#论文

推荐理由:新颖度 88 / 深度 86,来自 arXiv cs.AI。

arXiv cs.AI精选77

谁来改进机器人?迈向物理递归自我改进

机器人在任务执行方面的自主性日益增强,但其改进仍主要由人类驱动。本研究探讨物理递归自我改进(Physical RSI):利用物理交互经验,指导对机器人能力及其改进流程进行持久性更新,从而使后续改进在不同任务中更加有效。Physical RSI 面临观测噪声、连续动力学、高昂的试验成本以及不可逆后果等挑战。我们提出了一个 L0-L5 框架,区分能力层面与元层面的更新,以及任务内与跨任务的增益,并将 L5 专门用于经过独立验证的递归增益。我们考察了围绕运行支撑框架适配和模型训练的现有方法,以及对执行过程和连续更新进行管控的安全与控制机制。我们的分析表明,尽管自我改进已取得显著进展,但所调研的文献尚未展示出符合本框架定义的 Physical RSI。我们确定了可靠反馈、因果归因、安全性保持和基准评测等研究重点,勾勒出一条使机器人在确保安全的同时,自主改进其学习方式的发展路径。Physical RSI 的 GitHub 仓库位于 https://github.com/SAIL-Research-Lab/Physical-RSI。

#开源/仓库#论文研究#论文

推荐理由:提出实体机器人递归自我改进框架,梳理现有进展与安全瓶颈,为自主且可靠的机器人学习指明研究路径。

arXiv cs.AI精选84

LIBERO-RIG:视觉-语言-动作模型的硬件设置鲁棒性基准

机器人策略应能在不同部署环境中实现泛化,包括机器人本身的变化:摄像头受到碰撞并重新安装,标定发生漂移,控制器以不同频率运行,末端执行器垫片出现磨损。我们提出 LIBERO-RIG,这是一个仅对机器人硬件和设置施加扰动、同时保持所有 LIBERO 任务不变的基准。该基准涵盖 11 个扰动维度,包括摄像头安装与光学参数、摄像头到机械臂的标定、驱动增益、控制频率、本体感知噪声、基座位姿、桌面高度以及夹爪垫片。每个维度包含 5 个严重程度等级,在四个 LIBERO 套件中共形成 210 种条件。我们使用每种条件下 500 个回合评估了 9 个近期视觉-语言-动作模型,并通过严格的统计检验验证每项发现。汇总成功率从中等严重程度下的 0.932 降至最高严重程度下的 0.509,中等严重程度下为 0.767。性能下降幅度在不同扰动维度和动作接口之间存在显著差异;针对视觉扰动进行训练,并不能缓解那些不会改变摄像头图像的故障。我们将同时发布该基准及其清单,其中规定了每个回合的固定扰动参数。

#论文研究#论文

推荐理由:深度 95 / 新颖度 90,来自 arXiv cs.AI。

arXiv cs.AI精选74

MFG:多轮反馈引导的分子优化

多目标分子优化是药物发现中的关键过程,旨在修改给定分子,在保持整体结构相似的同时,同时改善多个性质。该过程通常需要在计算或实验反馈的指导下进行迭代式修改。近期,基于大语言模型(LLM)的方法开始探索这种迭代式方法;然而,这些方法并未经过专门训练以利用此类反馈,而现有方法主要聚焦于单轮分子优化。为弥补这一空白,我们提出了多轮反馈引导(MFG)分子优化,这是一种强化学习框架,用于训练LLM利用前几轮的反馈逐步优化分子。MFG引入了一个反馈向量,同时捕捉性质改进和与源分子的相似度,并结合反馈对齐的奖励函数,促进跨轮次的逐步改进。我们在用于多目标分子优化的先进LLM模型$\text{GeLLM}^{3}\text{O}$上应用MFG,并在十项多目标分子优化任务上评估$\text{GeLLM}^{3}\text{O-MFG}$。结果表明,$\text{GeLLM}^{3}\text{O-MFG}$取得了最高的平均相似度约束成功率($81.50%$),优于基础模型$\text{GeLLM}^{3}\text{O}$($70.81%$)。

#论文研究#论文#安全与对齐

推荐理由:新颖度 82 / 深度 80,来自 arXiv cs.AI。

arXiv cs.AI精选79

Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards

Reinforcement learning with verifiable rewards (RLVR) relies on costly model-generated responses, motivating larger rollout batches and square-root learning-rate scaling. Reported to approximately preserve progress per sample with one optimizer step per rollout, this rule is less understood in practical multi-step training. We develop a two-clock framework that separates the samples needed to make progress from those consumed before collapse. Under a local quadratic model, the square-root rule preserves first-order drift per sample but not progress: larger batches take fewer, longer updates and lose more to curvature, yielding a learning-rate-dependent critical batch beyond which sample efficiency degrades. A drift-threshold hypothesis predicts a complementary failure clock whose sample count remains approximately invariant along the square-root rule. Controlled GRPO experiments on Qwen2.5-Math-1.5B across a $16\times$ batch range support both predictions. Ratio clipping delays failure, especially for larger batches, but the progress gap persists without it. Widening the clip trades stability for a transient speed gain. The progress gap reappears on another dataset, a general-purpose checkpoint, and a 7B model. Finally, we use the two-clock framework to derive a simple multi-step RLVR schedule: start below the critical batch and switch to a larger batch before failure. Our code is available at: https://github.com/WinstonLiyt/two-clocks-rlvr.

#国内厂商#开源/仓库#论文研究#论文#Qwen / 通义

推荐理由:深度 92 / 新颖度 85,来自 arXiv cs.AI。

arXiv cs.AI精选83

混合推理智能体

我们如何构建一种智能体,使其能够超越人类语言进行思考,同时仍通过语言在外部环境中采取行动?现代 LLM 智能体仍通过文本进行推理和交互,而潜在空间推理虽然提供了高效的内部媒介,却缺乏原生工具访问能力和推理透明度。我们提出 Hybrid Reasoning Agents(HybridAgents),将这两个方向结合起来,使智能体能够在统一的生成过程中动态切换潜在空间推理与基于文本的交互。在架构上,轻量级的 HybridLink 支持文本模式与潜在模式之间的无缝切换,而智能体的连续工作记忆则在多轮交互中无损保留混合上下文。这些设计既保留了集成工具的智能体能力,又使潜在思维可被直接检查。基于这一架构,我们进一步开发了专门用于混合推理的后训练算法:HybridSFT 通过教会骨干模型与 HybridLink 协同工作,稳定集成工具的混合生成过程;随后,HybridRL 通过学习何时在潜在空间中思考、何时通过文本采取行动,进一步增强推理能力。我们在涵盖数学、科学、医学、搜索和智能体推理的 11 项基准测试上,对 3 种模型规模的 HybridAgent 进行了评估。与涵盖文本方法和潜在空间方法的前沿 LLM 智能体及智能体框架相比,HybridAgent 持续实现 10.4% 的性能提升,同时将 token 用量减少 35.5%–54.7%,将推理速度提升至 1.8–2.6 倍,并将成本降至原来的 1/2.7–1/3.7。代码和数据可在 https://github.com/togethercomputer/HybridAgent 获取。

#Agent 智能体#开源/仓库#论文研究#论文

推荐理由:融合潜在思考与文本交互,让智能体在保留工具能力和推理可检查性的同时提升效果、速度并降低成本。

arXiv cs.AI精选79

AesCode:采用解耦跨模态奖励的审美代码生成

将信息丰富的视觉产物(如幻灯片、海报和仪表板)生成为代码颇具吸引力,因为输出具有结构化、可编辑且可验证的特点。然而,代码模型无法看到其布局和配色选择在画布上的整体呈现,这往往限制了空间规划能力和审美质量。图像生成器擅长视觉设计,但可能错误渲染用户要求的内容,因此其输出不适合作为直接复现的可靠目标。为此,我们提出 AesCode:在内容提示的基础上生成代码,同时使用由同一提示生成的图像作为审美指导。具体而言,AesCode 将目标表示为设计图,以描述整个画布,并使每个属性都具备可追溯性。基于该设计图,我们推导出互补的跨模态奖励:确定性验证器对可从代码和渲染结果中解析的属性进行评分,而 VLM 评审器则使用针对样本定制的视觉图评分标准(Visual Graph Rubric,VGR),依据图中的元素和关系评估不可解析的属性。我们通过带有按通道归一化机制的强化学习优化这些解耦奖励,从而共同提升空间规划、审美质量和可验证的正确性。为评估这一设定,我们构建了一个基准,分别对可验证的正确性和视觉质量进行评分,其中视觉评分与人类判断高度一致。我们发现,参考图像能够显著提升现有模型生成代码的视觉质量;消融实验表明,AesCode 从参考图像中获益,不仅因为将其作为模型输入,也因为将其作为视觉奖励的来源。与使用相同参考图像、规模相当的 Qwen3-VL 基线相比,AesCode-8B 和 AesCode-32B 的视觉质量分别提高了 31.1 和 22.4 个百分点,达到与 GPT-5.5 和 Claude Opus 4.8 等闭源前沿模型相当的评分。

#Anthropic / Claude#国内厂商#图像生成#OpenAI / ChatGPT#论文研究#论文#Qwen / 通义

推荐理由:介绍一种结合参考图与解耦跨模态奖励的代码生成方法,显著提升视觉设计与内容可靠性。

arXiv cs.AI精选81

DoubtLess:无需训练的高效推理对比解码

推理模型通过较长的思维链(CoT)取得强劲性能,但通常会使用超出解题所需的词元数量。现有的 CoT 缩短方法需要针对每个模型进行额外训练、向模型的隐藏状态添加固定的引导向量,或采用提前停止、禁止使用“wait”等词语的解码启发式方法,而这些方法可能会降低准确率。我们提出 DoubtLess,这是一种无需训练的解码方法,通过一个小得多的推理模型引导大型模型生成更简洁的内容。小模型会读取大型模型截至当前的 CoT 两次:一次被提示要简洁(简洁思考者),另一次被提示要详细(详细思考者);然后将其两次 logit 向量之差乘以一个强度系数,并在 CoT 的每一步将结果加到大型模型的 logits 上。在涵盖竞赛数学、研究生水平科学和竞赛编程的七个基准测试中,DoubtLess 在准确率不变的情况下将 Qwen3-32B 的 CoT 缩短了 31%,优于五种推理时基线方法。我们还表明,在一个自调试编码智能体中,DoubtLess 在任务表现不变的情况下,将每轮思考词元数减少了 20%。在另外两个模型系列上,它同样实现了准确率不变的泛化效果。与基于训练的压缩方法结合后,它还能进一步缩短已经接受简洁性训练的模型的 CoT。消融实验和行为分析表明,DoubtLess 减少了重复检查,而大部分词元节省发生在 CoT 中首次出现正确答案之后。我们的代码可访问:https://github.com/leoluolol/DoubtLess。

#国内厂商#开源/仓库#论文研究#论文#Qwen / 通义#推理模型

推荐理由:介绍一种无需训练的对比解码方法,在保持准确率的同时显著缩短推理链并降低成本。

arXiv cs.AI精选82

Tev:通过稠密进展奖励扩展长时域智能体环境

长时域智能体凭借能够自主执行具有经济价值的任务而日益受到关注,其工作时长可从数小时持续到数天。这一能力对于自动化发现和递归自我改进(RSI)至关重要。然而,开源模型在长时域任务上仍然表现不佳,主要原因在于缺乏训练数据和可行的训练方案,而同时扩展这两者十分困难:长而复杂的任务难以整理和验证,且其奖励通常十分稀疏。我们同时解决了这两个问题。首先,我们推出了 Tev-Gym,这是首个具备可验证、稠密且渐进式奖励的长时域智能体训练数据集,涵盖 7 个领域的 1,170 个已验证任务环境。该数据集采用“潜在世界优先”的方法构建:首先建立一个潜在世界,即对任务领域、工作流以及每一步之后预期状态的完整且正确的隐藏规范。随后,每个任务都根据该规范逐步呈现为面向智能体的环境,从而实现可控的复杂度和自然的进度指标。其次,我们将这一指标转化为训练方案:通过进度势能奖励塑形(PPRS),将进度转化为每一步的稠密奖励,从而提高训练效率,并使原本难以训练的任务变得可训练。采用该方案训练得到的 Tev-27B,在 Agents' Last Exam 的计算与数学科学领域(ALE-CM)上取得了显著提升,在 Pass@5 指标上达到 GPT-6 Astra 和 Claude Opus 5 的水平。尽管仅使用与 ALE 相关的数据进行训练,它仍能泛化到 Terminal-Bench(TB)3.0 和 4.0 子集,超过 GLM 5.2 和 Gemini 3.7 Flash,并在 TB 2.1 等中等时域任务上达到 Claude Opus 4.8 的性能水平。

#Agent 智能体#Anthropic / Claude#国内厂商#数据与训练#Google / Gemini#OpenAI / ChatGPT#开源/仓库#论文研究#论文#智谱 / GLM

推荐理由:深度 90 / 新颖度 88,来自 arXiv cs.AI。

arXiv cs.AI精选80

质量感知 VLA 预训练中的关键因素:基准与实证研究

在视觉-语言-动作(VLA)预训练过程中,应如何利用示范质量来提升目标任务微调后的性能?我们使用 5,000 条自然产生的次优人类示范和 24 个目标任务,在不同奖励定义和标签粒度下比较了加权、过滤和条件化方法。对于每个 VLA,我们确保各方法使用相同的示范和训练预算。其他比较还考察了预训练数据规模,以及质量标签在微调和推理过程中的作用。在三个 VLA 上,我们发现:感知接近过程的回合级条件化相较于普通行为克隆提高了平均成功率;平均而言,条件化和过滤分别更适合回合级标签和片段级标签,但具体模型上也会出现相反的结果;在条件化预训练之后,无论推理时是否使用标签,采用固定标签进行微调都能提高平均成功率。我们推出了 AXIS-Bench,以支持这些受控比较。该基准基于众包仿真示范构建,提供了记录的物体状态和接触状态,可用于在共享轨迹上重新计算质量标签。可回放轨迹支持与工作空间对齐的渲染,以及用户自定义的真实世界目标任务。在我们的真实世界实验中,仿真预训练将成功率从 9.6% 提升至 31.7%。项目页面:https://axis-bench.github.io/。

#数据与训练#开源/仓库#论文研究#论文#安全与对齐

推荐理由:比较示范质量利用策略,提出 AXIS-Bench,为提升 VLA 预训练及真实任务成功率提供实证依据。

arXiv cs.AI精选77

ChunkAct:面向智能体机器人技术的动作分块

智能体机器人技术将大语言模型(LLM)智能体置于机器人控制回路中,使其在记忆的指导下组合感知、运动和视觉-语言-动作(VLA)工具,从而无需重新训练即可泛化到新任务。然而,这种通用性以高昂的效率代价为前提。每个原语都需要 LLM 基于完整交互历史进行一轮推理,因此单次任务执行的成本随原语数量增加而增长。我们发现,这些推理大多是冗余的:一旦选定子目标,其原语就会遵循记忆中已规定的常规流程。我们提出了 ChunkAct,将动作分块引入智能体机器人技术。在线运行时,一次调用即可启动一个由多个原语串联而成的动作块,该动作块自主执行,仅在失败时交回控制权。离线阶段,ChunkAct 将记忆编译为这些动作块,因此测试时的执行无需依赖记忆,规划器仅用于需要推理的决策。由此,LLM 的计算量随决策数量而非原语数量增长。在 LIBERO-Pro 上,ChunkAct 的任务成功率较智能体机器人技术领域的最先进方法提升了 5.0 个百分点,同时所需的 LLM 调用次数、输入词元数和输出词元数分别降至其约 1/2.9、1/4.4 和 1/2.3。

#Agent 智能体#论文研究#论文

推荐理由:将机器人常规动作编译成自主执行的动作块,减少大模型调用与推理成本,同时提升任务成功率。

arXiv cs.AI精选76

异构智能体协同进化

近年来,自我改进的 LLM agents 取得了长足进展,展示了能够驱动自身智能水平提升的 AI 系统的潜力。然而,许多特定领域的应用依赖于专业化基础模型,这些模型具备强大的领域知识,但仍依赖由人类设计的改进方案。将递归式自我改进扩展到此类模型面临一项关键挑战:随着专业模型不断改进,用于推动其进步的策略也必须随之适应。为应对这一挑战,我们提出 Heterogeneous Agentic CoEvolution(HACE),一种通过相互学习联合演化专业化基础模型与 LLM agents 的框架。HACE 通过监督学习改进专业模型,同时利用在当前专业模型上经验证的性能提升,指导 agent 进行基于策略的强化自训练。反过来,agent 的探索又为后续专业模型训练提供信息,使两个模型能够相互适应彼此的进展。为维持这种相互学习,HACE 进一步采用进化搜索来优化二者的交互工具链,使模型能够随着能力的发展,动态调整信息交换方式以及训练经验的选择方式。我们在三个具有挑战性的领域评估了 HACE:推荐系统、生物学中的蛋白质功能预测,以及材料发现中的晶体稳定性预测。结果表明,在这三个领域的主要任务指标上,HACE 均优于所评估的自我改进方法。这些结果揭示,异构协同进化可作为一种通用方法,通过与学习型 agent 的相互作用改进专业化基础模型。

#Agent 智能体#论文研究#论文

推荐理由:介绍异构模型与智能体协同进化框架,助力推荐、生物与材料领域持续提升模型性能。

arXiv cs.AI精选81

尖锐方向与你作对:激活引导的曲率分析

激活引导会在推理时向语言模型的内部表示中添加一个向量,是一种用于行为控制的轻量级微调替代方案。标准构造方法对比激活加法(CAA)并不稳定,因为在许多输入上,它会将行为推向错误的方向。为解释这种不稳定性,我们首先研究引导向量的几何结构。我们引入引导 Hessian,即模型行为损失相对于引导向量的二阶导数矩阵。它刻画了沿引导向量各个方向进行微小扰动时,模型输出行为响应的敏感性。其顶部特征向量对应尖锐方向:沿这些方向的微小扰动就可能导致巨大、不规则且依赖输入的行为波动。底部特征向量对应平坦方向:沿这些方向的行为具有鲁棒性。移除引导向量中的尖锐成分,可以大致保留其方向和大小(在典型设置下,余弦相似度 > 0.974,范数减少 < 3%),同时将向量的方向曲率最多降低 12 倍(在 36 个条件下中位数降低 4 倍)。我们在三个模型系列(Qwen2.5-7B、Llama-3.1-8B、Mistral-7B)上进行评估,涵盖四项行为任务和 36 个词元级条件。沿尖锐方向进行引导会在所有测试条件下逆转预期行为,反引导率为 53%–100%。尖锐方向仅占 CAA 向量平方范数的 1%–5%,但在自回归生成过程中,它们对引导后与未引导的下一词元分布之间的差距贡献 disproportionate。我们将这一单行修正称为尖锐方向移除;在测试的全部 25 个条件下,它在开放式生成中的表现都优于标准 CAA。进一步的越狱实验表明,尖锐方向充当的是噪声而非信号:无论引导极性如何,它们都会破坏连贯的行为控制。

#国内厂商#Meta / Llama#Qwen / 通义#安全与对齐

推荐理由:深度 96 / 新颖度 88,来自 arXiv cs.AI。

arXiv cs.AI精选85

面向可信临床实践指南的计算增强型共识

保持临床实践指南(CPGs)的及时更新对于循证医学至关重要,但证据的快速增长和复杂的专家共识形成过程限制了及时更新。我们开发了 GUIDE,这是一种用于人机协作生成和更新指南的多智能体副驾驶系统。GUIDE 将劳动密集型任务分配给专门的 AI 智能体,同时保留专家判断和最终裁决权。在 12 个 NICE 眼科学数据集中,GUIDE 的文献召回率达到 88.85%,证据确定性评级一致性达到 86.06%,推荐意见一致率达到 91.67%;每个数据集平均耗时 162.17 分钟,其中人工干预占 28.68%。在来自心脏病学、内分泌学、胃肠病学和呼吸医学的另外 20 个数据集中,其性能保持稳定。消融分析显示,移除专家干预会降低偏倚风险评估等高度依赖判断的步骤的性能。在 6 个包含截止日期后证据的数据集中,GUIDE 在未见证据上仍保持了稳健的端到端性能。前瞻性真实世界验证表明,与原有的十年前指南相比,GUIDE 减少了专家工作量,并生成了临床上更可接受的推荐意见(平均评分为 3.73 对 1.53;一致率为 66.7% 对 13.3%);其结果与仅由人工更新的结果相当(P = 0.588),但所需时间和精力显著更少。GUIDE 为及时、可信且以专家为中心的指南制定提供了实用框架,并验证了计算增强型共识的可行性。

#论文研究#论文

推荐理由:深度 92 / 影响力 88,来自 arXiv cs.AI。

arXiv cs.AI精选76

构建区域光伏发电场提升超短期分布式太阳能预测

密集分布式光伏(PV)系统的超短期预测仍然具有挑战性,因为外部气象和卫星产品可能无法充分解析快速的局地变化,同时,异质光伏系统在相似大气条件下也会表现出不同的发电响应。与此同时,密集的光伏集群能够提供空间分布式观测,从而揭示区域发电动态。本文将集群级光伏预测从对离散电站时间序列进行建模,重新表述为对具有明确空间结构的区域光伏发电场进行预测。我们开发了 SatPV-Field,这是一种从区域到局地的预测框架,可将分布式光伏观测转换为类似图像的发电场,并对其时空演化进行建模。通过结合历史光伏发电场、卫星衍生的未来短波辐射指导信息和气象预报,该框架能够预测未来区域发电状态,进而为单个电站的预测提供位置特定的指导。涉及496个分布式光伏系统的实验(包括446个源站点和50个留出的目标站点)表明,这些区域发电场能够得到有效预测,并可用于提升电站层面的预测性能。与表现最佳的单电站时间序列基线相比,所提出的方法将电站层面的 MAE 降低了约10.0%;与使用相同源站群的基于图的区域预测方法相比,MAE 降低了2.5%。这些结果确立了一种显式空间场建模范式,将区域发电动态与单站点预测联系起来。

#论文研究#论文

推荐理由:将分布式光伏构建为空间发电场,融合卫星气象信息,提升超短期预测精度。

arXiv cs.AI精选80

超越完美队友:与不可靠同事开展多智能体协作

基于 LLM 的多智能体协作正日益用于解决复杂任务,其方式是将工作分配给专业化智能体,并整合互补的专业知识。然而,现有系统和评测大多建立在一种隐含的完美同事假设之上:协作者提供正确且完整的信息,并及时响应请求。但在现实团队协作中,协作者可能返回与预期问题不符的信息,提供不足以支持决策的细节,或未能响应请求。为了将任务解决能力与从不可靠的信息搜集过程中恢复的能力区分开来,我们引入了 Unreliable Colleagues Benchmark(UnCoBench),通过 Misaligned、Incomplete 和 Missed 三种设置对行为失败进行组织。主智能体需要验证上下文正确性,诊断信息缺口,并跟踪尚未解决的依赖关系,从而获取解决任务所需的正确证据。我们还提出了一种可验证且可扩展的自动生成流程,将基于 LLM 的场景生成与答案唯一性和角色必要性的可执行检查相结合。对十个模型的结果表明,在可靠设置下表现相近的模型,在面对不可靠证据时可能展现出不同的稳健性。轨迹分析揭示,智能体经常遗漏纠正性后续行动,而恢复行为还涉及低效等待和冗余查询。这些发现表明,稳健的协作不仅需要可靠的推理,还需要采取有针对性的行动来诊断证据失效、恢复相关信息,并将其整合到决策中。我们的数据和源代码可在 https://github.com/iNLP-Lab/UnCoBench 获取。

#Agent 智能体#开源/仓库#论文研究#论文

推荐理由:揭示多智能体应对不可靠协作者的关键短板,提供可验证的评测基准与改进方向。

arXiv cs.AI精选75

通过提问找到出路:通过广义谜题求解对多轮知识推理进行基准测试

由于谜题在部分信息下设定了可验证的目标,并要求通过多步决策达到解决方案,因此它们为大型语言模型(LLMs)的推理能力提供了天然的测试平台。然而,现有的谜题基准通常聚焦于机制僵化、解答目标高度受限的狭窄环境。为弥合这一差距,我们提出了 Active Probing Benchmark(APB),通过将概念识别构建为一种交互式推理任务,将专业知识评估融入谜题场景,从而推广谜题求解。具体而言,APB 评估模型能否通过多轮主动探测与推理获取信息,从八个多样化的学术领域中精准识别出 960 个具有专业难度的目标概念。我们的评估揭示了一个违反直觉的现象:大多数开源推理模型的表现显著逊于其标准指令模型对应版本。这一发现表明,在交互式场景中,这些模型难以运用程序性推理,可靠地获取和应用专业领域知识。除这些实证发现外,APB 还提供了一套可扩展的流程,用于生成能够在多样化场景下探测交互式知识推理能力的基准。

#开源/仓库#论文研究#论文#推理模型

推荐理由:提出多轮主动探测基准,揭示模型在交互式专业知识推理中的关键短板。

arXiv cs.AI精选79

Omni-Modal LLMs Know More Than They Say

Omni-modal large language models (Omni-LLMs) extend LLMs to process heterogeneous modalities (e.g., vision, audio, and IMU signals) alongside language, enabling a broader range of multimodal tasks. Yet we find that these models often fail to express information from non-textual modalities even when they perceive it correctly. We term this disconnect knows-but-cannot-say. To investigate this phenomenon, we introduce Token-level Modality Alignment (TMA), which measures the alignment between individual modality representations and response representations. Our analysis shows that non-textual representations are less aligned with response tokens and receive less attention than textual representations, suggesting a potential explanation for uneven modality preferences. Motivated by these findings, we propose OmniCatalyst, a simple perceive $\rightarrow$ infer strategy that complements the original modality inputs with self-generated text, making non-textual knowledge more accessible. Across seven Omni-LLMs, OmniCatalyst consistently improves performance (+7.29%) and yields more balanced modality preferences, with further gains from diverse training strategies. Further analysis demonstrates that the knowledge extraction phases increase TMA, suggesting that improved alignment makes non-textual information more accessible during response generation. In summary, our findings uncover how Omni-LLMs can better express modality knowledge through language. Our code is available at https://github.com/naver-ai/OmniLLM.

#开源/仓库#论文研究#论文

推荐理由:揭示全模态模型“会而不会说”的原因,并提供提升跨模态信息表达的实用方法。

arXiv cs.AI精选79

Large Language Model Assisted Transportation Planning through a Differentiable User Equilibrium Layer

Transportation planning has traditionally required substantial expertise in network modeling, traffic assignment, and optimization. As a result, strategic analyses such as network design, capacity expansion, and model calibration remain inaccessible to non-expert decision makers. Recent advances in large language models (LLMs) provide an opportunity to bridge this gap by enabling natural-language interaction with complex transportation planning tools. However, existing LLM-based systems primarily serve as interfaces to simulation software and lack the ability to efficiently search, evaluate, and optimize transportation solutions. This study proposes an integrated human-AI transportation planning framework that combines a large language model, a model context protocol (MCP) interface, an open-source transportation planning engine (AequilibraE), and a differentiable user equilibrium (UE) assignment layer. The framework allows non-expert users to execute network analyses and improve solutions for optimization. A differentiable UE layer is developed by directly differentiating the Karush-Kuhn-Tucker (KKT) conditions of the Beckmann traffic assignment problem. The proposed framework is demonstrated through two representative planning tasks: calibration of travel time functions from observed traffic counts and network design under budget constraints. The examples illustrate how differentiable transportation models and LLM agents can jointly democratize transportation planning and substantially reduce barriers between domain expertise and transportation decision making.

#Agent 智能体#MCP

推荐理由:将大模型与可微交通分配结合,降低交通规划门槛并支持优化决策。

arXiv cs.AI精选85

幻影合并:当你的大型语言模型智能体选择了一个实体,却告诉你另一个实体的情况

大型语言模型智能体日益在多个实体上运行,而可靠的响应生成不仅需要检索相关证据,还需要保持证据与正确实体之间的关联。我们发现了幻影合并(PM)现象:这是一种实体—证据绑定失败,智能体会将未经支持的声明归因于其已确定的实体,即使任务实际上已经正确完成,也可能发生这种情况。我们在声明层面对 PM 进行了形式化定义,并刻画了其在四类智能体领域和四类骨干模型系列中的发生率及错误子类型。为解决这一问题,我们提出了一个用于声明级风险估计与修正的两阶段框架。第一阶段,Anchor-Grounded Risk(AGR)将智能体生成输出前隐藏状态的表征读出与基于雅可比矩阵的功能信息相结合,提供互补的槽位级风险分数和锚点值风险分数。第二阶段,Fixed-Anchor Correction(FAC)审查被标记的声明,并利用观测到的锚点证据对其进行选择性修订;当没有受支持的替代内容可用时,则删除这些声明。在留出的 Shopping 检测队列上,AGR-slot 达到 96.2% 的 AUROC 和 97.3% 的平均精确率,优于所评估的检测基线。在端到端 Shopping 缓解评估中,FAC 将轨迹级 PM 从 51.4% 降至 6.2%,输出与原始声明的比例为 80.7%。这些结果表明,实体特定的落地失败普遍存在,而将内部风险估计与受证据约束的声明修正相结合是有效的。我们的代码已公开发布于 https://github.com/LabRAI/PhantomMerge】【。

#Agent 智能体#开源/仓库#论文研究#论文

推荐理由:深度 96 / 新颖度 91,来自 arXiv cs.AI。

arXiv cs.AI精选73

Pollard:用于框架无关 AI 代理控制与重放的受治理语义执行树

代理框架可以持久化检查点、跟踪工具调用并限制资源使用,但这些功能通常会为执行、治理和重放分别分配不同的标识。我们提出了 Pollard,一种基于受治理语义执行树的框架无关运行时。步骤标识绑定规范化输入、类型、尝试次数和父标识;同一棵树记录完成、拒绝、资源结算和分支历史。严格重放会返回经验证的已存储结果,而不会调用被封装的操作;事务性存储则协调并发工作器之间的资源预留。在签名的确定性冻结条件下,两个状态模型副本分别执行了评估转换,且未违反任何不变量;针对保留租约的 PostgreSQL 集群测试了精确限制,严格重放避免了外部调用,并检测出所有语义变更,同时在控制项上没有误报。一个多对框架矩阵保持了参考行为并验证了这些树。另一项具有成本上限的托管研究测试了实时提供商路径,每次已完成的 Pollard 试验都生成了一棵经过验证的树。总体而言,这些研究在明确的租约、边界和密封保管假设下,支持了其核心机制。

#Agent 智能体

推荐理由:提供框架无关的智能体执行治理与严格重放方案,提升控制、审计和复现能力。

arXiv cs.AI精选78

Unravel:从单张图像恢复可交互的 3D 场景

我们提出了 Unravel,这是一种无需训练的框架,可将单张图像转换为可交互的 3D 场景,其中每个物体都是独立且可移动的资产。现有生成器要么生成相互纠缠的单一几何体,导致其中没有任何物体可以移动;要么在一次前馈过程中预测所有物体,一旦猜测错误便无法检测或修正。Unravel 则采用了不同的方法:先将场景拆解,再将其重新组装。对于输入图像,Unravel 使用一种智能体框架逐层迭代剥离图像,并以点云作为恢复空间关系的主要模态。具体而言,视觉语言模型规划哪些物体是完全可见的,由图像编辑器移除这些物体并恢复被遮挡的区域。每次编辑在被纳入重建之前都会经过验证。该过程逐步将场景中被遮挡的部分转化为直接观测信息,使物体能够在其暴露最充分时被重建,而不是仅根据原始图像进行幻觉式推断。随后,场景按照移除顺序的逆序进行重建,从而使支撑物体能够自然地先于其所支撑的物体被放置。由于单视角图像只能展现物体的一部分,我们将观测点视为物体尺寸的下界:资产可以扩展到覆盖这些点,但不能缩小到偏离这些点。最后,我们对重建后的场景进行物理沉降,以消除悬浮物体和相互穿插现象,随后通过智能体审查来纠正残留的放置错误。在多种室内场景上进行的大量实验表明,与现有方法相比,Unravel 能够恢复更多物体,更忠实地进行放置,并生成物理合理性更高的场景。

#论文研究#论文

推荐理由:新颖度 88 / 深度 87,来自 arXiv cs.AI。