全部动态
本页 40 条今天 10月14日 周三
[AINews] AI Engineer NYC: Gemini 4 Argon, Vals AI Benchmarks
Gemini 4 Argon went GA today, but we already gave it title story 2 weeks ago and most benchmarks, like CursorBench, simply independently confirm their claims.
GeoReader：为视觉语言模型的空间推理学习潜在几何
视觉语言模型（VLM）难以处理 RGB 观测中隐含的度量关系和多视图关系。几何基础模型可以从 RGB 中恢复这些结构，但现有方法要么将估计得到的特征与视觉 token 融合，仅通过问答学习如何使用它们；要么将 VLM 的潜变量与几何特征对齐。然而，捕获几何信息并不意味着模型会使用它：将一个已发布的特征对齐模型中的对齐潜变量置零后，其准确率仍保持不变。我们提出 GeoReader，这是一种为能够读取几何信息的 VLM 学习几何表示的框架。首先，我们训练轻量级几何读取器，使其生成连续输入 token，并使用由冻结 VLM 解码的几何描述对其进行监督，从而让读取器以目标模型已经能够读取的形式表达几何信息。随后，我们冻结读取器以保持这一接口，同时在空间问答数据上微调 VLM，并根据问题调节几何信息的注入。几何描述仅作为训练目标：在推理时，VLM 无需生成几何思维链，而是直接依据连续几何 token 作答。利用从 RGB 图像预测的几何信息，我们的方法在 Qwen3-VL-4B 上于 MindCube-Tiny 达到 94.3；结合多源问答混合数据，在 Qwen3.5-9B 上于另外六个空间基准测试中取得平均 72.5 的成绩。这些结果表明，有用的几何表示应当是接收模型能够使用的表示，而不仅仅是能够从中重建几何信息的表示。
UniW(A)M：用于世界模型与世界-动作模型的统一混合专家框架
世界模型（WMs）和世界-动作模型（WAMs）分别专注于未来世界预测和可执行动作生成。尽管这些模型都从具身轨迹中学习共享的物理动力学与交互语义，但它们通常是孤立训练的，从而限制了预测与控制之间的知识复用。因此，核心挑战在于开发一种统一的学习框架，在共享这些动力学的同时，保留每种范式所需的独特建模能力。我们提出了 UniW(A)M，一种基于扩散 Transformer 构建的混合专家世界（动作）模型，将动作条件世界建模与多种 WAM 变体统一起来。共享专家负责捕获共同动力学，而原子能力专家则跨接口复用，使每个接口都保留自身的条件路径。在部署时，即插即用的自适应接口路由器（PAIR）从目标任务分块场景的一小部分中学习，为每个执行分块选择合适的 WAM 接口，在保持骨干网络冻结的同时，平衡任务成功率与执行效率。我们在 LIBERO、RoboTwin 2.0 以及三个真实世界操作任务上评估了 UniW(A)M，其真实世界平均成功率达到 88.3%，而最强基线为 76.7%。在 WorldArena 上，它在全部三个任务的动作条件世界建模中均取得领先。AC-WM 联合训练为每个动作接口的动作生成都带来了提升，而 PAIR 则将 OOD 成功率从 63.3% 提高到 76.7%。
通过无需训练的奖励归因解锁 Token 奖励
本文提出了一种极高效且无需训练的方法，可直接从现有的深度奖励模型中提取 Token 级奖励信号。我们的核心思想是通过估计每个 Token 的影响，将整体过程奖励归因于单个 Token。该影响被定义为：当一个 Token 被语义上无意义的 Token 替换时，最终宏观奖励（例如过程奖励）的变化。朴素地计算这种影响在计算上不可行，因为对于包含 N 个 Token 的序列，需要通过 PRM 进行 N 次前向传播。为克服这一瓶颈，我们提出了一种高效的基于梯度的估计器。具体而言，我们采用一阶泰勒近似，将影响的计算简化为 Token 嵌入与无意义 Token 嵌入之差，与奖励相对于 Token 嵌入的梯度之间的内积。该方法仅需一次前向传播和一次反向传播。由此得到的 Token 级奖励使标准 RL 算法能够在无需额外训练奖励模型的情况下，执行精确的信用分配。在具有挑战性的推理基准测试中，实验结果表明，我们的方法显著提升了策略优化效率，并增强了 LLM 推理能力的泛化性。对于 Qwen2.5-VL-7B-Instruct，我们的 P2T 在 MathVista 上相比结果奖励提升了 +4.9%；对于 Qwen2.5-Math-7B，在 AIME24 上提升了 +11.5%。代码将通过 https://github.com/stonewst/P2T 发布。
仅用少量人类视频进行 Steertuning 策略学习
当前的机器人学习方案需要大量机器人示范，才能获得稳健且具备适应性的策略。在本文中，我们介绍了 Steertuning，这是一套能够让机器人仅通过 5 段人类示范，在不到 5 分钟内于新环境中学习新任务的系统。Steertuning 由两部分组成。（1）我们在自建的第一视角人类数据集上预训练了一个拥有 4 亿参数的扩散策略模型。该数据集包含 100 小时经过密集标注的随机交互数据。这种预训练使 Steertuning 能够适应背景差异，并在部署到新任务时实现空间泛化和物体泛化。（2）给定新任务的 5 段示范后，我们仅用 2 分钟（2000 次训练更新）对模型进行微调，并在反向采样过程中，使用观测结果与部署环境最接近的示范来引导策略的动作。结合专为本体迁移设计的数据处理流程，Steertuning 在 12 个新环境中的 12 项任务上取得了 71% 的成功率，这些环境涵盖实验室场景和新住宅中的厨房。从新任务的数据采集到机器人策略部署，整个过程耗时不到 5 分钟。我们的完整数据集、模型权重、代码库和机器人视频将在我们的网站上公开：https://steertuning.github.io。
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
We develop a rate-transfer method that converts finite-time Lyapunov estimates for an associated stochastic differential equation (SDE) into finite-time convergence bounds for stochastic gradient algorithms. Under generic moment and smoothness conditions, the convergence analysis of the stochastic gradient method reduces to a calculus argument verifying a Lyapunov generator inequality for the SDE. The method recovers established rates for classical stochastic gradient methods and provides a way to establish convergence rates for new optimization algorithms through calculus arguments applied to their associated SDEs.
SolBehave：评估 LLM 生成的智能合约的行为正确性
大型语言模型日益生成 Solidity 智能合约，而这类合约一旦部署便永远无法修补，使单个潜在缺陷永久存在并可被利用。然而，当前的评估大多只考察生成的代码能否编译。我们提出 SolBehave，这是一项用于大规模评估模型生成合约正确性的基准测试，超越了临时性单元测试。针对 250 个真实且可复现的 Ethereum 合约，我们采用三种互补的行为保真度测试：差分模糊测试、历史交易重放，以及作为核心贡献的、由动态条件响应（DCR）图引导的合成交易重放；该图枚举了合法函数调用序列的空间。差分模糊测试将每个生成函数与原始函数在自动生成的输入上进行比较；历史重放则根据合约实际上在链上接收过的交易，对整个合约进行比较；DCR 引导的重放则依据符合其预期用法的调用序列进行比较，其中包括从未在链上发生过的调用顺序。我们在进行一轮自动修复后，评估了七个最先进的开放权重模型。编译成功率介于 26.4% 和 92.7% 之间，但在差分模糊测试中，汇总各模型和样本后，所有能够编译的生成函数体中只有 31.4% 与原始函数等价。在合约层面，出现偏离是常态而非例外：对于七个模型中的六个，在历史重放下，能够编译的生成合约中有 13% 至 31% 与原始合约发生偏离；在 DCR 引导的重放下，这一比例为 13% 至 44%；只有 Gemma-4-31B 在两种测试下的偏离率均低于 3%。因此，编译成功是正确性的必要条件，但远非充分条件。
PreciseCoder: Faithful and Generalizable Debugging Beyond Unit-Test Rewards
Reinforcement learning (RL) from unit tests is the common recipe for post-training code models, but a unit test only asks whether the final program passes. We analyze what this unit-test-only reward teaches a model during debugging and find that, while it raises pass rates, it also teaches the model to edit more and to hallucinate bugs in code that is already correct. We introduce PreciseCoder, a training algorithm that augments the unit-test reward with a signal for semantically verified, localized edits, which correlates with smaller edits and higher pass rates. On 4B, 9B, and 27B models, PreciseCoder reduces the average number of edit lines from 7-15to 3 at a pass rate on par with unit-test-only training. Trained only on single-line bugs, PreciseCoder can generalize to repository-level program repair, where it resolves more issues with smaller patches. Its precision also transfers from weaker to stronger models: given the reasoning trace of a 9B PreciseCoder model, frontier models such as GPT-5.6 Sol and Qwen3.8-Max gain 4.6-12.4 points in edit precision with no additional training. Linguistic analysis of the thinking traces shows that our reward encourages the model to reason about individual lines, name the buggy ones, and form consistent bug hypotheses.
超越判定：借助可验证反馈进行智能体式代码评测
大型语言模型（LLM）的测试时扩展可以包括生成多个候选解以供选择，或修改先前的尝试。为了指导选择和修改，我们需要一个能够估计候选解正确性并提供失败证据的验证器。然而，在竞赛编程中，官方评测系统会在有限的提交次数限制下给出权威判定，却不会透露失败原因或导致失败的输入。为了在不消耗官方提交次数的情况下提供有信息量的反馈，我们提出了一项任务：模型仅使用题目描述和源代码，对候选程序进行判定和诊断，并将生成的反例作为可检查的证据。为评估这项任务，我们基于 USACO 2026 竞赛构建了 USACO-JUDGE，使用由人类专家和多个 LLM 编写的通过与未通过评测的程序。随后，我们在通用执行沙箱中通过强化学习训练了 ARBITER，这是一个拥有 35B 参数的混合专家（MoE）智能体式验证器。训练使其在错误程序上的反例成功率从 40.61% 提升至 62.67%，并使其在 USACO-JUDGE 上的二元判定平均准确率从 71.41% 提升至 87.41%，接近前沿验证性能。除验证之外，ARBITER 在代码选择和代码改进方面也都优于基线方法。在一项 IOI 2026 案例研究中，在官方提交次数限制下，由 ARBITER 指导的代码改进使 GPT-OSS-120B 的预期得分超过了金牌分数线。
Jeva: System One Models from First Principles
System one models enable direct, low-latency decision-making. Yet recent practice of predicting an answer from serialized text does not, by itself, respect the structure of a decision problem. We argue that current designs underemphasize four important structural requirements. (i) null-aware: Models should distinguish answer absence from uncertainty among candidates; (ii) permutation-invariant: Reordering alternatives should not change the decision; (iii) option-scalable: Growing candidate sets should not require redefining the output space; (iv) cacheable: Request-independent computation over recurring alternatives should be reusable across requests. We introduce Jeva, a decision-native architecture that addresses these requirements jointly. A shared encoder independently represents the request and each option, while a compact decision stack refines only the request state against immutable option memory. Symmetric aggregation yields permutation-equivariant probabilities; shared scoring accommodates variable-size candidate sets. A separate coverage estimate distinguishes answer absence from candidate competition, enabling explicit null outcomes. Request-independent option representations and layer projections support reuse across newly assembled sets. These mechanisms unify Choice, Noul, and Score outputs. Across evaluations, Jeva combines strong typed-decision performance with near-perfect null detection and no decision flips under any tested permutations. It scales to thousands of candidates and substantially reduces latency through cross-request reuse without changing decisions.
BLADE：审计LLM多智能体系统中的信息使用以进行失败归因
大型语言模型多智能体系统通过在专业化角色、工具和工作流之间开展协作，扩展了单个智能体的能力。然而，协作也使故障更难诊断：一个智能体可能误解正确结果，而其他智能体则将这一错误继续传递下去。因此，失败归因旨在识别负责任的智能体和决定性错误步骤。近期方法会追踪依赖关系，但知道信息源自何处，并不等同于知道错误发生在何处。我们提出BLADE（通过审计依赖证据进行责任定位），这是一种无需训练的框架，超越信息追踪，转而审计信息的使用方式。BLADE利用Jev进行结构化概率判断，并使用依赖概率来选择相关的信息源—决策交接点进行审计。在这些交接点上，BLADE检查接收方的决策是否忠实地使用其信息源，以及是否符合任务要求，从而区分错误引入、错误传播和错误修复。这些发现将用于形成全局诊断，并考虑所有执行步骤。在没有参考答案的情况下，在共享Jev决策接口下，针对五个Who&When和Who&When Pro子集中的1,228次失败运行，BLADE在八种策略中取得了最佳或并列最佳的步骤准确率，相比All-at-once提升了2.2至11.1个百分点。明确呈现责任证据，为构建更具可解释性和可靠性的智能体系统提供了一条路径。
轻装上阵，CarryOn：为长程智能体构建面向对象的上下文
长程智能体将任务进展积累在持久化任务状态中，却仍反复处理描述这些进展如何取得的交互历史。这引出了一个自然的问题：长程上下文能否围绕可复用的进展来组织，而不是围绕产生这些进展的历史？本文介绍 CarryOn，这是一种面向对象的上下文运行时，围绕可复用的任务对象组织任务续接。CarryOn 不将压缩后的历史或重建的进展描述作为任务续接的主要依据，而是基于续接载体、补充性执行上下文以及持续更新的近期交互尾部构建上下文视图。一个核心挑战是，在相关历史被移除后，如何保持这一可复用基础的有效性：CarryOn 如何在不于每次折叠时重建完整表示的情况下更新这一基础？CarryOn 跨折叠维护载体记录，依据绑定的证据和适用的环境检查修订受影响的记录，同时保留未受影响的记录，并同步更新执行上下文。在 OSWorld 2.0 和 BrowseComp-Plus 上的实验表明，性能分别提升了 5.8% 和 7.0%，同时总 token 用量分别减少了 51.9% 和 22.9%。项目页面：https://ethannju.github.io/carryon
LLM 集成增益从何而来？分解候选价值、多样性与聚合
LLM 集成增益通常以单一基线为参照进行衡量，但归因于额外候选的价值可能随所用比较基准而变化。我们在四种匹配条件下研究 LLM 聚合器：直接生成（无候选）、单槽位（多槽位接口中仅有一个候选）、重复候选（同一候选重复出现）和多候选（分别生成的候选）。在任一非多样性对照下，总体候选增益（CIV）都可通过代数运算分解为额外候选对比效应（DSV）和候选上下文对比效应（CCV）；这种分解取决于所选对照，但 CIV 不受影响。在 MultiHopRAG 的模型多样性实验（k=2）中，重复差距 Rep=-8.33 个百分点 [-13.25, -3.75] 量化了分别以重复候选和单槽位为参照所测得增益之间的差异。在 FRAMES 上采用更强模型组的匹配扩展实验（n=200，k=3，聚合器输出上限为 4096）中，配对差值 Delta Rep=+9.67 个百分点 [+6.00, +13.50]；在各模型组内，Rep 的符号发生反转（原始模型组为 -6.33；更强模型组为 +3.33）。在 FRAMES 证据聚合中，两种非多样性对照下的候选上下文对比效应均保持显著负值。我们的结果说明，在将增益归因于额外候选之前，集成评估应先明确所用的参照对照。
从字节到威胁：用于恶意软件检测的字节序列 Transformer
现有恶意软件检测方法高度依赖通过对可执行文件进行静态或动态分析而获得的手工设计特征。这些方法需要专门的领域知识、专用分析工具以及耗时的分析过程，因此在面对现代恶意软件日益增长的复杂性和多样性时，其可扩展性和鲁棒性受到限制。因此，直接处理原始字节的方法正受到越来越多的关注，因为原始字节包含丰富的语义和结构信息。然而，对于传统静态方法和基于 CNN 的方法而言，捕捉可执行文件中的长程依赖关系仍然具有挑战性。本文提出 MalwareFormer，这是一种基于 Transformer 的字节级恶意软件检测框架，可直接处理原始字节，无需领域知识或特征提取。MalwareFormer 的准确率达到 98.35%，平衡准确率达到 98.32%，宏平均 F1 分数达到 98.32%，误报率为 1.94%，在所有依赖阈值的分类指标上均优于两种基线方法，表明 Transformer 为字节级恶意软件检测提供了一种强大且可扩展的方法。
SEAR: Self-Evolving Agentic Robotics
Frontier language-model agents can now improve robots on their own: they write control code, test it, and keep what works as skills and memories for the next task. We introduce SEAR (Self-Evolving Agentic Robotics), a framework and benchmark built around two questions. Is the agent really learning, or just trying more often? And does what it learns still help on new tasks, in a new simulator, and on a real robot? The framework runs an agent in three modes: it writes code that becomes the policy (code-as-policy), acts live in the control loop (agent-as-policy), or works as a researcher that fine-tunes a vision-language-action model (auto-research). The benchmark adds controls that separate retained experience from repeated attempts, familiar tasks, privileged simulator state, larger budgets, and luck. Across seven frontier language models, 330 simulated and five physical tasks, and over four years of agent runtime, we highlight three findings. First, the learning curve of a robotic agent depends both on the overall time budget and the task difficulty relative to model capability. Harder tasks make longer sessions worthwhile; on easier tasks, re-rolling short attempts does just as well. Second, control code and shared routines transfer across tasks and simulators, while task-specific solutions do not. On a real robot, we observe a performance gap between agent-designed practice and novel human-designed scenes. Third, different models evolve more effectively in different ways. Some do best acting live, others writing code first. And a text-only model keeps pace with a comparable multimodal one: perception helps with error assessment, but agentic reasoning and tool use can matter more. We release the benchmark and codebase to support future research.
通过多智能体强化学习中的极值寻优控制优化团队行为
在协作式多智能体强化学习（MARL）中，智能体必须学会协调行动，以实现共同目标。有效协调的一个关键指标是行为多样性，即在面对相同观测集合时，智能体执行各具特色但彼此互补的控制策略的潜力。尽管行为多样性能够促进角色专门化和更丰富的联合行为，但其适宜水平高度依赖具体情境和任务，且通常需要付出较高成本进行调节。我们提出 Adaptive Diversity Control（ADiCo），这是一种在训练过程中在线调整行为多样性的双时间尺度框架。在较快的时间尺度上，Diversity Control（DiCo）将系统多样性调节至目标值附近；在较慢的时间尺度上，Extremum Seeking Controller（ESC）仅利用平均回合回报来调整该目标值，无需多样性—性能关系的显式模型或解析梯度。我们在两项协作式 MARL 任务的六种配置上评估了 ADiCo，结果表明它能够维持与任务相适应的多样性水平：当同质化策略更有利时保持较低多样性，而在需要异质化策略时维持较高多样性。通过这种自适应机制，ADiCo 的平均性能达到或超过 DiCo（通过网格搜索得到的最佳多样性目标值）和 Unconstrained DiCo（允许多样性在没有目标调节的情况下自然形成）。这些结果表明，将经典反馈控制融入 MARL 训练，能够通过为多样性目标值的任务特定手动选择提供一种系统化替代方案，实现有效协调。
Self-Evolving Agent Harness
Harness self-evolution revises an agent's software scaffolding, including prompts, memory, workflows, and executable components, while keeping model weights fixed. We formalize a feedback-driven process in which accepted revisions persist across runs. The framework separates update targets from proposal and admission mechanisms. It distinguishes changes to interpreted state from revisions to tools and code, repository-level control logic, and plugin composition. We characterize search through evolutionary optimization and examine its reliability through continual PAC-learning. Under explicit assumptions, the analysis yields an expected generalization bound, a retention bound conditional on historical regression budgets, and a high-probability admission rule using fresh, independent validation data. We examine how persistent harness revisions affect knowledge sharing and organizational workflows, with implications for scientific reliability, physical safety, and institutional accountability. Cases from prior work illustrate model--harness co-design, distributed execution, and plugin reuse. Reliable deployment requires continual validation as task distributions and evaluators change, with independent safeguards for learning, runtime privileges, and consequential actions. We provide a comprehensive 66-page discussion of related work, theory, algorithms, evaluation, applications, and the broader impact of Harness RSI, together with continuously updated code and supplementary materials, at https://github.com/zgcagi/Harness-RSI.
回译依然重要：利用单语数据通过 LLMs 实现低资源机器翻译
预训练大语言模型（LLMs）在零样本和少样本设置下的许多任务中表现出色。对于低资源语言的机器翻译，显而易见的选择是少样本提示和在小规模平行语料集上进行微调。我们提出一个问题：如果还能获得适量的低资源语言单语数据，情况会如何？我们认为，与继续预训练相比，更有效的利用方式是采用 LLM 出现之前的回译（BT）技术。当前经过微调的 LLM 对各语言的单语句子进行翻译，再利用生成的句对训练其反向翻译能力。训练过程中交替使用平行语料集进行更新，以保持学习的稳定性。在奥里亚语和斯瓦希里语上使用 1,000 个平行句对时，BT 在领域内翻译成低资源语言的任务上，比继续预训练高出 7.7 至 16.4 个 XCOMET-XXL 分数点。采用束搜索解码生成中间译文时，它还优于使用 10 倍平行数据的模型。从平行数据中检索得到的上下文示例可进一步提升 BT 的效果。我们还分析了单语文本的来源、质量和数量。在五种低资源语言上，以印地语作为高资源语言对照，并使用两个 3B 骨干模型，BT 相较于仅使用平行语料进行微调，使译入低资源语言的 XCOMET-XXL 分数提高了 16% 至 173%。针对奥里亚语和梵语的人工盲评结果与自动评估指标一致。
Read the Room Before Your Model Generates
Large language models (LLMs) generally rely on sampling temperature to regulate the amount of randomness in their outputs. Mainstream methods for selecting temperature typically involve fixed, heuristic global settings and context or token-level calibration, rather than a geometrically interpretable representation of the communicative scenario. In this work, we introduce a simple and interpretable temperature selection framework, the \textbf{Scenario-Actor}, which adapts decoding to the inferred situational characteristics. Scenario-Actor extracts scenario-relevant structures from Transformer hidden states and determines the temperature from scenario embedding, a structured geometric representation of the communicative setting. Empirical results show that on Llama-3.1-8B-Instruct, Scenario-Actor achieves strong goal-completion performance in interactive social scenarios, significant gains on open-ended instruction following, and competitive performance on multi-turn conversation compared to multiple baselines.
RoboSimStudio：用于快速实现机器人操作任务 Real2Sim 的交互式工具包
准确建模机器人与其操纵物体之间的物理交互十分困难，这涉及接触力学、耦合接触动力学、形变、刚度和摩擦等因素。我们提出了 RoboSimStudio（RSS），这是一款交互式工具包，将求解器、接触模型和物理参数的选择明确化并支持编辑，使人类和编码智能体能够根据观察到的物理行为反复改进仿真。我们基于开放的 Newton 物理仿真系统实现了 RSS，并介绍了人类引导的 real2sim 实验，包括：（1）视觉评估；（2）力反馈；（3）智能体驱动的 Real2Sim2Real。代码、视频及更多信息可在项目网站上获取。
Fast Rates for Offline Q-Learning with KL Regularization
This paper investigates offline Q-learning for finite-horizon Markov decision processes with Kullback-Leibler (KL) regularization. Recent studies have shown that KL regularization can yield fast rates in offline decision-making problems. However, it remains unclear whether Q-learning, which adopts incremental stochastic approximation updates, can achieve such fast rates in the offline setting. We first propose KL-regularized Q-Learning (KLQ), a simple variant of classical Q-learning. By exploiting KL regularization, we prove that KLQ achieves a sample complexity of $\widetilde{O}(1/ε)$ without explicit pessimism. This guarantee, however, has an exponential dependence on the KL regularization parameter and the horizon. To address this limitation, we further propose KL-regularized Pessimistic Q-Learning (KLPQ), which incorporates pessimism into KLQ. We prove that KLPQ retains the same \(\widetilde O(1/ε)\) rate while removing the explicit exponential dependence, thereby further improving the sample complexity. To the best of our knowledge, these results establish the first fast-rate guarantees for offline Q-learning in tabular finite-horizon KL-regularized MDPs.
谁来改进机器人？迈向物理递归自我改进
机器人在任务执行方面的自主性日益增强，但其改进仍主要由人类驱动。本研究探讨物理递归自我改进（Physical RSI）：利用物理交互经验，指导对机器人能力及其改进流程进行持久性更新，从而使后续改进在不同任务中更加有效。Physical RSI 面临观测噪声、连续动力学、高昂的试验成本以及不可逆后果等挑战。我们提出了一个 L0-L5 框架，区分能力层面与元层面的更新，以及任务内与跨任务的增益，并将 L5 专门用于经过独立验证的递归增益。我们考察了围绕运行支撑框架适配和模型训练的现有方法，以及对执行过程和连续更新进行管控的安全与控制机制。我们的分析表明，尽管自我改进已取得显著进展，但所调研的文献尚未展示出符合本框架定义的 Physical RSI。我们确定了可靠反馈、因果归因、安全性保持和基准评测等研究重点，勾勒出一条使机器人在确保安全的同时，自主改进其学习方式的发展路径。Physical RSI 的 GitHub 仓库位于 https://github.com/SAIL-Research-Lab/Physical-RSI。
LIBERO-RIG：视觉-语言-动作模型的硬件设置鲁棒性基准
机器人策略应能在不同部署环境中实现泛化，包括机器人本身的变化：摄像头受到碰撞并重新安装，标定发生漂移，控制器以不同频率运行，末端执行器垫片出现磨损。我们提出 LIBERO-RIG，这是一个仅对机器人硬件和设置施加扰动、同时保持所有 LIBERO 任务不变的基准。该基准涵盖 11 个扰动维度，包括摄像头安装与光学参数、摄像头到机械臂的标定、驱动增益、控制频率、本体感知噪声、基座位姿、桌面高度以及夹爪垫片。每个维度包含 5 个严重程度等级，在四个 LIBERO 套件中共形成 210 种条件。我们使用每种条件下 500 个回合评估了 9 个近期视觉-语言-动作模型，并通过严格的统计检验验证每项发现。汇总成功率从中等严重程度下的 0.932 降至最高严重程度下的 0.509，中等严重程度下为 0.767。性能下降幅度在不同扰动维度和动作接口之间存在显著差异；针对视觉扰动进行训练，并不能缓解那些不会改变摄像头图像的故障。我们将同时发布该基准及其清单，其中规定了每个回合的固定扰动参数。
MFG：多轮反馈引导的分子优化
多目标分子优化是药物发现中的关键过程，旨在修改给定分子，在保持整体结构相似的同时，同时改善多个性质。该过程通常需要在计算或实验反馈的指导下进行迭代式修改。近期，基于大语言模型（LLM）的方法开始探索这种迭代式方法；然而，这些方法并未经过专门训练以利用此类反馈，而现有方法主要聚焦于单轮分子优化。为弥补这一空白，我们提出了多轮反馈引导（MFG）分子优化，这是一种强化学习框架，用于训练LLM利用前几轮的反馈逐步优化分子。MFG引入了一个反馈向量，同时捕捉性质改进和与源分子的相似度，并结合反馈对齐的奖励函数，促进跨轮次的逐步改进。我们在用于多目标分子优化的先进LLM模型$\text{GeLLM}^{3}\text{O}$上应用MFG，并在十项多目标分子优化任务上评估$\text{GeLLM}^{3}\text{O-MFG}$。结果表明，$\text{GeLLM}^{3}\text{O-MFG}$取得了最高的平均相似度约束成功率（$81.50%$），优于基础模型$\text{GeLLM}^{3}\text{O}$（$70.81%$）。
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Reinforcement learning with verifiable rewards (RLVR) relies on costly model-generated responses, motivating larger rollout batches and square-root learning-rate scaling. Reported to approximately preserve progress per sample with one optimizer step per rollout, this rule is less understood in practical multi-step training. We develop a two-clock framework that separates the samples needed to make progress from those consumed before collapse. Under a local quadratic model, the square-root rule preserves first-order drift per sample but not progress: larger batches take fewer, longer updates and lose more to curvature, yielding a learning-rate-dependent critical batch beyond which sample efficiency degrades. A drift-threshold hypothesis predicts a complementary failure clock whose sample count remains approximately invariant along the square-root rule. Controlled GRPO experiments on Qwen2.5-Math-1.5B across a $16\times$ batch range support both predictions. Ratio clipping delays failure, especially for larger batches, but the progress gap persists without it. Widening the clip trades stability for a transient speed gain. The progress gap reappears on another dataset, a general-purpose checkpoint, and a 7B model. Finally, we use the two-clock framework to derive a simple multi-step RLVR schedule: start below the critical batch and switch to a larger batch before failure. Our code is available at: https://github.com/WinstonLiyt/two-clocks-rlvr.
混合推理智能体
我们如何构建一种智能体，使其能够超越人类语言进行思考，同时仍通过语言在外部环境中采取行动？现代 LLM 智能体仍通过文本进行推理和交互，而潜在空间推理虽然提供了高效的内部媒介，却缺乏原生工具访问能力和推理透明度。我们提出 Hybrid Reasoning Agents（HybridAgents），将这两个方向结合起来，使智能体能够在统一的生成过程中动态切换潜在空间推理与基于文本的交互。在架构上，轻量级的 HybridLink 支持文本模式与潜在模式之间的无缝切换，而智能体的连续工作记忆则在多轮交互中无损保留混合上下文。这些设计既保留了集成工具的智能体能力，又使潜在思维可被直接检查。基于这一架构，我们进一步开发了专门用于混合推理的后训练算法：HybridSFT 通过教会骨干模型与 HybridLink 协同工作，稳定集成工具的混合生成过程；随后，HybridRL 通过学习何时在潜在空间中思考、何时通过文本采取行动，进一步增强推理能力。我们在涵盖数学、科学、医学、搜索和智能体推理的 11 项基准测试上，对 3 种模型规模的 HybridAgent 进行了评估。与涵盖文本方法和潜在空间方法的前沿 LLM 智能体及智能体框架相比，HybridAgent 持续实现 10.4% 的性能提升，同时将 token 用量减少 35.5%–54.7%，将推理速度提升至 1.8–2.6 倍，并将成本降至原来的 1/2.7–1/3.7。代码和数据可在 https://github.com/togethercomputer/HybridAgent 获取。
AesCode：采用解耦跨模态奖励的审美代码生成
将信息丰富的视觉产物（如幻灯片、海报和仪表板）生成为代码颇具吸引力，因为输出具有结构化、可编辑且可验证的特点。然而，代码模型无法看到其布局和配色选择在画布上的整体呈现，这往往限制了空间规划能力和审美质量。图像生成器擅长视觉设计，但可能错误渲染用户要求的内容，因此其输出不适合作为直接复现的可靠目标。为此，我们提出 AesCode：在内容提示的基础上生成代码，同时使用由同一提示生成的图像作为审美指导。具体而言，AesCode 将目标表示为设计图，以描述整个画布，并使每个属性都具备可追溯性。基于该设计图，我们推导出互补的跨模态奖励：确定性验证器对可从代码和渲染结果中解析的属性进行评分，而 VLM 评审器则使用针对样本定制的视觉图评分标准（Visual Graph Rubric，VGR），依据图中的元素和关系评估不可解析的属性。我们通过带有按通道归一化机制的强化学习优化这些解耦奖励，从而共同提升空间规划、审美质量和可验证的正确性。为评估这一设定，我们构建了一个基准，分别对可验证的正确性和视觉质量进行评分，其中视觉评分与人类判断高度一致。我们发现，参考图像能够显著提升现有模型生成代码的视觉质量；消融实验表明，AesCode 从参考图像中获益，不仅因为将其作为模型输入，也因为将其作为视觉奖励的来源。与使用相同参考图像、规模相当的 Qwen3-VL 基线相比，AesCode-8B 和 AesCode-32B 的视觉质量分别提高了 31.1 和 22.4 个百分点，达到与 GPT-5.5 和 Claude Opus 4.8 等闭源前沿模型相当的评分。
DoubtLess：无需训练的高效推理对比解码
推理模型通过较长的思维链（CoT）取得强劲性能，但通常会使用超出解题所需的词元数量。现有的 CoT 缩短方法需要针对每个模型进行额外训练、向模型的隐藏状态添加固定的引导向量，或采用提前停止、禁止使用“wait”等词语的解码启发式方法，而这些方法可能会降低准确率。我们提出 DoubtLess，这是一种无需训练的解码方法，通过一个小得多的推理模型引导大型模型生成更简洁的内容。小模型会读取大型模型截至当前的 CoT 两次：一次被提示要简洁（简洁思考者），另一次被提示要详细（详细思考者）；然后将其两次 logit 向量之差乘以一个强度系数，并在 CoT 的每一步将结果加到大型模型的 logits 上。在涵盖竞赛数学、研究生水平科学和竞赛编程的七个基准测试中，DoubtLess 在准确率不变的情况下将 Qwen3-32B 的 CoT 缩短了 31%，优于五种推理时基线方法。我们还表明，在一个自调试编码智能体中，DoubtLess 在任务表现不变的情况下，将每轮思考词元数减少了 20%。在另外两个模型系列上，它同样实现了准确率不变的泛化效果。与基于训练的压缩方法结合后，它还能进一步缩短已经接受简洁性训练的模型的 CoT。消融实验和行为分析表明，DoubtLess 减少了重复检查，而大部分词元节省发生在 CoT 中首次出现正确答案之后。我们的代码可访问：https://github.com/leoluolol/DoubtLess。
Tev：通过稠密进展奖励扩展长时域智能体环境
长时域智能体凭借能够自主执行具有经济价值的任务而日益受到关注，其工作时长可从数小时持续到数天。这一能力对于自动化发现和递归自我改进（RSI）至关重要。然而，开源模型在长时域任务上仍然表现不佳，主要原因在于缺乏训练数据和可行的训练方案，而同时扩展这两者十分困难：长而复杂的任务难以整理和验证，且其奖励通常十分稀疏。我们同时解决了这两个问题。首先，我们推出了 Tev-Gym，这是首个具备可验证、稠密且渐进式奖励的长时域智能体训练数据集，涵盖 7 个领域的 1,170 个已验证任务环境。该数据集采用“潜在世界优先”的方法构建：首先建立一个潜在世界，即对任务领域、工作流以及每一步之后预期状态的完整且正确的隐藏规范。随后，每个任务都根据该规范逐步呈现为面向智能体的环境，从而实现可控的复杂度和自然的进度指标。其次，我们将这一指标转化为训练方案：通过进度势能奖励塑形（PPRS），将进度转化为每一步的稠密奖励，从而提高训练效率，并使原本难以训练的任务变得可训练。采用该方案训练得到的 Tev-27B，在 Agents' Last Exam 的计算与数学科学领域（ALE-CM）上取得了显著提升，在 Pass@5 指标上达到 GPT-6 Astra 和 Claude Opus 5 的水平。尽管仅使用与 ALE 相关的数据进行训练，它仍能泛化到 Terminal-Bench（TB）3.0 和 4.0 子集，超过 GLM 5.2 和 Gemini 3.7 Flash，并在 TB 2.1 等中等时域任务上达到 Claude Opus 4.8 的性能水平。
质量感知 VLA 预训练中的关键因素：基准与实证研究
在视觉-语言-动作（VLA）预训练过程中，应如何利用示范质量来提升目标任务微调后的性能？我们使用 5,000 条自然产生的次优人类示范和 24 个目标任务，在不同奖励定义和标签粒度下比较了加权、过滤和条件化方法。对于每个 VLA，我们确保各方法使用相同的示范和训练预算。其他比较还考察了预训练数据规模，以及质量标签在微调和推理过程中的作用。在三个 VLA 上，我们发现：感知接近过程的回合级条件化相较于普通行为克隆提高了平均成功率；平均而言，条件化和过滤分别更适合回合级标签和片段级标签，但具体模型上也会出现相反的结果；在条件化预训练之后，无论推理时是否使用标签，采用固定标签进行微调都能提高平均成功率。我们推出了 AXIS-Bench，以支持这些受控比较。该基准基于众包仿真示范构建，提供了记录的物体状态和接触状态，可用于在共享轨迹上重新计算质量标签。可回放轨迹支持与工作空间对齐的渲染，以及用户自定义的真实世界目标任务。在我们的真实世界实验中，仿真预训练将成功率从 9.6% 提升至 31.7%。项目页面：https://axis-bench.github.io/。
ChunkAct：面向智能体机器人技术的动作分块
智能体机器人技术将大语言模型（LLM）智能体置于机器人控制回路中，使其在记忆的指导下组合感知、运动和视觉-语言-动作（VLA）工具，从而无需重新训练即可泛化到新任务。然而，这种通用性以高昂的效率代价为前提。每个原语都需要 LLM 基于完整交互历史进行一轮推理，因此单次任务执行的成本随原语数量增加而增长。我们发现，这些推理大多是冗余的：一旦选定子目标，其原语就会遵循记忆中已规定的常规流程。我们提出了 ChunkAct，将动作分块引入智能体机器人技术。在线运行时，一次调用即可启动一个由多个原语串联而成的动作块，该动作块自主执行，仅在失败时交回控制权。离线阶段，ChunkAct 将记忆编译为这些动作块，因此测试时的执行无需依赖记忆，规划器仅用于需要推理的决策。由此，LLM 的计算量随决策数量而非原语数量增长。在 LIBERO-Pro 上，ChunkAct 的任务成功率较智能体机器人技术领域的最先进方法提升了 5.0 个百分点，同时所需的 LLM 调用次数、输入词元数和输出词元数分别降至其约 1/2.9、1/4.4 和 1/2.3。