全部动态
本页 40 条10月9日 周五
ttok 1.0
Release: ttok 1.0 I released ttok 0.4 , ran uv tool upgrade ttok , piped a file into the new version... and realized that it was defaulting to the GPT-4 tokenizer when it should very clearly default to GPT-5/GPT-6 instead! I figured switching the default was a reasonable excuse to finally ship a 1.0. OpenAI haven't actually confirmed that GPT-6 uses the same tokenizer as the GPT-5 family yet - there's an angry issue about it - but I found this commit by William Liu which reports on an experiment he ran confirming that the tokenizers are likely the same: All seven GPT models (5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) report 44,794 tokens and match each other on every one of the 31 fixtures. GPT-6 introduces no input-count change on this corpus. Tags: projects , ai , openai , generative-ai , llms , tokenization
使用函数梯度引导语言模型学习概率逻辑程序
声明式逻辑程序通过将依赖关系表示为加权组合规则，为编码关系结构和神经符号推理提供了强大且可解释的抽象。然而，从数据中归纳逻辑程序在根本上仍然十分困难，其瓶颈在于符号搜索空间的组合爆炸。近年来，LLM 已成为强大的假设生成器，但单独使用时，它们缺乏系统归纳推理所需的能力，难以可靠地合成能够拟合复杂关系分布的有效程序。我们提出 grasp（Gradient-boosted Synthesis of Probabilistic logic programs），一种神经符号框架，将关系结构学习建模为函数梯度提升，其中弱学习器是一阶规则，而难以处理的内层搜索则交由 LLM 提议预言机完成。我们在四个关系基准上评估了 grasp，涵盖分子毒性预测（Tox21）、诱变性和引文匹配（Cora），结果表明，与纯符号、神经网络和基于 LLM 的基线方法相比，grasp 取得了更好的性能，同时生成了具有可解释性的加权规则集。通过以梯度引导的 LLM 假设生成取代组合搜索，grasp 在不牺牲符号输出透明性的前提下，保留了提升方法的理论保证。
深入观察 LLM：小世界连接性作为推理性能的标志
理解大型语言模型（LLM）的推理能力，需要超越行为表现，考察推理能力如何体现在其内部组织结构中。受神经科学研究发现的启发——功能性脑网络中更强的小世界组织与更高的智力相关——我们将小世界连接性作为 LLM 推理能力的结构性标志进行研究。我们根据注意力头激活相似性构建功能图，发现更高的小世界指数（SWI）能够刻画局部聚类和较短的全局路径，并且在不同模型和训练检查点中始终与更好的流体推理性能相关。由于局部聚类是小世界组织的核心，我们进一步考察对模型性能重要的注意力头如何在社区内部及社区之间建立连接。我们发现，这些注意力头往往有更大比例的连接权重位于自身社区内（核心分数较高），并且其跨社区权重分布更加集中（桥接分数较低）。这些观察结果促使我们提出如下假设：较高的核心分数和较低的桥接分数可作为注意力头对推理能力重要性的结构性指标。我们通过剪枝验证了这一假设，并提出 Small-World Allocation（SWA），一种由这些分数引导的分层稀疏分配方法。在六个 LLM 上，与其他分配策略相比，SWA 能更好地保持小世界组织和模型性能，使 WikiText 困惑度最高降低 20%。总的来说，这些发现表明，小世界功能连接性是 LLM 推理性能的一种可测量标志，为行为评估提供了结构性视角上的补充。
A Structural Theory of Cognitive Representation and Problem Solving,Contexts, Invariance, and the Knowledge Space
Learning and problem solving depend critically on the structure of internal representations. While many modern data-driven artificial systems achieve strong predictive performance, their learned representations often lack explicit structure for expressing abstraction, invariance, and task-relevant regularities. We propose a minimal structural framework in which representational operations relevant to problem solving, such as context formation, invariance recognition, representative selection, abstraction, and procedural reuse, are made explicit. The central notion is that of a \emph{context}, formalized as a partition of a subset of an underlying state space, which fixes the distinctions, granularity, and form in which a problem can be posed. Within this setting, invariance recognition and representative selection are treated as fundamental representational operations. The framework is realized as a Knowledge Space composed of two coupled graph structures: a Concept Graph that hosts constructed and refined concepts, and a Procedure Graph that encodes typed operations over representations. Together, these structures provide a minimal cognitive-representational algebra for operating on representations without assuming sophisticated inference, learning, control, perception, or motor mechanisms. Using simple illustrative examples and a finite weak-solver demonstration, we show that appropriate representational organization can simplify the form and scope of admissible regularities, even when problem solving is carried out by a fixed and limited solver. The contribution of the paper is structural rather than algorithmic: it identifies representational prerequisites for abstraction, invariance, and procedural reuse in problem solving, and states explicit success and failure conditions for the weak-solver setting.
无规则的裁决：诊断与审计 LLM 合规系统对监管规则的敏感性
大型语言模型合规系统的部署建立在这样一个假设之上：裁决取决于其接收到的监管规则。我们在五个模型和20个监管及平台政策领域中直接检验这一点：在保持案例不变的情况下，删除、替换或否定起支配作用的规则，并检查裁决是否发生变化（OCS），或模型对合规性的内部表征是否发生任何偏移（ICS-delta）。两者的变化都不大：对于所提供规则的重大扰动，模型的裁决通常保持不变；而在这里采用其原生分类体系的自定义规则改编版本进行评估的 guard model，是五个模型中对规则最不敏感、准确率也最低的模型，准确率仅略高于随机水平（51%，而通用模型为90%–92%）。这更多反映了案例较为容易，而非模型普遍忽视规则：在删除规则会使模型此前正确的预测发生改变的案例中，模型能够密切跟踪规则。无论是改进提示，还是直接干预模型的内部表征，都无法弥合这一差距。仅凭准确率，无法证明合规裁决是以所提供的规则为依据的。
先验还是反馈？LLM 在适应神经算子时使用了什么
LLM 科学代理是否仅依赖其初始任务上下文，还是会根据实验反馈调整决策？我们在神经算子适应这一场景中研究了这一问题：在试验预算有限的情况下，大语言模型（LLM）选择微调配置。在偏微分方程（PDE）族内部及不同 PDE 族之间的迁移中，几乎在每一组匹配比较中，LLM 都取得了低于随机搜索和贝叶斯优化的留出测试 nRMSE。仅凭最终性能无法区分其中的作用机制，因此我们通过受控干预对每种归因进行了验证。在观察到任何验证分数之前，LLM 的首个配置已经在相应的随机搜索候选池中排名靠前，表明其具有有用的初始偏置。一项互补的冷启动干预显示，所选基础学习率会随 PDE 描述而变化。反馈可用后，在已评估配置之间重新分配验证分数会在所有测试案例中改变下一次提议，而保持数值不变的改写则不会产生可比的总体效应。这些干预表明，LLM 在决策层面的行为会响应给定任务和观测结果，说明它将依赖任务的先验与对实验反馈的敏感性结合起来。
用于治疗效应估计的预测驱动数据融合
随机对照试验（RCT）能够在不存在混杂的情况下识别治疗效应，但样本量通常较小；观察性研究（OBS）的样本量较大，却可能存在混杂。已有许多估计量将小规模 RCT 与大规模 OBS 相结合，用于估计平均治疗效应（ATE）和条件平均治疗效应（CATE）。然而，现有的 ATE 估计量要么对 OBS 作出假设，要么未能充分借助 OBS 提供的信息。相比 ATE，CATE 的研究较少。现有的 CATE 方法要么假设 OBS 中不存在混杂，要么依赖于混杂函数模型，要么以引入偏差为代价换取更低的方差。因此，我们提出一个框架：在不对 OBS 作特殊假设的情况下，通过保持基于 RCT 的估计无偏，同时借助大规模 OBS 提高估计精度，从而融合 OBS 与 RCT。基于这一原则，我们构建了 ATE 估计量 AIPW-Fusion，该估计量具有闭式权重和置信区间；此外还构建了两个 CATE 学习器 DR-Fusion 和 R-Fusion。实验结果验证了我们的发现。
RiCo：通过局部接触推理进行刚体交互的神经模拟
准确模拟刚体交互对于构建具有预测能力的物理世界模型至关重要。尽管近年来物体动力学建模取得了进展，但如何捕捉表面之间的局部接触对物体运动的影响仍然颇具挑战。端到端世界模型能够预测整个场景或物体之间的交互，但在实际情况下，刚体接触本质上是局部的，只有邻近表面才能直接交换接触力。受此启发，我们提出刚体接触推理（Rigid-body Contact Reasoning，RiCo），通过稀疏的接触表面点邻域表示物体之间的交互。RiCo将每个点的状态与邻近表面的相对几何信息、运动状态和物理属性相结合，然后在物体的各个点之间进行推理，以确定这些局部接触如何共同影响物体的运动。通过将跨物体推理限制在邻近表面之间，同时在每个刚体内部传播接触信息，RiCo无需建模场景中每一对点，就能保留细粒度的交互细节。这些特性使RiCo具备更高的准确性和接触保真度。在MOVi-benchmark上的实验表明，与基线方法相比，RiCo将100帧位置误差和方向误差分别降低了31%–35%和约38%。此外，RiCo还实现了较高的接触保真度，相对于真实值的穿透时间差和平均深度差分别为11.0%和2.22毫米。RiCo还能够以零样本方式从小规模训练场景泛化到包含270个物体的场景。我们在真实世界中开展的多球碰撞实验进一步为从仿真到现实的迁移提供了初步证据。
ContiLNN：利用 Liquid Neural Networks 缓解医学图像恢复中的切片采样不连续性
解剖连续性为医学图像恢复提供了互补信息，但利用这种信息需要考虑局部解剖结构以及切片采样的变化。我们提出 ContiLNN，在保留平面内特征提取能力的同时，通过双向闭式连续时间（Bi-CfC）模块增强二维恢复骨干网络，以进行跨切片建模。切片索引间隔调制由局部特征和隐藏状态决定的门控，使传播能够响应采样变化，而无需进行数值 ODE 积分。参考引导的一致性约束对齐跨切片强度的一阶和二阶差分，以保留解剖结构变化；从冻结骨干网络进行蒸馏则有助于保持平面内保真度。在五个训练随机种子下，相较于 Restore-RWKV，ContiLNN 在 CT 去噪、MRI 超分辨率和低计数 PET 恢复任务上的平均 PSNR 分别提升 0.1907、1.0176 和 1.2482 dB，且三个任务的 RMSE 均更低。CT 结果仅针对一名留出患者进行描述。PET 消融实验表明，有序传播带来的收益超越了额外逐点容量的作用。在连续采样训练条件下，在所有测试的采样条件中，Bi-CfC 相较于参数量和计算开销相近的 Bi-GRU 均实现了更高的保真度。匹配的七切片性能分析显示，与 Bi-GRU 相比，Bi-CfC 的延迟降低 52.8%，GPU 峰值显存占用降低 57.0%。混合间隔训练提升了两种算子在稀疏和不规则上下文中的性能，但不同指标和上下文下并不存在统一的优劣排序。使用更少训练患者以及第二个骨干网络进行的实验进一步支持了其数据效率和骨干网络兼容性。
AI 智能体能否凭学习登顶？评估长期运行的游戏智能体竞赛中的启发式学习
对抗性游戏推动了从启发式搜索到强化学习的发展，但从有限样本中学习并适应策略仍然充满挑战。AI 智能体提供了另一种途径：将游戏经验转化为对可执行策略的修订。在启发式学习（HL）的基础上，我们形式化提出对抗性启发式学习（AHL）这一范式：在保持模型权重不变的同时，利用 AI 智能体作为学习引擎，改进游戏策略及其配套软件。我们推出 AAArena，这是一个包含 12 款真实对抗性游戏和 1,920 个存档人类程序的基准，其评估协议仿照现实世界的游戏竞赛。智能体需要理解规则、选择对手、分析比赛回放，并修改游戏智能体，以便在固定的对局和评估预算内取得最高排名。我们评估了 \val{completedmodels} 个模型与工具链配置：Opus5.5 搭配 Claude Code 赢得了 6 枚金牌，而在其余 6 个人类排行榜中，没有任何受评估配置能够登顶。总体而言，在规则描述更复杂的游戏中，性能通常较弱。进一步实验表明，对手选择和密集反馈有助于策略改进；智能体既能从自身比赛的同策略回放中学习，也能从其他玩家比赛的异策略回放中学习。这些结果凸显了 HL 在对抗性游戏中的潜力，并揭示了游戏理解、策略实现以及长周期策略开发方面持续存在的挑战。
克服先验壁垒：长尾分布下的监督微调
监督微调（SFT）将预训练大型语言模型（LLM）适配到下游任务，但任务所需的概念可能获得程度大不相同的预训练支持。高频概念更有可能得到充分学习，而稀有概念的表征可能仍然较弱。我们提出一种名为先验壁垒的新概念，用于量化预训练模型对竞争概念相对于目标概念的支持程度。我们观察到，先验壁垒呈现长尾分布，使头部概念和尾部概念在进行 SFT 时处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导出长尾先验壁垒下 SFT 的预测风险界，明确刻画先验壁垒与累积的 SFT 证据如何共同决定预测性能。受这种依赖先验壁垒的需求启发，我们提出 PASS，一种自适应的 SFT 指令选择方法。该方法构建源自参考数据的概念，并估计每条指令所提供的区分性证据，然后将选择预算自适应地分配给在当前选择下覆盖仍然不足的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些地方需要额外监督。实验表明，在四种骨干模型—预算设置下，我们的方法始终优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。
为视觉语言模型中的空间推理提炼路由式 3D 特权
空间推理一直是视觉语言模型（VLM）的薄弱环节，因为 RGB 输入无法直接提供几何证据。现有方法要么在推理时将 3D 信息注入模型，付出架构和延迟成本；要么使用结果奖励进行训练，而这种奖励只监督最终答案。空间错误源于感知：误判深度或方向只能通过场景的真实几何结构加以纠正，而空间训练语料库的 3D 扫描数据源已经提供了这种几何信息。我们提出 GPD（Geometry-Privileged Distillation），在策略内自蒸馏（OPSD）中将几何证据作为特权信息。对于每个问题，我们将深度、语义和鸟瞰图（BEV）线索渲染为紧凑文本，并与参考答案一同路由给教师模型；仅针对错误轨迹应用特权 KL 散度，以增强 GRPO，而部署的模型仍仅使用 RGB 输入。在 4B 主干模型上，GPD 在 VSI-Bench 上达到 57.1，并在 MindCube、SPARBench、MMSI-Bench 和 ViewSpatial 上取得 37.6 的平均分，在各项空间推理基准上均优于 GRPO 和答案特权 OPSD。消融实验验证了 3D 特权与答案特权的互补性、基于问题条件的路由相较于完整上下文注入的优势，以及将蒸馏限制在错误轨迹上的益处。
准确但不谦逊：在知识冲突下评估LLM智能体的认识论谦逊
当检索到的证据与智能体先前的信念相矛盾时，它会修正答案、承认不确定性，还是坚持错误结论？现有对智能体系统的评估主要关注任务成功，对智能体如何处理此类冲突所提供的洞见十分有限。我们提出从认识论谦逊（EH）这一维度评估智能体：即智能体在执行任务期间识别、据此采取行动并传达不确定性的意愿。我们通过三个轨迹层面的行为维度对EH进行操作化定义：Identify、Solve和Escalate（ISE）。我们考察知识冲突，即骨干语言模型的参数化知识与其遇到的证据相矛盾，或两个上下文来源彼此不一致的情形，并据此评估两种冲突设置：（1）受控冲突；（2）多步骤智能体执行过程中自然发生的冲突；每种设置均配有匹配的无冲突对照。通过评估四个智能体，我们发现，更高的任务准确率并不一定对应更高的认识论谦逊：一些高准确率配置能够在执行过程中识别冲突，却不会在错误的最终答案中传达尚未解决的不确定性。进一步的轨迹层面分析表明，智能体经常在执行早期步骤中检测到冲突，却未能在后续步骤中持续处理或解决这些冲突。最后，我们表明，模型层面的干预可以提升EH，但往往会以任务准确率为代价，这表明认识论谦逊源于骨干模型、智能体框架与评估环境之间的交互。
引用但未查阅：法律思维链忠实性的反事实审计
大型语言模型越来越多地通过指出判决背后的法条或判例来为法律决定提供理由，并将此视为该决定源于该法律依据的证据。我们对此进行直接检验：在保持案件事实不变的情况下，将模型所指出的法律依据替换为一个无关的依据，并从模型的隐藏状态中解码其不断演变的判决。在七个开放权重模型（8B-70B）和涵盖司法与合同推理的四个基准测试中，当明确要求模型通过指出所适用的法律依据来证明判决时，模型在66.7%-100%的生成结果中指出了正确依据；然而，随着法律依据变化而改变判决的情况则远不稳定：在CaseHOLD上为0.0%-21.7%，在ECHR和SCOTUS上为30.0%-76.7%，在ContractNLI上为43.3%-50.0%。无论是扩大模型规模，还是采用专门构建的法律推理模型（尽力复现的LoRA模型；第6节），都无法弥合这一差距。对五个核心模型进行的红队评估发现，模型遵从隐藏在案件事实中的对抗性指令的比例（73.3%-96.4%）远高于其对判决替换的敏感度，而且这一现象在不同模型排名中无一例外地成立。因此，指出法律依据并不能很好地作为判决依赖该依据的代理指标；与此同时，同一判决仍会分别受到对抗性操纵的影响。两项发现均在排除提示措辞噪声和混杂采样因素的检验中得到复现，并且直接关系到将生成式法律解释用作合规或审计凭证的问题。
HANS：用于噪声混合文档解析的手写答题纸数据集
智能阅卷与自动评分技术是智慧教育的关键基础设施。然而，现有的文档解析和手写识别基准主要针对结构良好的印刷文档或孤立的数学表达式设计，缺乏能够捕捉学生答题纸固有复杂特征的数据集，包括多行推导过程、文本与数学公式的异构混合，以及划线等噪声伪影。为弥补这一空白，我们提出了 HANS，这是首个专为真实教育场景构建的数据集，涵盖数学表达式、自然语言文本、手绘表格，以及包括修改和删划在内的多种噪声模式，并配有细粒度标注，为鲁棒识别研究奠定了可靠基础。在 HANS 的基础上，我们提出了 NA-GOT，这是一种端到端框架，通过在特征层运行的轻量级噪声抑制模块，并结合融入解码阶段的噪声感知注意力机制，实现两阶段噪声抑制。实验结果表明，HANS 对现有方法构成了重大挑战，而 NA-GOT 在答题过程识别的准确性和稳定性方面均取得了显著提升。该数据集将在论文发表后公开。
OnTrack：通过流式结构感知最优传输实时监控并干预 LLM 智能体轨迹
智能体已被部署在从行程规划器、股票交易到 IT 事件分诊等各种应用中。在大多数情况下，LLM 智能体几乎不受基于规则的安全防护约束而自主运行，因而可能由于不可逆操作引发成本和安全问题。近期研究要么使用安全防护智能体监控行为，要么在事后评估日志。前者会为每一步都增加成本和延迟；后者则要等运行结束后才能给出结论，此时 token 已被消耗，损害也已造成。为解决这一问题，我们提出 OnTrack，这是一种流式监控机制，将智能体的步骤及其依赖关系与记录的成功运行进行比较，从而以每步约一毫秒的速度向用户发出警报或阻止智能体运行。我们在三种数据访问权限逐渐降低的情形下研究这一问题：完整参考访问权限（历史运行记录和工具模式）、中等访问权限（仅工具模式）以及无先验知识（仅有生成的步骤日志）。随着数据访问权限降低，OnTrack 监控能力的预期也会下降，其检测范围从计划违规扩展到识别循环、停滞和重复工具调用。最后，我们使用 SWE-bench 轨迹对 OnTrack 进行评估。仅依据前 8 个步骤，我们的方法对失败轨迹的排序低于成功轨迹，其效果优于基于内容相似度的方法（+0.057 AUROC）。采用中止策略后，对于原本会在失败运行中消耗的计算资源，我们节省了约 18%；在被中断的运行中，有 83% 实际上正走向失败（每 6 次中止中有 5 次判断正确）。
ARC: A Reasoning Recipe for Robot Foundation Models
The prevailing approach to improving robot foundation models (RFMs) relies on larger models, more robot demonstrations, and costly training at scale. We show that there exists an effective and efficient complementary approach: the right reasoning recipe can substantially improve the zero-shot task performance of existing state-of-the-art RFMs. We refer to this recipe as ARC. It consists of three key ingredients: a reasoning trace, a scalable automatic labeling pipeline, and a strategy for adapting pretrained RFMs to use these traces for control. First, we find that effective reasoning traces should be grounded in the robot's next action and explain its causal structure: why the action is appropriate and what effect it should produce. Second, we show that these traces can be generated automatically from existing demonstrations, enabling us to construct ARC-Trace-DROID from DROID without collecting new robot data. Third, we show how state-of-the-art VLAs such as $π_{0.5}$ and WAMs such as Cosmos3-Nano-Policy can learn to use these traces for control, with fine-tuning and inference tailored to each model's architecture and capabilities. Using ARC, we obtain gains in zero-shot RFM performance that, to our knowledge, are unprecedented without additional robot demonstrations or foundation-scale training. The adapted models establish a new state of the art on RoboLab-120 and MolmoSpaces, with gains of up to 50 percentage points on RoboLab-Reasoning-50. On real robots, ARC improves $π_{0.5}$'s task success by 82.2 percentage points. Project website: https://arc-robot-reasoning.github.io/
GeoReform：面向多模态几何问题求解的反思式形式化演化
多模态大语言模型（MLLM）往往难以识别和利用图示中的几何关系。近期方法通过将几何实体、关系和约束转换为显式的文本表示，来应对这一挑战。然而，有效的形式化并非易事：在 Geometry3K 上，结构注入在 200 个示例中纠正了 28 个错误，却引入了 13 个新错误。冗余关系可能分散模型的注意力，而对图中元素的含糊指代则可能导致模型错误地应用约束。这表明，关键挑战不仅在于提取更多几何事实，还在于将其组织成有助于后续推理的表示。为充分发挥形式化的潜力，我们进一步提出 GeoReform——一种反思式形式化演化框架，将形式化视为可优化的策略，而非固定的解析器输出。GeoReform 执行完整的推理流程，收集失败的推理轨迹，诊断当前表示中的缺陷，并对策略进行变异，从而更好地选择、定位、分组和呈现几何实体、关系、约束及目标。在 Geometry3K 上，GeoReform 将 Qwen3VL-2B 的准确率从 42.0\% 提升至 56.0\%。在几何推理基准上的大量实验和分析表明，有效的形式化对于提升多模态几何推理能力至关重要。
HRIL：通过高阶张量建模学习多模态协同
自监督多模态表示学习已在多个领域取得显著成功，但由于跨模态交互的复杂性，捕捉协同信息仍然具有挑战性。不同于存在于各个模态之间的共享信息，协同信息只有在多个模态的联合配置下才能产生与任务相关的信号，且无法从任何单一模态中恢复。本文聚焦于如何在多模态表示中保留这类协同信号的信息容量。我们的关键观察是，协同信息体现在模态之间的高阶统计依赖关系中，而这为显式建模联合交互提供了一个有原则的目标。受此启发，我们提出高阶表示与信息学习（Higher-order Representation and Information Learning，HRIL），在模态嵌入上构建经验交叉矩张量，以表示多路交互。HRIL采用Tucker分解获得核心张量，并结合协同感知正则化项，防止能量集中，从而保留用于捕捉协同信息的高阶耦合容量。在受控协同任务和真实世界基准数据集上的实验表明，与现有多模态对比学习方法相比，HRIL取得了稳定的性能提升，尤其在由协同交互主导的任务上表现出显著增益。代码已发布于 https://github.com/brightest66/HRIL】【。
SpaceFlow：局部可控的 3D 生成
当前的 3D 生成方法缺乏明确的局部控制：几何形状的遵循程度通常由全局控制强度定义，而外观无法进行局部指定。我们提出了 SpaceFlow，一种无需训练的局部可控 3D 生成流程，可根据文本描述和几何基元集合生成 3D 内容。每个基元作为物体部件的代理，并被分配一个局部控制等级，使用户能够指定各区域应严格遵循输入形状，还是允许生成式补全。在结构生成过程中，我们在生成流过程中施加这些空间约束。对于外观合成，我们对生成的结构进行分割，并将其与几何基元进行匹配。每个生成部件仅根据其所分配的文本或图像提示进行条件化，从而限制部件之间的信息泄漏。区域几何指标表明，SpaceFlow 能够在高控制区域保留指定几何形状，并在低控制区域实现合理的形状变化。用户研究进一步表明，在几何保真度与生成自由度之间取得的平衡，在整体质量方面仍具有竞争力。在固定几何结构上评估外观时，基于文本条件的路由在提示一致性以及颜色与材质准确性方面达到了最先进的水平。定性结果还展示了图像提示的局部路由。项目页面位于 SpaceFlow3D.github.io】【。
LeWAM：一种基于扩散引导式MPC的JEPA世界动作模型
世界动作模型（WAM）通常从基于重建的表征中预测动作和未来观测，而这种表征包含噪声和冗余信息，可能使下游预测变得复杂。我们提出LeWAM，这是一种双向Transformer，能够在通过四种模式进行端到端训练的无解码器JEPA潜变量上，实现前向动力学、后向动力学、逆动力学和策略预测。我们观察到以下优势：1）对齐：线性探针从LeWAM潜变量中读取机器人和物体状态的效果优于从常规Le World Model（仅进行前向预测的JEPA世界模型）中读取的效果；同时，该潜变量对视觉干扰因素的忽略程度与LeWM相当，且显著优于基于重建的WAM。2）执行：在闭环评估中，LeWAM的表现与使用相同编码器、规模匹配的常规流匹配策略相当，同时还能提供世界模型。3）规划：使用WAM进行规划时，对原始动作进行采样会使MPC利用动力学模型的不准确性；而在策略头的噪声空间中进行规划，则能改善这些WAM的闭环性能。
Searching for "Harmful Refusal": A Psychometric Audit of an AI Safety Benchmark
Safety benchmarks typically report one overall score for a suite of datasets, each of which may target one or more safety-related attributes, so models with similar overall scores can have very different attribute profiles. Comparing models is more tractable at the level of individual attributes, yet it is often unclear whether even a single dataset's scores isolate any single attribute. One plausible candidate for such an attribute is harmful refusal, a model's tendency to refuse dangerous or policy-violating prompts. We examine whether it constitutes a single, measurable attribute in HELM Safety. Using a construct validity framework that stipulates that an attribute must exist before a test can measure it, we start with HELM Safety's four datasets that might plausibly target harmful refusal, but find that three are saturated. We subject the remaining dataset, HarmBench, to two psychometric tests to determine if a single attribute like harmful refusal could stand behind its score. First, multidimensional item response theory modeling strongly suggests that HarmBench does not measure a singular attribute. Second, a differential item functioning analysis finds items where models from different developers with the same refusal ability score differently. These flags largely disappear under scope-specific matching, a pattern consistent with aggregation effects but not sufficient to rule out domain-specific developer differences. Zooming out, HarmBench collapses distinct harm behaviors into one score, and the overall HELM safety aggregate further collapses HarmBench and scores from other datasets into a single top-line number. Any safety score that averages over datasets and items can hide saturation and conflate behaviors this way. We argue that a score should earn its single-attribute reading before models are compared with it.
利用价值表征预测对齐泛化
LLM 开发者通过后训练，使模型表现出亲社会价值观和行为特征，并将其列举在对齐目标中。然而，尽管近期的后训练发展已经使模型在对齐评测中取得高分，但在狭窄行为集合上训练模型，仍会以出人意料的方式影响其在未见过的情境和环境中的行为。在本文中，我们确立了对齐泛化预测这一任务，即预测将模型微调为遵循某一给定价值观后，其行为在广泛的留出价值观范围内会如何变化。我们对现代对齐目标中发现的 66 种价值观的对齐泛化效应进行了大规模分析，并在对齐泛化预测任务上对表征技术进行了基准测试。我们发现，基于模型在上下文中践行价值观时的激活所构建的表征，显著优于基于价值观文本描述的方法。具体而言，表现最佳的基于激活的方法与我们的泛化矩阵达到 0.45 的相关性，而基于描述的基线方法仅为 0.05。随后，我们通过利用能够预测对齐泛化的表征来衡量多价值对齐目标中各价值观之间的相似程度，展示了这些表征在下游任务中的适用性；我们发现，这种相似程度与模型鲁棒性存在显著相关性。最后，我们展示了关于一种共享的、独立于模型的价值空间的初步证据，并据此构建了首个以经验泛化动态为基础的 LLM 价值观分类体系。我们的工作证明了研究 LLM 中价值观泛化的重要性，以及将其应用于更具经验性的模型行为设计与训练的价值。
MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
Generating realistic human-object interactions (HOI) in complex 3D scenes requires two complementary capabilities: reasoning about interaction feasibility in the environment and synthesizing realistic human-object motion. However, supervision for these capabilities is rarely available jointly at scale. Human-scene datasets provide rich information about environment-aware motion, while human-object datasets capture detailed interaction dynamics, yet paired human-object-scene data remain scarce. We present MAMHOI, an affordance-mediated factorization for scene-aware human-object interaction generation. MAMHOI factorizes scene-aware HOI generation through an explicit motion-affordance interface between scene understanding and motion synthesis: a scene-conditioned model first predicts where and how an interaction can be feasibly executed, and an affordance-conditioned HOI model then generates the corresponding human-object motion. This factorization allows scene understanding and interaction dynamics to be learned from complementary sources of supervision without requiring paired human-object-scene data. Experiments in complex indoor environments show that MAMHOI reduces object--scene penetration while better preserving human--object interaction quality, yielding more realistic and physically feasible scene-aware interactions. Project page: https://leimingyuan.github.io/MAMHOI-project-page/
RoboRSI：复杂真实世界环境中稳定、高效且可复用的机器人自我进化
通用机器人不仅应能执行多种任务，还应通过经验不断改进，将执行过程中学到的内容转化为后续任务可复用的能力。通过代码执行动作的机器人智能体已经能够根据执行反馈修复程序，但如何围绕赋予经验意义的任务结构来组织这些经验，使每次修复都归因于相应的负责能力、有执行证据支持，并在复用前得到验证，仍然是一个核心挑战。我们提出 RoboRSI，这是一种基于 Top-Down Skill Refinement (TSR) 构建的机器人自我改进系统。TSR 将任务分解为复合技能、原子技能和基础技能，为其划分明确的职责范围并规定显式的输入--输出契约，将每次执行结果归因于负责的分支，并将修改限制在该分支内。在此结构基础上，管理器、规划器、工程师和审查器协同完成规划、执行、诊断以及新技能的验证发布；人类则通过设定目标和提供纠正来引导整个过程。稳定的技能序列还会进一步整合为可复用的复合技能。在一台移动操作机器人上，RoboRSI 经过 104 轮迭代，学会了多物体家居清理任务。在仿真环境中，它在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 上均取得最高成功率，超过最强基线 2.7 至 11.0 个百分点。
AI 代理生态学：协作为爆发创造种群阈值
AI 代理如今已经能够实施现实世界中的网络攻击，随着代理数量增加而扩展能力，并集体追求不符合预期的目标以获取奖励。这些因素共同提高了不符合预期的代理种群爆发式增长的风险：代理可能入侵计算机并秘密部署更多代理，从而形成自我强化的循环——更大的种群发展出更强的集体网络能力，并进一步扩张。这引出了一个根本问题：什么决定了不符合预期的代理种群是保持受控，还是进入这种自我强化的循环并迅速扩张？这一种群层面的问题属于生态安全：不同于种群规模固定的单代理或多代理安全，生态安全关注的是种群本身的动态。在本文中，我们基于一个种群增长方程，建立了 AI 代理种群的生态学理论，其中适应度（增长率）取决于网络安全能力。我们表明，在没有协作的情况下，只有当单个代理的能力超过某个临界阈值时，种群才会迅速扩张。然而，在存在协作时，集体网络安全能力会随种群规模增加而增强。这会形成一个临界种群阈值：低于该阈值时，种群会衰退；高于该阈值时，即使单个代理的能力没有改变，种群也会迅速扩张。在生态学中，这种现象被称为强阿利效应。由于对一小群代理进行红队测试无法保证更大规模种群的生态安全，我们的理论要求开展生态红队测试和种群节奏控制：在受控环境中逐步部署规模更大的代理种群，同时测量网络能力如何随种群规模扩展，并估计触发迅速扩张所需的临界种群规模。能力提升可能会降低这一阈值，因此每一代新模型都需要重新估计。
当场抓获：探针能够有效检测破坏行为并捕捉未言明的欺骗
近期事件凸显了监控 LLM 智能体的挑战，以及模型欺骗人类的危险。我们表明，通过探针进行的白盒欺骗检测可以扩展到前沿监控场景：我们收集了迄今最大的欺骗数据集用于训练探针，并提出了一种新型探针架构，能够聚合多个层和多个词元中的信息。在 SHADE-Arena 中，我们的探针取得了 98.8% 的 AUC，超过了 Opus 5.5 的文本监控基线；随着底层模型规模扩大，探针的有效性也有所提升。为了检验探针的极限，我们在若干仅凭上下文无法判断是否存在欺骗的案例上对其进行测试。对于这些案例，我们称之为内省式欺骗，只有通过谨慎引导或全面了解模型的训练数据，才能确定真实情况。在其中一项评估中，我们表明，探针能够以最高 99.7% 的 AUC，将包含模型真实隐藏目标的对话记录与包含其他目标的对话记录区分开来。我们的探针还能够轻松检测出知名开放权重模型在政治敏感话题上撒谎，以及在受到压力时谎报自身信念的行为。我们发布了名为 FIBS 的训练数据集，以推动有效探针在前沿系统中的部署，并鼓励社区通过补充更多欺骗与破坏行为示例来进一步扩展该数据集。
Bi-FORK：高维分岔系统的生成建模
分岔现象广泛存在于物理系统中，从结构屈曲到流体和气候动力学，但在深度学习领域仍未得到充分探索。在对称性破缺分岔中，单个输入对应多个同样有效的解，这违背了大多数学习型物理替代模型所基于的一一映射假设。我们提出 Bi-FORK，一种用于学习高维系统中一对多解映射的生成框架。Bi-FORK 通过潜在流匹配生成完整轨迹，保持空间和时间上的连贯性，并利用排斥引导采样，在单次摊销推理中恢复不同的解分支。我们在屈曲梁、机械超材料和 Allen-Cahn 相分离问题上评估了 Bi-FORK，涵盖连续、离散和场值分岔，离散化规模最高达 260,000 个点。Bi-FORK 能够恢复多模态解结构，同时将规模扩展到远超现有方法数个数量级的水平，为高维分岔物理系统的生成建模开辟了道路。
BrickBench: Evaluating Agentic Brick Design
We propose BrickBench, a benchmark for agentic text-conditioned LEGO-set design. Given a prompt, an agent is tasked with producing an assembly that not only satisfies semantic and design criteria, but that can also be physically built. To do so, it must select parts from a discrete library and reason jointly about local and global constraints. We score validity, alignment, and design across three settings that vary in scale and part availability. We provide BrickAgent, an environment for coding agents to construct, inspect, and validate their designs. We find that leading agents largely satisfy verifiable physical and semantic requirements, but fall short of human designs. We release our benchmark and environment at http://www.brickben.ch
从被动遏制到主动保障：OpenAI、Anthropic 和 Google 智能体安全事件的经验教训
2026 年，涉及 OpenAI、Anthropic 和 Google 智能体的网络安全评估触达了授权测试范围之外的真实系统。它们所采取的路径各不相同。OpenAI 智能体利用了研究基础设施，在不同运行之间进行协调，并入侵了 Hugging Face 生产环境的部分区域。Anthropic 报告了若干案例：由于第三方环境配置错误，执行模拟网络任务的智能体得以接触真实系统。在另一项单独报道的评估中，Google 的 Gemini 通过一条非预期的互联网路径访问了三个真实组织；Google 表示，该模型在三种情况下都停止了操作。综合来看，这些案例说明，评估不能依赖假定的边界。该边界必须在智能体运行过程中得到验证。本工具性比较案例研究提出了 Proactive Agent Security Assurance Cycle (PASAC) 和五层 Boundary Assurance Stack。该框架结合了按风险分级的任务设计、可执行的范围契约、运行前验证、最小能力访问、独立出口控制、凭证限制、跨运行监控、自动停止条件以及基于证据的重新授权。一个先行指标模型、九项设计命题和七个可证伪假设，将这些经验教训转化为一项可检验的研究计划。由于公开的 Gemini 记录仅限于有明确归属的陈述和新闻报道，其详细因果机制仍属暂定。核心结论很明确：主动式智能体安全需要贯穿完整执行系统的持续保障，而不能依赖对任何单一沙箱或安全措施的信心。
关于 AI 时间跨度的估计与有效性——对 METR 图表的统计学考察
METR 的 50\% 时间跨度衡量的是：AI 以 50\% 的概率完成软件任务时，人类完成该任务所需的时间，从而使 AI 能力能够用易于理解的单位表示。在 228 项任务和 26 个 AI 上，我们使用样条和项目反应理论重新计算时间跨度，以放宽“任务的 AI 难度取决于人类完成时间的对数且二者呈线性关系”这一假设。我们拟合的样条可以解释为一个将人类时间“转换”为 AI 难度的函数；该函数在 2--30 分钟的区间内几乎是平坦的，但在其他区间则接近线性。因此，时间跨度从 3 分钟跃升至 30 分钟，要比从 30 分钟跃升至 5 小时容易得多，尽管二者的倍数均为 $10 \times$。总体而言，我们提供了在一套交叉验证的适当评分规则下表现更佳的时间跨度点估计，以及用于评估时间跨度构念效度的诊断图。我们建议结合诊断图来解读时间跨度，尤其是在提出新的基于时间跨度的基准，或现有基准扩展以纳入更长任务时。