强化学习（RL）已成为提升大语言模型（LLM）智能体能力的关键范式，使其在交互式环境中具备更强的推理、规划和工具使用能力。然而，现有的智能体 RL 方法仍从根本上受限于同策略推理瓶颈：当任务超出模型当前的能力边界时，有效轨迹会变得极其稀少，训练也往往陷入崩溃。我们提出 Rollout-Time Intervention（RTI），这是一种旨在引出超越策略内在探索能力的成功轨迹的技术。RTI 在轨迹生成过程中利用奖励侧证据（即评估准则），将错误轨迹转化为成功轨迹，从而为策略自身很少能解决的任务提供有效的学习信号。尽管干预轨迹本质上属于离策略数据，但我们发现，只要过滤掉分布偏移过大的轨迹，它们就能有效指导策略优化。在五个基准上的广泛实验表明，RTI 始终优于 RL 基线，使后训练得到的策略能够接近同期能力强得多的 LLM 的表现，更重要的是，能够突破其原有的能力边界。代码已发布于 https://github.com/Alibaba-NLP/qqr。
在现实世界的交通网络中，自动驾驶车辆（AV）的集体路径选择可能对人类驾驶车辆（HDV）产生外部性，因为有利于 AV 的路径可能会增加其他道路使用者的出行时间。为解决这一问题，我们在 AV 以自身出行时间为导向的自利奖励中引入了一个社会性分量，即边际成本。边际成本通过比较其他道路使用者的实际出行时间与移除该 AV 的反事实仿真中的出行时间，衡量该 AV 对他们的影响。我们使用多智能体强化学习（MARL）研究混合自动驾驶交通环境中的 AV 路径选择，其中 AV 通过与交通环境的反复交互来学习路径规划策略。在 Ingolstadt 和 Provins 真实路网中的实验表明，相较于自利的 AV 路径规划，将边际成本纳入 AV 奖励不仅能限制 HDV 出行时间的增加并缩短 AV 出行时间，还能改善系统整体表现。在 Ingolstadt，当 AV 占比为 40\% 时，自利路径规划使其他车辆的出行时间增加了 1.7\%；引入社会性奖励后，这一增幅降至 1.1\%。值得注意的是，采取顾及他人的行为不仅改善了系统整体表现，也使 AV 自身受益。这一效果在所测试的不同城市、渗透率和重复实验中均保持一致；然而，当奖励中社会性分量的权重增大时，系统却无法达到预期表现。为在混合自动驾驶交通中实现更具可扩展性的社会性 AV 路径规划，我们仅计算那些路径选择对交通系统影响最大的 AV 的边际成本。这减少了反事实仿真的次数，并以显著更低的计算成本实现了相近的表现。我们的结果表明，为了所有交通参与者的利益，AV 路径规划应超越自利奖励，在其目标中纳入社会性分量。
Large language models (LLMs) have taken the world by storm. Their ability to communicate with us in our own language, and to reason about our world, has made them a favorite tool for writing, answering questions, and much more. Their answers already influence our decisions and our actions. What would happen if LLMs themselves could act in the world directly? What would happen if LLMs could interact with each other? Agentic LLMs combine the power of large language models with the ability to act in the real world. In this book we will discuss how agentic LLMs work, how they act, how they interact, and what this means for us, as users.
AI 系统在数学领域进展迅速，但这种进展难以衡量。由已解决问题构成的基准会趋于饱和，而在由未解决问题构成的基准中，每个问题只能被首次解决一次。我们提出了 SqueezeBench，这是一种抗饱和基准：一次成功会提高门槛，而不是移除问题。每个问题都固定一个整数函数 $f(n)$，其函数值仅在较小的 $n$ 上已知，基准则为该函数维护一项下界纪录和一项上界纪录。每项纪录都是一个可计算的 Lean 函数，并附有经机器检查的证明，证明它是 $f$ 的界。每次提交都提出一个新函数，并证明它是 $f$ 的界、在任意 $n$ 上都不劣于当前纪录，且在某个 $n$ 上严格优于当前纪录。一旦获准接受，它就成为下一次提交必须超越的纪录。因此，系统既要选择界，也要给出相应证明；它可以改进某个特定 $n$ 上的纪录，也可以改进其增长率。对于每个 $n$，两项纪录之间的差距表明，经认证的界距离确定 $f(n)$ 的值还有多远。每个证明都由两个独立的 Lean 内核检查，因此无需评审人员核查数学内容。这些检查还会拒绝在较小的 $n$ 上通过穷举搜索计算 $f$ 的函数，而维护者只需阅读提交者的报告，并检查在较大的 $n$ 上是否存在此类搜索。我们发布了极值组合学中的十个问题、二十项附有证明的初始纪录，以及提交准入工具。作为基线，基于一个前沿语言模型的智能体在每项纪录最多一小时的限制下，有 82 次提交获准接受，并改进了所有纪录，但未超越已发表文献中的结果。随后，基于两个更新模型的智能体从这些纪录出发，又有 60 次提交获准接受，并再次改进了 20 项纪录中的 19 项。在十个问题中的八个上，仍有至少一项纪录在渐近意义上落后于已发表的最优界。
多模态大语言模型可能无法读出嵌入图像粗粒度结构中的文字（人类眯眼即可辨认出的文字），并报告图像中不存在文字。我们将这类文字命名为 Squint Text，并受生产环境内容审核流程中的案例启发，将其作为一种识别缺陷加以研究。我们提出了 SquintBench，其中包含 1076 张源自生产环境的内容审核图像，以及用于机制诊断的受控合成测试集 SquintCtrl。冻结权重的分析表明，隐藏文字保留了粗粒度信号，但字形身份的表征较弱；当提供正确的空间区域时，字形身份变得明显更容易获取，这表明空间选择是一个主要瓶颈。在固定视觉词元预算下，抑制高频内容也能改善文字识别，而视觉词元数量也可能产生影响。这些发现促成了 Squint OPSD：冻结的教师模型接收缩小后的图像视图和作为特权上下文的真实转录文本，并通过其词元级概率分布，沿学生模型自身策略生成的轨迹对其进行监督。推理时，学生模型仅识别原始图像。Squint OPSD 在 SquintBench 上的 ANLS 达到 88.61，而未经适配的骨干模型得分为 26.50，最佳通用模型在原始视图上的得分为 24.44，现成模型在缩小视图下的最高得分为 68.60。这些结果在推理时无需辅助视图，便显著缩小了可用视觉证据与模型生成的识读结果之间的差距。
生成边缘场景对于自主系统的训练、测试和安全保障至关重要。这有助于识别危险故障，提高系统的可靠性和鲁棒性，确保系统在其运行设计域的边界处仍能安全运行，并了解系统在这些边缘场景下的预期行为。语言模型（LM）的生成与分析能力迅速提升，拓展了其应用范围，近期已有研究探索利用 LM 生成场景。然而，近期的许多方法依赖人在回路或基于规则的策略。这限制了 LM 生成多样化场景以及分布长尾中的边缘场景的能力。我们的工作在基于笔记本电脑的智能体式 AI 框架中使用本地 LM，实现自适应场景生成。这种方法成本低、完全可控，并能保障数据隐私和安全。该框架采用“思考、行动、观察、更新、继续”的循环，并结合轻量级 JSON 编码来生成场景。我们将系统需求、系统描述和环境描述作为知识库，纳入提供给 LM 的上下文提示中，以确保场景的真实性。第二个独立的 LM 根据领域特定标准评判每个场景，以便对其进行完善。完善后的场景在仿真中运行，并收集评估指标。随后分析这些指标得分，针对边缘场景创建类似场景（利用），或生成新颖场景以探索场景空间。通过基于指标得分的事后聚类，以及对 LM 生成的富文本场景描述进行主题式分析，可以精准定位功能缺口及其触发条件。这为安全保障论证提供了可追溯的证据。我们的工作凸显了灵活、自适应的本地智能体式 AI 框架在自动生成边缘场景和产出可追溯安全保障证据方面的潜力。
同策略蒸馏（OPD）在学生模型生成的轨迹上提供教师监督，但单条轨迹在每个决策点仅实现一种后续生成，因此在有限采样预算下，监督覆盖范围受到限制。我们提出 BranchOPD（分支式同策略蒸馏），利用学生模型的不确定性和教师与学生模型之间的分歧来选择信息量高的决策点，从共享前缀出发重新采样学生策略的后续生成，并对主轨迹和分支施加词元级教师监督。BranchOPD 在数学任务中作用于词元级决策，在智能体任务中作用于轮内决策。相较于七条独立轨迹，共享前缀复用使 ALFWorld 和 WebShop 上学生模型生成词元的成本分别降低约 19% 和 31%。我们还引入了协议边界修复（PBR），在协议约束下使用针对性监督，以减少重复和无效生成。BranchOPD 在所有评估基准上均优于 Vanilla OPD 和 Multi-Rollout OPD（n=7）；相较于 Vanilla OPD，其在 16 个采样答案上的平均数学准确率（avg@16）提高了 18.55 个百分点，ALFWorld 分布内（ID）与分布外（OOD）的平均成功率提高了 13.8 个百分点。机制分析和选择策略消融实验表明，在不确定的决策点进行分支可扩大后续行为的覆盖范围，且效果优于随机选择和轮次起始处分支。
现有基于 LLM 的长程机器学习工程（MLE）智能体方法通常采用上下文工程，通过定制运行框架来管理工具、技能和积累的经验。然而，我们发现，随着单次会话执行时间延长，智能体的推理强度会下降，进展也随之放缓，我们将其概括为“长程减速”；随着底层模型能力提升，这些定制运行框架带来的收益会消失，我们将其概括为“框架陈旧化”。这些发现表明，其收益可能无法跨版本持续存在，因此我们提出一种工作流层面的方法，让智能体跨会话接续彼此的工作。我们将这些交替进行的智能体会话建模为上下文重置半马尔可夫决策过程（CR-SMDP），给出交替机制突破单智能体参考极限的充分条件，推导出显式的实验预算界，并刻画会话上限在何种条件下能够保留这一优势。在该分析的指导下，我们提出 Humanize MLE Agents（HMA）：让两个智能体在共享工作空间中交替工作，将每次会话限制为最多执行 k 次实验，并在会话之间重置上下文，无需额外的任务专用运行框架或先验知识补充。在 MLE-bench 的 75 项 Kaggle 任务上，HMA 的任意奖牌获得率达到 78.2%，创下当前最佳水平；仅使用最强开源基线四分之一的时间预算，就比其高出 8.0 个百分点。此外，在涵盖五组异构智能体配对的六种配置中，HMA 相较于各组成智能体的基线，任意奖牌获得率平均提升 6.4 个百分点，展现出跨配对的通用性。一个补充的内核优化案例达到了 878 个周期，与社区排行榜榜首的差距不超过 1.6%，表明该方法也适用于 MLE 之外的任务。
生成式推荐系统日益采用强化学习（RL），以优化可能在某次决策之后数百乃至数千次交互才出现的结果。标准 RL 根据时间邻近性而非明确的相关性传播奖励，削弱了分配给时间久远但重要的动作的信号，成为样本效率低下的一个根源。我们提出 Explanatory World Models（EWM），这是一种归因框架，利用解释识别可能对已发生结果作出贡献的早期事件。我们使用前沿语言模型实现 EWM，并通过一种守恒的分层算子将其解释用作学习信号；该算子递归地重新分配奖励，同时保持未折扣的回合回报不变。为探究何种解释具有实用价值，我们将受 Halpern 的实际因果关系、Lombrozo 的解释简洁性和 Deutsch 的难以变动的解释所启发的三种互补变体具体化。我们在两个受控的长时程 RL 基准、一个公开的序列推荐基准和一个工业级规模的生成式推荐系统上评估 EWM。在 Crafter 和 WordCraft 上，EWM 显著优于 PPO 和 LaRe，且在奖励延迟最严重时取得最大提升。在 KuaiRand 上，EWM 在线下优于 SFT 和 LaRe，在线上优于 A2C。最后，在对工业级生成式推荐系统的离线评估中，EWM 显著提高了召回率，并提升了行为代理指标。这些结果表明，解释可以提供结构化且可复用的信用分配信息，以支持从延迟结果中学习。
临床预后预测需要整合结构化测量数据、生理波形、纵向病史和人群背景信息。我们提出 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis），这是一种多模态语言模型，结合了逐特征数值词元化、按时间近远加权的纵向心电图聚合，以及双模态人群记忆库。检索在表征空间中进行：模型接收训练队列中相似就诊记录的均值池化嵌入，而不会将任何单条检索记录输入提示。在包含 1,443 项任务的 MDS-ED 基准上，PRISM 在诊断、病情恶化、入住重症监护病房和死亡预测任务中的 AUROC 分别达到 86.2%、93.1%、91.8% 和 92.8%。这些结果使用了已报告基线未能获取的到院前 96 小时时间窗数据。仅使用基准时间窗内的输入时，PRISM 的 AUROC 达到 0.8895，而 UniPACT 和 MDS-ED 分别为 0.8937 和 0.8889。在输入匹配的条件下，使用相同五类证据流和冻结编码器的紧凑型融合模型达到 0.7652 的 AUROC，而 PRISM 为 0.9092。将数值型电子健康记录编码替换为文本序列化后，AUROC 下降 3.66 个百分点；移除到院前病史后下降 1.97 个百分点；将检索结果置零后下降 0.99 个百分点。真实检索的宏平均表现比随机近邻检索高 0.97 个百分点，但任务层面的配对符号检验未能确立一致优势（p=0.067）。在外部 MC-MED 队列上，经过有监督微调后的 AUROC 达到 0.8611，而在本地训练的梯度提升模型和仅在源数据上训练的 PRISM 分别为 0.8227 和 0.7841。这些结果支持结构感知的多模态整合与有监督的外部适配。
机器人策略的运行时故障监测器通常根据其区分失败执行与成功执行的准确程度来评估。然而，准确的警报可能来得太晚，已无法恢复；而不必要的干预则可能扰乱原本能够成功的执行。我们提出 RESCUE，这是一个反事实评估框架，用于判断监测器发出的警报能否促成有用的干预。通过在执行检查点恢复仿真器和策略的状态，RESCUE 比较备选行动，找出满足指定恢复标准的最晚检查点，并评估响应警报采取行动是否能降低预期任务完成成本。我们在 LIBERO-Spatial 和 LIBERO-Plus 上，使用 OpenVLA-OFT 和 $π_{0.5}$，通过 128,340 个反事实分支评估 RESCUE。可恢复性取决于状态与干预的组合，而非仅取决于机器人状态：在 $τ=0.5$ 时，OpenVLA-OFT/LIBERO-Plus 的 66 次失败中，有 14 次在继续执行的情况下存在可恢复检查点；若允许继续执行或采用脚本化恢复，则有 34 次存在可恢复检查点；但在其他条件下，恢复操作反而会降低可恢复性。在主要的强策略实验条件下，良好的检测得分并不能证明干预成本更低。在所评估的停止并重置模型下，即使是理想化的检测器，也只能容忍 2.0–3.3% 的误报率；超过这一范围，不必要的重置所产生的成本就会抵消提前终止失败执行所节省的成本。这些结果表明，监测器的价值共同取决于可用的干预措施及其部署环境中的工作负载。
Cloudflare released Clef-omni, an Apache-2.0 multimodal decision model built on Qwen3-Omni-30B-A3B. It scores text, images, audio and video in one call for $0.15 per million input tokens, while Clef-flash drops to $0.038. The post Meet Cloudflare Clef-omni: A 30B-A3B Multimodal Decision Model for Audio, Video, Image and Text appeared first on MarkTechPost .
Updated API with faster responses and added MCP 2.0 Comments URL: https://news.ycombinator.com/item?id=50048892 Points: 2 # Comments: 0
Feeling lost, figured I'd ask. Comments URL: https://news.ycombinator.com/item?id=50049047 Points: 2 # Comments: 1
Nvidia Corp. is in early talks to acquire open-weight model developer Reflection AI Inc. or invest more in the startup, according to the Financial Times. People familiar with the matter told the paper that an agreement could come within weeks. The talks could still collapse. The FT described more than one way a deal could take […] The post Nvidia reportedly in early talks to buy, acquihire or invest more in Reflection AI appeared first on SiliconANGLE .