12:42 arXiv cs.AI 78
我们提出了交互式四维体积液体预测任务：根据固体物体在液体中的运动方式，预测未来稠密三维液体速度场的时空演化。该任务为需要推理运动条件下液体响应的系统提供了上游物理预测基础，包括机器人液体操控、数字孪生和刚体-流体视频生成。现有研究已尝试预测静态或预设固体几何体周围的流动，并合成视觉上合理的流体运动。然而，这些方法对交互式液体动力学的覆盖有限，因为它们无法预测运动固体如何引发未来全域液体响应。在这一预测场景中，流体动力学效应集中在不断演化的液-固界面附近，但预测目标却是全局时空演化过程。为应对这一挑战，我们提出了一个两级循环预测框架 TIDE/TIDES：TIDE 专注于局部界面驱动的预测，而 TIDES 增加了感知输运的耦合和显式稳定化，以减少累积的演化误差。在经过适配的邻近基线、受控组件消融、运动/尺寸分布外测试以及长时域评估中，TIDES 均取得了最佳预测性能；消融实验表明，局部交互、输运耦合和稳定化是关键贡献因素。总体而言，我们提出的任务定义、基准以及 TIDE/TIDES 研究，为运动固体条件下的稠密液体预测建立了一个受控基础。代码已公开于 https://github.com/jongwonryu/TIDE-TIDES。
12:00 arXiv cs.LG 76
arXiv:2610.13217v1 公告类型：cross 摘要：视频生成支持数字内容创作，应用于虚拟化身、AI驱动的电影制作、交互式游戏引擎和世界模型。当前最先进的系统主要通过图像到视频（I2V）生成实现可控性，其中注入的锚点图像决定生成视频的身份、构图和风格。在现代流程中，这一锚点由文本到图像（T2I）生成器合成。这引出了一个长期被忽视的问题：直接从T2I模型获得的图像，是否真正适合当前的视频模型？我们的分析表明，锚点的美学与质量评分同下游视频质量之间的相关性较弱。无论在视觉维度还是运动维度，结构与纹理评分都与I2V视频质量呈负相关。相应地，在图像奖励上对T2I模型进行微调，会生成结构和人物细节明显更加密集的锚点：它们在图像指标上的得分更高，却会降低我们测试的每个I2V模型的视频奖励，并使下游运动产生不可预测的变化。因此，我们提出Golden Anchor Learning（GAL）。据我们所知，这是首个通过利用下游视频反馈优化T2I生成器来学习黄金锚点的框架。GAL在冻结的I2V模型下，通过锚点所诱导生成的视频评估候选锚点，并将视频奖励转换为图像级偏好，用于对T2I生成器进行DPO微调。在全部四个I2V模型上，与未经调优的生成器相比，GAL将VBench平均分提高了$2.97\%$--$8.46\%$。渲染得到的视频片段在VideoReward-Overall下的得分也更高，其提取帧在HPSv3和UniPercept下的得分同样更高。根据VBench动态程度指标，GAL在全部四个I2V模型上均带来稳定的运动性能提升，增幅为$5.62\%$--$38.24\%$。尽管GAL仅基于HunyuanVideo-1.5的渲染结果进行训练，这些提升仍能推广到另外三个I2V模型。
12:00 arXiv cs.LG 76
arXiv:2610.12514v1 公告类型：交叉收录 摘要：自回归视频扩散模型维护着不断增长的注意力键值（KV）缓存，使内存成为长视频生成的主要瓶颈。近期，基于聚类的量化已成为压缩视频 KV 缓存的有效方法：先将相似的键向量和值向量分组，再量化残差误差。然而，当后续帧关注压缩后的历史信息时，微小的重建误差会随着视频长度增加而不断累积。除了聚类所利用的层内相似性，我们还发现视频模型的缓存层之间存在很强的依赖关系。这促使我们提出 Coral-KV——离线校准、残差编码与局部适配——这一 KV 缓存压缩框架。它利用各层的缓存状态预测后续层的键和值，再量化剩余的预测残差。我们构建了紧凑的块对角加低秩（block-DPLR）预测器：块对角分量对每个注意力头内部的通道关系建模，而全局低秩项则对注意力头之间的依赖关系建模。Coral-KV 提供了灵活的保真度与内存权衡：既可以跨视频复用预测器，也可以针对当前视频重新拟合轻量级块对角预测器，以获得更高的保真度。在 HY-WorldPlay 和 MAGI-1 上的广泛评估表明，与 QVG-4 相比，我们的可复用配置分别将 PSNR 提高了 0.32 dB 和 4.95 dB，同时将缓存内存占用分别减少了 48% 和 37%。与 QVG-Pro 相比，我们的视频适配配置将 MAGI-1 的 PSNR 提高了 3.77 dB，同时将缓存内存占用减少了 33.7%。Coral-KV 还能在长时间生成过程中保持更高的重建保真度，减少时间上的不连续性，同时保持相当的生成延迟。
12:00 arXiv cs.LG 76
arXiv:2610.02626v2 公告类型：交叉发布 摘要：视觉-语言-动作（VLA）模型越来越多地引入中间推理来改进机器人操作，但现有方法主要针对已观测状态进行推理，并未显式预判未来场景的演变。然而，若将此类推理扩展为在每个推理步骤中显式推演未来，则会引入大量计算开销。我们提出了 IG-VLA，这是一种使模型能够想象未来并内化要义的 VLA 推理框架。我们的 Latent Spatiotemporal Reasoning 直接在视觉表征空间中学习想象与任务相关的未来场景演变，无需高成本的像素级视频生成即可指导动作预测。为进一步降低推理开销，我们引入了 Scene Gist Memory，将推理得到的场景-行为关联内化为紧凑的 Scene Gist Token，在保留未来推理优势的同时，绕过推理阶段的显式未来想象。在 LIBERO、LIBERO-Plus 和 VLABench 上开展的大量实验验证了 IG-VLA 的有效性和效率。在 LIBERO-Plus Language 测试套件上，推理策略与要义策略的成功率均比最强基线高出近 6%。要义策略相较于基线还实现了最高 6.38 倍的加速，在单张 NVIDIA A6000 GPU 上，将每个动作块的推理延迟从 1081 毫秒降至 169.5 毫秒。这些结果表明，未来时空推理能够被有效内化，从而实现高效的 VLA 部署。
12:00 arXiv cs.LG 76
arXiv:2610.12572v1 公告类型：新论文 摘要：在线强化学习（RL）通过黑盒奖励对扩散模型进行微调，但 Flow-GRPO 等逆向过程方法因信用分配不佳而效率受限，DiffusionNFT 等前向过程方法虽然高效，却需要精心调优的指数移动平均（EMA）离策略训练才能保持稳定。我们发现，NFT 风格的目标函数中隐含着一种前向—逆向一致性作用力，正负联合训练只能部分抵消这种作用力，而 EMA 是通过恢复机制而非离策略轨迹采样来稳定训练的。我们提出 DiffusionART（采用聚合优先奖励倾斜的扩散强化学习），将每个提示词对应的奖励聚合为逆向过程状态共享的奖励提升方向，从构造上消除一致性作用力，并增加一次采用信赖域掩码的二次更新，以实现自适应于漂移的恢复，无需调优 EMA。该方法不需要可微奖励模型，在每个提示词的采样数量更少时仍然有效，并支持成对奖励模型（DiffusionART-Pairwise）。在图像和视频生成任务中，DiffusionART 无需针对各任务单独调优，即可实现高效、稳定的训练。具体而言，在 HunyuanVideo-13B 上，当视觉质量与运动质量奖励权重相同时，DiffusionART 达到 DiffusionNFT 和 Flow-GRPO-Fast 训练后期平均奖励水平所需的 GPU 小时数分别仅为二者的 1/12.02 和 1/11.72，同时平均训练奖励分别高出 28.8% 和 53.0%。
12:00 arXiv cs.LG 82
arXiv:2610.11479v1 公告类型：cross 摘要：因果视频扩散模型以自回归方式生成视频，适用于流式、交互式和长视频生成。然而，在标准训练下，与同等规模的双向模型相比，它们通常会产生质量较低的视频。许多现有方法通过从预训练双向教师模型初始化或进行蒸馏来弥合这一差距。相比之下，我们从图像模型初始化出发训练因果模型，整个过程中不使用任何双向视频模型。由于该路径既不需要大型双向教师模型，也不需要复杂的蒸馏流程，因此更加简单且易于扩展。在这一过程中，我们发现，基于真实历史训练的因果模型会严重依赖这些历史信息，以至于在推理时，自身生成历史中的错误会不断向前传播。我们认为，这种依赖有很大一部分是不必要的，因为当前输入本身已经决定了历史信息所能提供的大部分内容。为此，我们提出条件残差预测（Conditional Residual Prediction，CRP），这是一种降低模型对条件依赖的简单方法：模型首先在不使用条件的情况下预测目标，条件信息只能在此预测之上添加残差。将 CRP 应用于历史信息时，该方法促使模型尽可能仅根据当前内容预测每个片段，而只在当前内容无法提供时使用过去的信息。在受控实验中，CRP 几乎弥合了与采用相同设置训练的双向模型之间 6.14 分的差距。在此基础上进行扩展后，我们训练了 Optica，这是一个拥有 2B 参数的因果视频模型，能够以自回归方式生成 5 秒、480p 视频，并且仅使用约 1500 万个训练视频就在 VBench 上达到 82.78 分。
12:00 arXiv cs.LG 79
arXiv:2610.08183v1 公告类型：交叉收录 摘要：多任务操作策略在架构、规模和预训练先验上同时存在差异，因此已发表的比较无法将性能归因于任何单一组件。我们认为，性能主要来自视觉表征，而参数规模和生成式先验在很大程度上只是次要因素。为验证这一点，我们构建了 CoRP（Compressed Representation Policy），这是一种刻意设计得紧凑的策略（4890 万参数，不使用视觉语言模型，也不使用视频生成先验），由表征提取器和基于流匹配的动作生成器组成。它在 LIBERO 上达到 97.0% 的成功率，在 RoboTwin 2.0 Clean/Randomized 上分别达到 75.78%/73.36%，与规模为其 40.9–163.6 倍的系统相当。随后，我们固定动作生成器，每次仅改变提取器的一项属性。预训练初始化具有决定性作用：使用随机初始化的 ViT-S/14 时，LIBERO 上的成功率降至 78.1%；使用经 ImageNet 预训练的 ResNet-34 时，则降至 74.5%。仅有预训练还不够，因为冻结编码器会导致成功率下降 19.8 个百分点。压缩同样重要：将每个视角重采样为 48 个词元，效果优于传入全部图像块词元（97.0% 对比 83.2%）；而对这些词元施加变分信息瓶颈，效果不如硬性限制词元数量，因为它抑制了策略所依赖的、随指令而变化的词元选择，使 LIBERO-Goal 上的成功率从 95.8% 降至 33.0%。语言条件仅在观测无法明确目标时才有贡献（LIBERO-Goal：从 9.2% 提升至 95.8%）；而在观测不存在歧义的 RoboTwin 2.0 上，移除语言条件反而略微提高了成功率。因此，我们认为，紧凑型策略能够奏效的关键在于其表征经过预训练、针对任务适配并得到压缩。项目页面：https://corp-policy.github.io/
13:11 arXiv cs.AI 81
图像和视频扩散模型会为每个区域分配相同的计算量，即使目标场景要求不同程度的细节。细节的空间分布通常可以在生成前预先判断，从而确定可以减少计算量的位置。我们提出 Level-of-Token（LoT）Diffusion，这是一种将这些信息转化为显式多分辨率 token 布局（Level-of-Token 布局）的框架，以实现自适应且高效的生成。Token 表示大小和形状各异的矩形图像块，在需要细节的区域分配更精细的 token，在其他区域则使用更粗粒度的 token。我们通过分块非对称流参数化以及多分辨率 token 嵌入，使预训练扩散 Transformer 适配 LoT 布局：在每个去噪步骤中保留全分辨率流预测，同时仅处理缩减后的 token 序列。LoT Diffusion 在保留预训练生成先验的同时，实现了布局自适应生成。我们展示了基于语义掩码、边界框、纹理方差和景深线索，以及智能体规划所生成布局的 LoT 效果。在图像和视频生成任务中，LoT 均实现了良好的质量—效率权衡，其显著的加速效果取决于布局的 token 预算。我们的项目网站位于 https://georgenakayama.github.io/lotdiffusion/】【。
12:00 arXiv cs.LG 72
arXiv:2311.18837v2 公告类型：replace-cross 摘要：Diffusion Models 在图像和视频生成方面取得了显著成功。这推动了人们对视频编辑任务日益增长的兴趣，即根据给定的文本描述编辑视频。然而，现有的大多数方法仅关注短视频片段的编辑，并且依赖耗时的调优或推理过程。我们首次提出 Video Instruction Diffusion（VIDiff），这是一种面向广泛视频任务的统一基础模型。这些任务既包括理解类任务（如语言引导的视频目标分割），也包括生成类任务（视频编辑和增强）。我们的模型能够根据用户指令，在数秒内编辑并生成所需结果。此外，我们设计了一种迭代式自回归方法，以确保对长视频进行编辑和增强时的一致性。我们针对多样化的输入视频和文字指令，在定性和定量层面都提供了令人信服的生成结果。更多示例请见我们的网站 https://ChenHsing.github.io/VIDiff。
12:00 arXiv cs.LG 83
arXiv:2609.20744v3 公告类型：替换 摘要：视频扩散模型在去噪过程中会反复处理长时空令牌序列，使注意力机制成为主要的计算瓶颈。线性注意力提供了颇具吸引力的替代方案，并已广泛应用于近期的大型语言模型中，但将其直接应用于视频模型，往往无法保留高质量生成所需的细粒度交互。我们提出 Video DeltaNet（VDN），将局部 Softmax 注意力与双向线性记忆相结合，以建模长程视频上下文。其线性分支引入了 Video Delta Attention（VDA），通过联合整合每一帧的空间令牌，每帧更新一次记忆。独立的输出投影和可学习门控机制用于校准两个分支，同时，分阶段的教师对齐方案逐步将这一新路径引入预训练模型。我们在 MiniMax H3 上实例化了 VDN，将这种混合机制应用于视频到视频的交互，同时保留 Softmax 以处理涉及文本或音频的交互。借助八步蒸馏和优化后的 SGLang 服务栈，VDN-H3 在八块 NVIDIA B200 GPU 上，仅用 6.70 秒即可完成 14.3 秒、768p 视频的 DiT 去噪；相比相同 GPU 数量下采用 50 步密集 H3 基线，实现了 14.5 倍加速。GitHub 代码见：https://github.com/OpenVDN/vdn-minimax-h3。模型权重见：https://huggingface.co/OpenVDN/vdn-minimax-h3
12:00 arXiv cs.LG 79
arXiv:2610.03154v1 公告类型：cross 摘要：视频生成模型能够生成极其逼真的序列，并日益被视为世界模型；然而，近期基准测试显示，这些模型在物理推理方面存在明显不足。这引出了一个问题：这些模型究竟内化了物理原理，还是仅仅复现了熟悉的运动模式？为此，我们探查了视频 Diffusion Transformers（DiTs）的内部表示，研究由模拟器导出的真实物理量。这些物理量涵盖运动学运动，以及重力和接触条件下的刚体动力学。我们发现，在去噪过程的早期阶段，这些物理量即可被线性解码，且准确率很高，显著优于直接从模型自身的加噪潜变量中解码的基线结果。这表明，相关物理信息是在去噪过程中主动构建的，而非输入中原本就已存在。此外，我们表明，位于物体上的 token 携带了相关物理信息，并且定义于多帧之上的物理量可以从单个潜变量帧中读取。因此，信息在 token 序列中的分布高度集中：它在全局范围内计算，却在局部位置存储。探针还显示出部分外推能力：它们能够迁移到训练范围之外的场景变化和物体配置，因此所读取的并不只是与其拟合场景相关的表征。当直接在全分辨率激活空间中进行拟合时，这些探测方向还可以作为引导向量，用于改变模型的输出。
12:00 arXiv cs.LG 78
arXiv:2610.02232v1 公告类型：cross 摘要：在单细胞分辨率下预测扰动引起的表型和转录响应，为探究生物系统提供了强有力的工具。然而，现有方法通常依赖训练期间学习到的固定映射，因此在推理阶段难以校准分布偏移或适应新的扰动条件。在此，我们提出 scEGFlow，一种能量引导的流匹配框架，可动态连接对照细胞状态与扰动细胞状态。scEGFlow 利用条件流匹配对从对照细胞群体到扰动状态的连续转变进行建模。随后，该方法应用特定于条件的能量梯度来校正和引导这些预测，从而无需重新训练流模型即可灵活调整。涵盖成像表型和转录组谱的多项基准评估表明，在已见和未见的扰动条件下，scEGFlow 在重建响应分布方面均优于现有方法，同时忠实保留细胞流形几何结构和群体异质性。在仅有少量测量细胞的情况下适应新条件时，这一优势尤为明显，并能持续提升预测准确性。此外，scEGFlow 能够准确再现扰动诱导的共识基因表达特征中的上调和下调模式；能量引导进一步提高了预测调控方向与观测结果之间的一致性。总体而言，这些发现表明，scEGFlow 为单细胞扰动建模提供了一种模块化、可泛化且可操控的解决方案。通过将生成流建立在学习到的生物学景观之上，该架构为在计算机模拟中探索和操纵细胞行为确立了一种新的计算范式。
00:04 arXiv cs.AI 77
自回归视频生成的最新进展提升了长时段生成中的时间一致性，但交互式叙事所需的不仅是连续扩展场景：新镜头可能会结合来自不同历史镜头的角色和背景。整体提示检索可能忽略各个组成部分不同的参考需求，而直接组合所有历史记忆则可能引入无关的视觉内容。为解决这些问题，我们提出 Weave Forcing，一种无需训练的交互式长视频生成组合式记忆复用框架。首先，我们使用 LLM 进行语义槽路由，将用户提示分解为角色和背景描述，并为每个组成部分显式选择合适的历史参考。为隔离所需内容，掩码记忆编织利用以语义槽为条件的对比注意力图构建精细的语义掩码，从压缩的历史 KV 记忆中选择性地暴露相关 token，以指导当前镜头的生成。我们进一步引入 coverage adaptive RoPE，根据无参考、部分参考或完整参考覆盖情况调整时间偏移和记忆保留，从而解决不完整的历史参考被放置在靠近当前生成位置时出现的视觉伪影问题。大量实验表明，Weave Forcing 在保持具有竞争力的视觉质量和文本对齐能力的同时，提升了跨镜头主体与背景的一致性。
01:26 arXiv cs.AI 76
相机控制视频模型正快速发展，朝着更长的生成时域和更复杂的相机控制迈进。其中一个关键失效模式是三维不一致性：随着相机移动，物体失去持久性，场景结构发生偏移。现有的后训练技术通常为整个生成结果分配单一标量奖励，因此难以有效纠正长时域生成中的此类不一致性。我们提出 LoGo，为相机控制视频模型融合全局奖励与空间局部化奖励。局部奖励提供细粒度的信用分配，显著提升三维一致性；全局奖励则保持相机跟随能力和视频质量。在三个基础模型上，LoGo 在 DL3DV 和 TrajectoryBench 上均展现出明显优势。TrajectoryBench 是一个针对长时域、复杂相机控制生成的新基准，弥补了当前评测的不足。LoGo 能够有效减少局部物体偏移、伪影和全局场景变化，体现了信用分配在视频模型后训练中的重要性。项目网站：https://ziqi-ma.github.io/logo-website/
20:19 arXiv cs.AI 78
Flow Matching 通过连续时间动力学实现高质量视觉生成，但由于需要进行多次顺序函数评估，推理过程的成本仍然较高。现有的加速方法虽能减少函数评估次数，但通常会引入额外的训练开销、降低生成质量，或无法考虑输入依赖的差异性。我们提出 COFLOW，这是一种在推理时根据提示特征为每次生成自适应选择步数的方法。我们的上下文感知 COFLOW 通过无监督奖励进行在线训练，在推理效率与生成保真度之间实现平衡。该方法即插即用，无需重新训练底层生成模型。它可推广至图像和视频生成，在保持感知质量与语义质量的同时，实现超过 2.5 倍的加速。我们进一步进行了理论分析，证明在标准正则性条件下，forward-Euler 离散化误差满足 O(1/K) 的上界。
18:19 Hacker News AI 51
A Telegram bot that generates AI videos from text prompts or images. Supports 8 top models including Kling, Runway, Seedance, Veo, Wan, Hailuo, MiniMax, and Grok. No desktop software needed - just chat with the bot and get videos in seconds. Comments URL: https://news.ycombinator.com/item?id=49952489 Points: 1 # Comments: 0
09:30 Latent Space 54
GWM Worlds 2 uses persistent context and timed actions to steer a world model generating video and audio in real time.
12:00 arXiv cs.LG 78
arXiv:2510.03075v4 公告类型：replace-cross 摘要：组合泛化，即生成已知概念的新颖组合的能力，是视觉生成模型的关键要素。然而，并非所有能够促进或抑制组合泛化的机制都已得到充分理解。在本工作中，我们系统研究了哪些设计选择会关键性地决定图像和视频生成中的组合泛化。通过分离彼此独立的设计维度，我们确定了两个与组合成功密切相关的关键因素：(i) 训练目标作用于离散分布还是连续分布；(ii) 训练过程中关于构成因素的条件信息是否完整。我们还表明，通过引入辅助的连续潜变量目标来放宽离散损失，可以部分恢复 MaskGIT 等离散模型的组合性能。我们的发现得到了多种组合任务以及世界模型和 LLMs 中初步证据的支持，促使人们转向采用连续目标来实现组合泛化。
12:00 arXiv cs.LG 80
arXiv:2610.00812v1 公告类型：交叉 摘要：视频生成已从短时低质量片段迅速发展到具有复杂时空动态的高分辨率长时序列。尽管通过大规模预训练学习到了强大的生成先验，预训练视频模型通常仍无法可靠地遵循人类意图、保持时间连贯性，或满足物理与安全约束。与图像和文本生成相比，视频生成中的对齐面临独特挑战，包括随时间累积的误差、运动与外观的耦合、多目标权衡，以及对时间属性有限的监督。这些挑战推动了系统化后训练策略的发展，使其能够在无需从头重新训练模型的情况下对预训练模型进行适配。在本文中，我们首次全面综述视频生成模型中的后训练与对齐。我们将后训练视为一个统一框架，并根据对齐信号的施加方式，将对齐区分为隐式对齐和显式对齐。从这一视角出发，我们将现有方法归纳为四大类：监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法，以及推理时方法。该分类体系连贯地展现了对齐信号如何在训练和部署过程中塑造模型行为。除方法学进展外，我们还综述了常用数据集、基准和评估实践，并讨论了可扩展奖励设计、长时间跨度的时间一致性、稳定性与表现力之间的权衡，以及安全感知生成等开放性挑战。本综述旨在为推进可控且可靠的视频生成模型提供结构化的概念基础和实践指导。
12:00 arXiv cs.LG 77
arXiv:2610.00686v1 公告类型：cross 摘要：近期基于视频的世界模型将自回归（AR）预测的可扩展性与扩散模型的视觉质量结合起来。场景分词器的选择对于实现二者的最佳性能至关重要，无论是在保真度还是语义方面。可变长度、由粗到细的分词器恰好能够满足这一需求：最初的粗粒度词元承载视频片段的全局语义，而后续词元则进一步刻画细节。现有的可变分词器仅在解码器早期的隐藏状态上应用表示对齐（REPA）损失，但解码器也可以部分依靠其带噪输入来完成这一目标。我们提出 SemanTok，这是一种可变长度的视频分词器，将冻结的 DINO 特征输入编码器，并添加轻量级头部，使其仅依据每个保留的词元前缀来重建这些特征。SemanTok 在各种 AR 模型规模下都实现了较高的语义对齐和视频保真度：参数量为 201M 的 SemanTok AR 模型，其性能可媲美或超越规模为其 $3.4\times$ 的 VideoFlexTok AR 模型；更大的 SemanTok AR 模型则能进一步提升保真度。它在分布外类别上仍能保持语义对齐，并且在每个噪声水平下（包括纯噪声）都能使解码器获得更高的语义对齐程度。SemanTok 在重建和生成任务中均表现良好；其较短的词元前缀预测成本更低，并能带来更高的生成保真度，而像素级细节则延后到后续词元中进行刻画。
12:00 arXiv cs.LG 71
arXiv:2610.00365v1 公告类型：新 摘要：近期，蒸馏和流映射模型的发展实现了高质量数据的确定性单步或少步生成，推动了奖励对齐方法的新分支：直接优化来自高斯分布的初始噪声。然而，现有的大多数初始噪声优化方法依赖一阶梯度信息，而在黑盒奖励场景中，这类信息要么无法获取，要么存在不稳定和低效的问题。为此，我们提出了 ZeNOVA，一种以无梯度方式实现的稳定且高效的初始噪声对齐方法。具体而言，我们通过退火软值引导、流形约束的超球面 Langevin 动力学以及 Metropolis-Hastings 跳跃，解决现有算法在黑盒场景中的主要挑战。在图像和视频生成模型上的大量实验表明，ZeNOVA 能够利用高斯先验的几何结构，将初始噪声优化至获得更高奖励的方向，并以显著更高的稳定性超越所有参与评估的零阶基线方法，展示了其在各种黑盒奖励对齐任务中的实际适用性。
08:00 Hugging Face Blog 62
09:09 Hacker News 熱門
01:58 arXiv cs.AI 78
当前可控视频生成系统通常依赖 2D 运动轨迹或稀疏的拖拽信号来控制物体运动。这些控制方式存在歧义，因为同一条 2D 轨迹可能对应不同的 3D 运动，尤其是在相机和物体同时移动时。我们提出 Generative Cinematographer（GenCine），这是一个将单张图像提升为可编辑 3D 场景支架的系统，使艺术家能够共同创作相机运动和前景运动。艺术家可以指定相机路径，并使用局部 3D 运动控件移动选定的前景区域。多个控件可以独立移动主体的不同部分，在无需物理模拟器或特定类别先验的情况下，以分段刚性的方式近似非刚性运动。为了将这些控制信息传递给预训练视频模型，我们将其投影为引导图。这些图记录受控区域在每一帧中的出现位置，为每个控件在所有帧中分配固定颜色，并在与背景相同的世界坐标系中编码其受控点当前的 3D 位置。这样，即使相机发生移动，我们也能描述相对于场景的物体运动。在训练过程中，我们从真实视频中恢复运动过程中观察到的控制信息，并使用合成视频中的真实几何结构和轨迹。我们在预训练的 Wan 模型上训练了一个轻量级引导分支和 LoRA 适配器，使其能够遵循这些控制信息。实验表明，该系统能够实现一致的相机相对运动，在视点变化下提升几何一致性，并在多样化的真实场景中提供强大的可控性。
01:59 arXiv cs.AI 86
分布匹配蒸馏（DMD）通过分别估计的目标得分函数与学生得分函数之间的差异来训练少步数学生模型，因此必须额外维护一个拟合学生模型不断变化分布的辅助扩散模型，从而增加内存和计算开销。我们提出 DMAD（Distribution Matching as Adversarial Distillation），将分布匹配重新表述为分类问题，并直接学习所需的对数密度比。我们在共享骨干网络上设置两个判别器头，分别区分真实数据和教师样本与学生样本，并通过对其 logits 施加线性损失，在无需额外拟合辅助得分函数的情况下训练学生模型。我们证明，在判别器达到最优时，根据将判别器 logits 与对数密度比联系起来的经典恒等式，这些损失能够恢复 DMD 所依据的分布匹配梯度。我们进一步提出基于间隔的重加权方法，根据真实数据判别器头在真实样本与教师样本之间产生的经验 logit 间隔，自适应地调整不同噪声水平下的教师监督信号。在 ImageNet-64x64 上进行一步生成时，DMAD 的 Fréchet Inception Distance（FID）达到 1.04；在 COCO-10K 上使用四步 SDXL 时达到 14.47；在使用四步 Wan2.1-T2V-14B 时，VBench 总分达到 85.15；这些都是所比较的少步数方法和多步数教师模型中的最佳结果。在 MiniMax-H3-33B 上，我们的四步学生模型在联合音视频生成任务中，相较于 DMD2 和 rCM 的总体人类偏好率分别达到 79.1% 和 84.6%，不计平局。我们的代码、模型和演示可见于 https://yzmblog.github.io/projects/DMAD。
16:16 arXiv cs.AI 77
运动模糊源于在有限曝光窗口内对连续清晰信号进行时间积分，然而现有基于学习的方法绕开了这一物理模型，只预测清晰信号本身：大多数单图像去模糊方法恢复曝光中心时刻的单帧图像，而模糊到视频方法则预测一组固定帧。我们提出 PickMoment，这是一种连续时间重构方法，利用单个确定性模型，直接学习曝光区间内任意子区间的区间平均模糊。受 MeanFlow 平均速度表述的启发，我们利用由模糊积分得到的三种监督信号训练模型：基于可用子帧的经验重建损失、约束重叠子区间之间自洽性的可加性损失，以及以零区间极限为锚点的清晰帧损失。经过训练的单个模型将单图像去模糊、模糊到视频生成和连续时间任意时刻选取恢复统一起来，将它们视为对同一网络的不同查询，无需针对每项任务分别训练。在 GoPro 和 HIDE 上，PickMoment 在基于生成的方法中实现了最先进的去模糊性能；在 RealBlur 上，其性能可与基于复原的方法相竞争；在 GoPro-7 模糊到视频任务中，其逐帧保真度最高。所有结果均通过单次前向传播获得，无需迭代采样。
01:59 arXiv cs.AI 80
近年来，视频生成技术日益逼真且更具可控性，但视频编辑仍相对不够成熟，尤其是在进行精确的局部编辑时，还必须保留原始场景的动态特征。视频场景文本编辑旨在替换场景表面上的文本，例如店面招牌、白板和产品标签上的文字，同时保留周围内容、运动以及相机动态。尽管图像场景文本编辑已得到充分研究，但要同时实现高视觉质量、时间一致性和编辑局部性的视频场景文本编辑，仍缺乏深入探索。现有资源提供的真实视频配对数据有限，而通用视频编辑指标无法直接衡量所请求的文本是否随时间保持正确。我们提出了 ViTeX-Bench，这是一个由 ViTeX-Dataset 和三轴评测协议组成的基准套件。该数据集包含 387 个真实世界的 720p 视频，并配有文本区域掩码和编辑指令：其中 230 个视频提供了经过审核、由处理流程生成的配对编辑结果，用于训练；另外 157 个视频构成固定评测集。该协议通过 13 项指标评估文本正确性、视觉与时间质量以及编辑局部性，每个维度设有一项主要指标，并通过 Pareto 比较分析它们之间的权衡关系。OCR 校准、人工评估和标注敏感性分析为这些分数的解读提供了支持。在来自四类编辑方法的八个基线模型中，要同时实现文本准确性、时间稳定性和场景保真仍然十分困难。我们还发布了 ViTeX-Edit-14B，这是一个开源参考编辑器，基于配对训练集进行微调，并采用运动对齐的字形-视频条件输入。在评测的视频原生编辑器中，它取得了 0.688 的 CharAcc，为最高平均值；在原始编辑器输出中，其可比文本裁剪 Warp 指标最低。ViTeX-Bench 为研究视频场景文本编辑中的这些权衡提供了可复现的基础。
01:55 arXiv cs.AI 77
专家混合（MoE）因大型语言模型而广为人知，是扩展视觉生成模型的一种有前景的范式。然而，传统的逐 token MoE 会在同质专家池中独立地路由各个 token，并通过正则化促使专家使用趋于均匀，因此难以适配具有时空冗余和语义长尾特征的视频数据。我们发现，现有视觉 MoE 陷入了均匀性陷阱：语义组织不足的路由，加之对专家均匀使用的正则化，使具有连贯语义的图像块被分散到不同专家中，导致路由碎片化和结构失真。为此，我们提出 SplitMoE，这是一种打破均匀性束缚的分工式稀疏架构。为适应固有的语义不平衡，我们将专家池明确划分为语义专家和通用专家：语义专家负责捕捉高层语义抽象，通用专家则保留残余视觉信息和灵活的生成能力。借助原型引导路由和拉推正则化，SplitMoE 使 token 能够依据语义属性自然聚类，而非受任意的均衡约束支配。大量实验结果表明，在激活参数预算相当的情况下，SplitMoE 在标准基准上的收敛速度、路由连贯性和视频生成质量均优于传统的负载均衡 MoE。通过揭示一种涌现的由粗到细的去噪逻辑，SplitMoE 为社区提供了一条模态感知的扩展路径，可作为构建大规模视频世界模型的重要参考。
23:16 Hacker News 熱門 65
大家好 HN，我是 Per，Scrimba（YC S20）的创始人。在过去十年里，我们一直用一种基于 HTML 的视频格式教人们编程。现在我们把 LLM 接入了其中，让人们可以创建关于任何内容的讲解视频。它叫做 “Scrimba Explain”。 为了向 Hacker News 演示这项技术，我们构建了 HN.watch。它就像 HN，但用讲解视频代替文章。我们会在有人第一次点击某个链接时即时创建这些视频。 虽然使用 HTML 而不是扩散模型有明显的视觉缺点，但它有三大优势：- 速度：比基于像素的视频生成快得多（从点击到播放只需几秒）- 成本：我们每个视频的成本约为 0.04 美元。（不包括某些视频会使用的图像生成；这会很快推高成本）- 易于编辑：上述优势也让 AI 辅助编辑变得便宜且快速 我们的假设是，如果视频创作从“几美元和几分钟”变成“几美分和几秒钟”，就会解锁一批新的使用场景。以下是我们已经看到的一些：- 为每一个 Pull Request 提供视频讲解（我们内部就是这样做的）- 为你的内部/外部文档中的每个页面配一个视频 - 在约 4 秒内把一篇复杂文章变成视频（通过我们的 Chrome 扩展）- 课程创作者可以在录制正式内容前快速起草课程 - 人们还会创作很多个人内容，比如给孩子的故事、婚礼邀请、生日等 这个技术栈基于一种开源编程语言（Imba），由我们的 CTO Sindre Aarsæther 创建。它会编译成 JavaScript，因此能与 npm + node 生态系统完全互操作。你可以在这里了解更多： https://imba.io/ 我们还构建了自己的同步引擎（OP），以及一个用于代理的上下文管理系统（Q）。我们原本担心这会让 LLM 在为我们写代码时遇到困难，因为这两者都不在它们的训练数据中（其中 Imba 的数据也很少）。然而，我们惊喜地发现 LLM 实际上非常擅长我们的技术栈。这可能是因为这个技术栈极其紧凑。Imba 很简洁，OP 也是如此，一个声明就能设置存储、同步、权限、UI，以及 AI 能看到的内容。这意味着前端、API、数据库和 JSON 之间不需要相互转换，模型也就不容易混淆和出错。 简单来说，我们没有使用 React.js、Express、Supabase 和 LangChain，而是从零开始全部自己构建。绝对是深受“非我发明”综合征之苦，哈哈！至于模型，我们使用 Gemini、GPTs、Inworld、ElevenLabs 以及其他一些模型。 如果你想试试，可以任选一种：- Web UI（scrimba.com/explain）- MCP（添加到你的编码代理中）- ChatGPT Plugin - Chrome Extension 你可以在我们的文档中找到以上所有内容的链接： https://docs.scrimba.com/explain/introduction 最后，这是该工具的一个真正基于像素的视频： https://www.youtube.com/watch?v=k6rbHmBxSEs 很想听听你的反馈，也想知道是否有人对其他使用场景有想法。 PS：考虑到 HN 群体有多偏爱文本，我预计这次发布会在 HN 上遇到相当多的反对意见。这类工具并不适合所有人。但如今确实有很多人更喜欢视频而不是文本，尤其是年轻一代。 评论 URL： https://news.ycombinator.com/item?id=49879401 积分：18 评论数：8
22:47 arXiv cs.AI 71
大型视频扩散模型为具身预测与学习提供了富有表现力的先验，但其多步采样对于交互式下游使用而言仍然代价高昂。Distribution Matching Distillation (DMD) 能够实现少步视频生成，但在保持视觉质量的同时，可能会抑制机器人--物体运动。通过考察 DMD 的教师信号和 fake-score 信号，我们发现，较弱的重新加噪会使教师后验集中在运动不足的 rollout 附近，从而限制恢复运动的引导。同时，运动更强的 rollout 往往会产生更大的 fake-score 拟合误差，这可能阻碍生成器学习交互动态。我们提出 DyMD，这是一个 DMD 框架，可使教师监督和 critic 拟合同时适应不断演化的学生模型。基于时间亲和性的重新加噪采样通过将基础调度与受局部后验变化启发的教师先验相混合，使时间步分布适应每个 rollout 当前的交互保真度，从而平衡运动恢复与外观细化。为更好地跟踪运动更强的 rollout，动态引导的 fake-score 跟踪使用一个噪声条件预测器，根据潜在时间动态估计相对于噪声的拟合难度，然后在 critic 损失中提高预测为困难的 rollout 的权重。使用 DyMD，我们将一个 14B 教师模型蒸馏为一个四步 1.3B 学生模型，并且推理时无需辅助模块。在具身视频基准上，与 Base DMD 相比，学生模型在 R-Bench 任务遵循性上提升了 $9.6$ 个百分点，在 PAI-Bench-G Domain 分数上提升了 $5.1$ 分，同时保持了相当的视觉质量。作为下游动作规划的骨干，我们的学生模型在两个 WorldArena 任务上取得了 34% 的平均成功率，而 Base DMD 为 16%。
19:18 arXiv cs.AI 81
通用视频编辑的发展依赖于构建大规模成对监督数据，并有效地使视频生成骨干模型适应指令驱动的编辑。不同于视频生成，视频编辑必须执行所请求的变换，同时保留无关主体、场景结构、运动和时间连续性。我们提出了 VideoX-Qwen，这是一个面向通用指令驱动视频编辑的集成式数据构建与模型训练框架。我们的可扩展生产流程将专门的生成模型与理解模型组织成互补的添加、移除、替换和属性编辑路径，随后进行质量筛选与指令增强。该流程生成了超过 120 万条定向视频编辑数据记录，其中每个主要任务组均包含超过 40 万条记录，自动接受率达到 89%。由此得到的数据集通过统一的源视频-指令-目标视频接口，对常见编辑操作进行了广泛且结构化的覆盖。我们进一步开发了统一的 Qwen-Wan 编辑器，将多模态语义条件与密集的源视频潜变量引导相结合。渐进式图像-视频训练策略对齐了多模态指令接口，使视频生成器适应源视频条件下的编辑，并利用筛选出的高分辨率数据进一步提升输出质量。在与 UniVideo 和 Kling O1 基于 100 个样例的比较中，VideoX-Qwen 在报告的 11 项指标中的 9 项上取得了最佳平均结果，这些指标涵盖指令遵循、编辑质量、内容保留、结构与感知相似度以及视频分布质量。总体而言，大规模数据生产系统与统一训练框架为构建更强大的指令驱动视频编辑能力提供了实用基础。
01:46 arXiv cs.AI 80
物理任务的视觉指导通常在一种情境下编写，却在另一种情境下执行，因此用户需要将演示中的工具、材料和空间关系转换到自己的环境中。我们提出 Generative Tutorial，一种实时视觉指导的概念框架，能够在用户所处的环境和任务流程中呈现预期结果与操作。我们对最先进的图像和视频生成技术进行了形成性评估，考察其在 15 项物理任务中的失败情况与潜在优势。在此基础上，我们构建了一个增强现实原型系统，利用观测到的工作空间情境以及对前序操作视觉结果的预测，主动生成目标图像和演示视频。一项包含 24 名参与者的实验室研究发现，与预先编写的指导相比，使用该系统能够获得更高的任务完成质量、更强的感知工作空间对应性，以及更短的步骤确认间隔。定性研究结果凸显了情境相似性如何塑造信任、生成错误如何影响理解，以及指导呈现应如何适应用户需求，并为未来的设计提供了依据。
01:57 arXiv cs.AI 74
视频世界模型能够实现对动态环境的交互式探索，但在长时间跨度和跨视角条件下，往往难以遵循先前的观测结果。我们提出 WorldCrafter，一种为此目的学习可由相机视角查询的隐式 3D 感知记忆的视频世界模型。其核心洞见是，让请求的视角决定如何将多视角证据压缩到视频生成器有限的令牌预算中。记忆编码器和姿态条件化读取模块与视频生成器联合训练，在去噪之前将历史观测整合为一组固定的、针对目标视角的令牌，而无需显式的基于深度的对应关系。通过将这一记忆与近期时间上下文和少步蒸馏相结合，WorldCrafter 能够从单张输入图像或文本提示开始，以流式方式探索场景。在静态和动态场景上的实验表明，该方法在长时间跨度的一致性和相机控制精度方面均取得了显著提升，同时在分钟级探索过程中保持了视觉质量。
18:58 arXiv cs.AI 76
步数蒸馏降低了视频生成成本，但复用为更长轨迹训练的 LoRA 可能改变其功能效果，或降低目标质量。静态参数兼容性为这一问题提供了一个视角；我们的观察表明，在缩短的去噪调度下，相似的测量几何结构可能与不同的适配器行为共存。我们提出 DART，这是一种免训练方法，通过结合低秩坐标传输与目标调度响应校准来解决这一问题；该方法仅使用前向评估，不需要源训练视频。在四步 Wan2.2 目标模型上，DART-F 将联合质量分数从 0.9029 提升至 0.9227，并将宏观功能保留度从 -0.4644 提升至 +0.1349。组件分析表明，校准贡献了大部分质量提升，而坐标传输与校准结合时可带来互补增益。适配器级结果显示，部分适配器具有正向功能效果，而另一些适配器则表现出较强衰减，同时负向功能效果有所减弱。在另外两个目标模型上的评估显示出相同的总体趋势。这些结果表明，应当从功能保留与负迁移规避两个方面联合评估蒸馏模型中的 LoRA 复用，而不应假设每个适配器都能实现效果恢复。
01:54 arXiv cs.AI 79
空间推理不仅依赖距离、角度和形状等度量属性，还依赖在连续变形下保持不变的拓扑关系。认知科学将这些关系视为空间理解的基础，然而，对基础模型的评测主要聚焦于度量关系或依赖视角的关系。我们推出 MindTopo，这是一个基于认知科学和形式拓扑学、涵盖五种属性的拓扑直觉基准：连续性、分离性、次序、包围和纽结。MindTopo 在两个认知层次上评估每种属性。推理任务要求模型识别拓扑关系，或推断这些关系如何变化。规划任务则将基础模型实例化为闭环智能体，由其策略选择环境动作。MindTopo 包含 13 种程序生成的任务类型，共 11,030 个实例，并支持难度控制。我们对 14 个 MLLMs 进行基准测试，并研究了加入图像和视频生成能力的智能体配置，其中包括规划设置下的 3 个视频生成模型。每个 MLLM 在推理任务上的表现都优于规划任务，且表现最佳的模型仍远低于观察到的人类表现。在 Qwen3-VL-2B-Instruct 上，有监督微调和强化学习对推理能力的提升大于对规划能力的提升。生成的观测结果保留了局部线索并到达了看似合理的终点，但经审查的运行轨迹并不能可靠地遵循环境动力学，也无法在状态转换过程中保持拓扑结构。我们的网站位于 https://mind-topo.github.io/。
05:30 Hacker News 熱門 73
文章 URL： https://www.ntsb.gov:443/news/press-releases/Pages/NR20260909.aspx 评论 URL： https://news.ycombinator.com/item?id=49650418 得分：3 评论数：0
01:21 arXiv cs.AI 73
我们提出 H3-World，一个高效框架，可将 33B MiniMax-H3 视频生成器转化为交互式世界模型。我们的关键发现是，随着大型视频生成器能力不断增强，语言正成为一种自然的控制接口。例如，MiniMax-H3 已经支持通过自然语言指令对角色行为和摄像机运动进行零样本控制。在此基础上，H3-World 将这一粗粒度语言接口转化为精确、具备时间对齐的世界控制，而无需引入专门的动作模块。具体而言，我们将每个动作表示为角色和摄像机指令的结构化组合，并将其与对应的时间视频潜变量对齐。为了使控制在时间上更加精确，我们进一步引入时间注意力路由，将每条指令限制在其预期的时间区间内，并减少不同动作之间的控制泄漏。重要的是，H3-World 直接复用大规模视频预训练中学到的语义表示，只需要轻量级适配。仅使用 8,000 个游戏样本、10,000 步 LoRA 优化，以及 0.199% 的可训练参数，H3-World 就能实现有效的角色和摄像机控制，同时保持较强的生成质量。它也能泛化到未见过的场景。这些结果表明，大型视频生成器中涌现出的控制能力可以被高效地转化为交互式世界控制。
15:29 arXiv cs.AI 76
长程、故事驱动的视频生成需要一个制作智能体来协调叙事拆解、状态跟踪、镜头设计、提示词构建、渲染以及跨相互依赖场景的修订。现有的自适应视频系统主要是优化请求或可复用技能，但这些改进与跨故事、面向特定阶段的持续改进相脱节。我们提出 CineForge，这是一个自我进化的视频制作智能体框架，将用于视频生成的 CineForge-Produce 与用于跨故事策略演化的 CineForge-Evolve 结合起来。CineForge-Produce 将每个源故事组织为类型化的叙事、角色、空间和电影状态，利用它们协调素材和片段生成，并将过程记录为规范化的制作轨迹。CineForge-Evolve 采用 Case-to-Pattern-to-Policy Evolution (CPPE) 来审查轨迹证据，将重复出现的发现整合为有界的阶段局部补丁，并通过结构化重放和置信度受控的成对评估部署经过验证的更新。为了衡量完整的故事实现，我们提出 CineScope，它结合了一个包含 100 个脚本的 CineScope-Data 套件，以及一个与人类对齐的多尺度 CineScope-Metric，覆盖因果状态、导演编排、节奏与资源分配，以及角色弧线。在 CineScope-Data 和两个公共基准上，演化后的 CineForge 策略将 CineScope-Metric 从 4.024 提升到 4.380，在 ScriptAgent 下相较三个长视频基线取得一致增益，并在新故事上将审查 LLM 调用减少 37.0%。这些结果表明，制作轨迹可作为可操作的经验，使视频智能体能够在长篇叙事任务中累积改进。
01:25 arXiv cs.AI 77
近期用于几何估计的生成式方法会适配预训练的图像扩散模型，并将该任务视为以图像为条件的生成。借助现成的图像扩散模型，它们要么 (i) 分别训练面向特定任务的几何模型（用于深度和表面法线估计），从而失去探索这些几何目标内在相关性的机会；要么 (ii) 联合微调经过修改的图像扩散主干网络（例如改动自注意力），而这通常需要大量标注数据。为以一种原则性方式克服这些局限，我们将预训练的视频生成模型重新用于几何估计，构建为一个统一且数据高效的框架，并创新性地将其表述为下一帧预测任务。我们的方法 GeoNeXt 自然继承了视频模型中结构化的知识和更丰富的先验，同时进一步将其适配到图像与几何目标的联合建模（image <-> geometry），从而实现更高效、更有效的几何学习。大量实验验证了我们的方法在多个数据集上的零样本单目深度和表面法线估计能力，在使用显著更少训练数据的情况下，优于以往的特定任务方法和统一生成式方法。值得注意的是，我们的方法可与训练时使用超过 100 倍更多数据的判别式最先进方法相媲美，并且在多个基准上表现突出。
00:46 arXiv cs.AI 76
近期的视频生成模型越来越多地被定位为世界模型。许多物理过程可以以不止一种有效方式展开。因此，世界模型不仅应复现一条合理的轨迹，还应复现在相同初始观测和动作下可能行为的分布。我们将这种分布层面的要求称为概率对齐。然而，现有评估大多评估单个视频的合理性，并不检验重复生成是否能恢复正确的分布。这提出了一个核心问题：当前的视频生成器距离概率对齐的世界建模还有多远？为回答这一问题，我们将概率对齐形式化为世界模型的一项分布准则，并引入 PAWBench，这是一个用于将视频生成器评估为世界动态随机采样器的基准。我们进一步引入 PAWEval，这是一种结果层面的协议，可将重复的视频推演转换为可能物理行为的经验分布。在 50 个场景和 11 个当前系统中，没有任何模型能够在恢复有效行为范围的同时始终匹配参考概率。在确定这一差距之后，我们测试了语言提示、初始噪声采样或模型训练是否能够重塑模型的预测分布。我们相信，我们的工作可作为未来推动概率对齐世界建模研究的基础。
01:35 arXiv cs.AI 82
最先进的动作条件视频模型通常仅限于单一机器人具身形态，因而无法利用包含丰富学习可泛化物理信号的大规模异构视频数据。为弥补这一缺口，我们提出 CLAP，一个能够跨具身进行动作条件视频生成的框架，可在来自人类和机器人智能体的多样化、互联网规模视频上训练。CLAP 的核心洞见在于：无论执行主体是谁，普适的物理定律都支配着时空动态。然而，跨具身学习并非易事，因为不同机器人平台之间的动作表示差异很大，而人类视频中通常又缺少动作信息。CLAP 通过以下核心贡献解决这一根本挑战。首先，CLAP 使用末端执行器位姿、语言指令和潜在动作来协调不同的动作空间。其次，为了弥补各自的局限，CLAP 提出了一种基于课程学习的跨具身学习方案：先利用潜在动作在无标注视频数据上学习基础物理先验，再将其锚定到末端执行器动作空间中，以便零样本部署到真实世界任务。关键的是，CLAP 在 DROID 等具有挑战性的环境中已接近或超过最先进的单具身视频模型。这些性能优势还能通过少样本适配进一步累积，从而建立起一种训练单具身视频 world models 的新范式。最终，CLAP 提供了迄今为止最全面的动作条件视频 world models 套件——覆盖多种动作条件空间（末端执行器、语言和潜在）以及多种机器人形态（包括跨具身、DROID、Bridge、双臂 YAM 机器人和 G1 humanoids）。我们已开源全部代码和模型。项目网站见 https://omni-clap.github.io 。
01:59 arXiv cs.AI 78
原生视觉推理将视觉生成本身视为推理媒介：视觉状态（即图像和视频）不仅仅是需要理解的输入或需要渲染的输出，而是超越语言进行问题求解的第一类载体。然而，进展仍受限于缺乏可扩展的训练任务、可靠的反馈，以及跨生成载体的受控比较。在这项工作中，我们提出 VBVR-Pro，一个闭环测试平台，使基于生成的原生视觉推理变得可训练、可验证、可优化，并且可进行实验控制。1）任务扩展。VBVR-Pro 将视觉推理转化为一个受控的任务空间，包含 300 个程序化生成任务。在 VBVR-Pro 上训练的模型，在 RISE-Video、MME-CoF-Pro 和 BabyVision 等七个外部视觉推理基准上表现出强迁移能力，超出了所提出套件的范围。2）可验证奖励。VBVR-Pro 为任务约束的评估提供可验证的奖励评分器。通过对领先 MLLMs 作为裁判的系统性研究，我们识别出当前流行的 VLM-as-a-judge 范式中反复出现的失败模式。相比之下，所提出的评分器建立在确定性的、任务特定的规则之上，并与人类判断实现了细粒度对齐。重要的是，它们可作为大规模多任务强化学习的可靠奖励信号，并在各类视觉推理任务上展现出更强的 RL 后性能。3）机制研究。VBVR-Pro 支持在 30 多种图像、视频和交错式生成器之间开展受控模态研究。我们的分析表明，对于需要持续时空状态跟踪的任务，视频生成仍然最强，而交错式生成则提供了一种计算更高效的替代方案。关键的是，消融和探测结果表明存在视觉原生轨迹，而这对于视觉推理至关重要。我们公开所有数据、模型、评分器和代码。
01:14 arXiv cs.AI 76
视频世界模型通过生成式采样来近似物理结果的随机分布，但现有基准要么对单个生成结果评分，要么在整个数据集上粗略比较分布，使得特定现象的细粒度偶然不确定性未得到检验。我们提出 CaliBench，它在具有物理可解释性的离散空间中对结果进行评分——例如箱位索引、骰子面、花色、颜色——而不是像 FID 那样在学习得到的特征空间中评分，因此可以直接测量其与已知参考分布的距离。我们构建了参考分布具有闭式形式的结果空间（二项式 Galton boards、Bernoulli forks、均匀骰子/纸牌/彩票、偏斜的欧洲轮盘颜色），从而实现精确的校准测试。我们将性能分解为两个正交维度，而单一准确率指标会将它们混为一谈：可评分性，即生成结果中能产生可评分结果的比例；以及校准性，即该样本相对于参考分布的总变差距离。卡方检验用于评估显著性；由于校准性是其零假设，它只能证明失校准，并且在每个单元 N=32 时只能检测到较大的偏差。我们将其应用于九个场景和六个图像到视频模型（WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Veo 3.1、Runway Gen-4.5、Cosmos3-Super），每种组合生成 32 次。模型普遍会将概率质量集中在少数几个结果上，而不是复现参考分布。大多数场景-模型组合都存在显著失校准，极端情况下会坍缩到单一结果，例如 Veo 3.1 在骰子场景中的表现。在轮盘场景中，生成结果常常让小球位置含糊不清，导致多个模型的可评分性较低。性能因场景而异：没有任何模型在全部九个场景中占优。我们发布了该协议以及一个指标（平均归一化总变差，mnTV），用于将新模型与我们的结果进行比较。
23:32 arXiv cs.AI 82
近期的视频生成器能够伪造对战争、灾难、公共紧急事件以及其他现实世界危机的逼真描绘，从而带来重大的错误信息风险。然而，现有基准在此类场景下对检测器和生成器行为的证据仍然有限，包括可检测性如何随生成条件变化、人们如何感知生成视频，以及检测器在社交传播过程中是否仍然可靠。为弥补这一空白，我们提出 RA-Bench，这是一个使用真实视频作为锚点的 AI 生成视频检测基准。RA-Bench 包含 17,886 个视频，其中包括覆盖 10 个社会风险类别的 1,830 个真实视频锚点，以及来自四个开源和五个闭源生成器的 16,056 个生成片段。基于 RA-Bench，我们从三个维度组织评估。首先，我们评估检测器的泛化能力，涵盖七种传统检测器、十种在三种审核设置下的零样本多模态模型，以及两个专门针对 AI 生成视频检测进行微调的 MLLMs。在这些方法中，三类检测器都无法在 RA-Bench 实例上持续泛化。随后，我们考察可检测性如何随生成质量、条件信息和采样种子而变化。这些分析表明，生成属性对不同检测器类别的影响不同，而源级别检测模式在不同种子下保持稳定。最后，我们研究人在真实性判断中的表现以及检测器在社交传播过程中的可靠性。我们发现，误导人们的视频对当前检测器而言同样难以识别，并且社交传播会使检测更加困难。总体而言，这些发现表明，当前方法难以检测逼真的 AI 生成视频，凸显了对能够适应不断演进的视频生成器且具备鲁棒性的检测器的需求。
01:00 DeepMind Blog 75
我们最新的 Veo 更新可生成生动、动态、自然且引人入胜的短片，并支持竖屏视频生成。
16:00 OpenAI Blog 72
我们探索了在视频数据上对生成模型进行大规模训练。具体而言，我们在不同时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型。我们利用了一种 transformer 架构，该架构作用于视频和图像潜在代码的时空片段。我们最大的模型 Sora 能够生成一分钟的高保真视频。我们的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前景的路径。
08:00 OpenAI Blog 79
Sora 是 OpenAI 的视频生成模型，旨在接收文本、图像和视频输入，并生成新的视频作为输出。Sora 基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的工具，用于讲故事和创意表达。
18:00 OpenAI Blog 92
我们的视频生成模型 Sora 现已可在 sora.com 使用。用户可以生成最高 1080p 分辨率、最长 20 秒的视频，并可选择宽屏、竖屏或方形宽高比。你可以使用自己的素材进行扩展、再创作和融合，也可以根据文本生成全新的内容。
08:00 OpenAI Blog 87
我们最新的视频生成模型相比以往系统，在物理准确性、真实感和可控性方面都有提升。它还具备同步对白和音效功能。可在新的 Sora 应用中使用它进行创作。