全部动态

本页 40 条
10月12日 周一
arXiv cs.AI82

ReplaySSM:缓存 SSM 输入,而非状态

状态空间模型(SSM)维护一个固定大小的循环状态,但在每个解码步骤中读写该状态可能成为混合模型的瓶颈。这种即时状态管理会产生大量算术强度低的状态 I/O,使推测解码缺乏低成本的回滚方式,并将状态量化误差传递到后续循环更新中。我们提出 ReplaySSM,通过展开循环,将状态表示为一个检查点和一个存储近期 SSM 输入的缓冲区,从而将输出计算与检查点更新分离。通过周期性更新检查点,ReplaySSM 避免了大多数步骤中的状态写入,并将占主导地位的状态内存流量减少约一半。保留近期输入还使推测回滚简化为缓冲区指针操作,并支持仅计算输出的验证,无需显式生成中间状态。同样的分离机制允许在大多数步骤中使用低精度检查点进行输出计算,同时使用更高精度的检查点进行循环更新,因此低精度副本中的舍入误差永远不会进入后续更新。我们在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了 ReplaySSM。在推理服务批大小为 256 时,相较于经过调优的 vLLM 基线,它在四个混合模型上将标准解码速度提升至 $1.20$--$1.47\times$,并在两个 120B 级模型上实现了约为 vLLM 推测解码 $1.8\times$ 的吞吐量。与共享低精度检查点相比,为状态采用不同精度还减少了输出 KL 散度和下游准确率损失。

arXiv cs.AI65

UkrMeme: Multimodal Explainable Persuasion Detection in Ukrainian Memes

Memes play a central role in modern online communication, especially in contexts of political conflict where visual and textual cues combine to convey persuasive messages. We study persuasive technique detection in Ukrainian memes using vision-language models (VLMs). We introduce UkrMeme, a dataset of 200 organically produced Ukrainian wartime memes annotated for persuasion techniques, and PTM-UA, a Ukrainian translation of a subset of the Propaganda 950 benchmark that preserves original visual content while translating meme text. We evaluate VLMs in a zero-shot prompting setup across image, text, and multimodal inputs using hierarchical F1 metrics. Finally, we compare Layer-wise Relevance Propagation (LRP) and model-generated token attributions and analyze the semantic categories of evidence emphasized by each explanation method.

arXiv cs.AI74

你的离散图扩散模型正在暗中记忆

离散图扩散模型(GDMs)在马尔可夫噪声模型下,通过向节点和边独立添加噪声来破坏图结构。在没有节点特征的无条件设置下,仅用一张图训练的等变去噪器能够生成新颖的图,而边重叠度和 WL 核相似度等样本级指标并未发现记忆的证据。在本研究中,我们质疑这一观点,并首次表明图扩散模型确实会出现记忆现象。通过分析在双块随机块模型(SBMs)上训练的 GDMs 的逆向扩散轨迹,我们发现了强烈的训练数据偏向:与留出的测试图相比,模型几乎能够完美恢复被噪声破坏的训练图。我们将其称为条件记忆,因为它只有在逆向轨迹以被噪声破坏的训练图为条件时才会显现,而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距:训练损失持续下降,而留出图上的损失却不断上升,且早停无法缓解这一现象。记忆的出现总是先于生成图中社群结构的形成,因此,在此之前的所有检查点都只能生成没有结构的图。这种行为在我们测试的所有节点规模下都成立。

arXiv cs.AI79

FORTE:面向工业推荐系统的特征评估与弃用生产框架

生产环境中的推荐系统存在特征生命周期不对称性:添加新特征必须在某项指标上带来收益,而移除特征则不得导致任何指标退化。在实践中,特征弃用很难获得优先处理,因为特征可能因以下情况而无法移除:它与其他特征存在交互,其重要性每天都在变化,无法在生产模型发生变化或数据漂移之前完成评估,与其他上线项目争夺 A/B 测试资源,导致线上 A/B 测试指标退化,或被多个模型使用而需要协调弃用。我们提出 FORTE,这是一个模型无关的生产框架,用于发现、验证和移除特征。其高效的扰动实现支持每日特征评估。为考虑特征间的交互,它通过分组消融来评估由所有排名较低的特征构成的候选特征集,其离线结果能够充分预测线上 A/B 测试结果,从而支持有把握地推进弃用方案的线上测试。血缘追踪可识别所有使用相关特征的下游模型,从而充分实现从训练集中移除特征所带来的资源节省。我们在两个大规模推荐系统上验证了 FORTE,发现它能够识别出不会导致线上指标退化的可弃用特征集,而对效率的影响则取决于模型特性。在一个搜索相关性模型上,FORTE 生成了三个相互嵌套的候选集,分别包含 32、48 和 59 个特征。线上护栏指标否决了规模最大的实验方案。最终选定包含 48 个特征的集合进行弃用,移除了该模型 43.3% 的特征。在一个大型排序模型上,FORTE 识别出 8 个待移除的候选特征。重新训练和 A/B 测试确认未出现指标退化。该方案上线后,可训练参数减少了 29.9%,推理服务吞吐量提升了 19.8%–25.5%,每年训练成本降低了数十万美元。

arXiv cs.AI84

相同查询,不同答案:语义查询处理中的运行间变异

语义查询引擎要求大语言模型(LLM)对单个数据行作出判断,而基准测试通过温度为 0 时少数几次执行的质量来比较这些引擎。我们测量再次执行会带来多大变化。我们通过 SemBench、LRO-Bench 和 UDA-Bench 各自的测试框架,重新执行其文本和表格工作负载,记录全部 120 万次模型调用,并重新分析 SemBench 已公布的执行结果。在温度为 0 时,视模型而定,五次执行中有 0.07% 至 10.2% 的数据行出现算子输出变化,在某项任务中这一比例高达 24.0%。正如可能世界模型所预测的那样,查询计划会放大这些变化,放大程度随答案所涉及的数据行数呈指数增长:在 UDA-Bench 中,提取值仅有百分之几发生变化,但约三分之二的答案发生了变化。在 SemBench 已公布的结果中,21% 的文本结果在不同执行之间出现质量变化,采用确定性查询计划的引擎也不例外。对于若干按查询进行的系统比较,以及针对 LRO-Bench 实现建议开展的 28 项检验中的 16 项,基准测试所进行的执行尚不足以得出定论。发生变化的数据行也是不同模型之间存在分歧的数据行;单次执行内相同请求产生不一致结果的频率,与跨执行时一样高;而一次执行中的决策裕度或推理长度可以预测哪些数据行会发生变化。投票可以降低变异,但无法将其消除;经过校准的级联机制在返回的数据行发生变化时,仍能维持其保证。我们据此推导出基准测试的报告规则和查询引擎的设计规则。

arXiv cs.AI74

MC-EvoBench:审计 Minecraft 智能体中经验驱动的自我改进

具身递归自我改进的一项核心挑战,是让智能体将交互历史转化为能够跨世界保留、并迁移至后续任务的能力。仅凭已保存的记忆或成功的最终动作,并不能证明智能体获得了可复用的能力;评估必须将能力变化与沿用的资源、不均等的源任务接触量以及早期执行失败区分开来。我们构建了 MC-EvoBench,这是一个受控的 Minecraft 基准,包含由 19 条已注册演化链组成的固定目录,其中包括 12 条主要评估链和 7 条校准或探测链,以及三组用于迁移评估、与图结构对齐的配对探测任务。该基准将每项任务表示为任务状态图,定义阶段级环境验证器,分配相匹配的源任务与目标任务角色,重置目标世界,并且只允许预先声明的智能体产物跨越源任务与目标任务之间的边界。对于每项探测,我们在匹配的环境步数预算和五个随机种子下,评估无先验、相关、不相关和打乱顺序的源任务条件;报告 TSR、WGP 和 VMP,并保留溯源记录。该基准揭示,控制器变体与规划器支持的变体之间存在一致的直接能力差距,而相关经验并未带来稳定的迁移效果:它未能改善任何一项工具探测的表现,在木材种类探测中的微小收益依赖于单个随机种子,且所有区间均包含零。阶段审计进一步表明,早期木材采集与合成环节的瓶颈往往导致后续能力无法被观测。因此,MC-EvoBench 为持久且可迁移的具身能力提供了一个受控测试平台。代码和数据可在 https://github.com/xzw-ustc/mc-bench-open-source 获取。

arXiv cs.AI70

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

When solving complex spatial reasoning tasks, ordinary humans naturally revisit the scenes from task-relevant viewpoints and mentally reconstruct the spatial layouts from those viewpoints. But can Large Vision-Language Models (LVLMs) proactively think in the same way? We term this ability Active Spatial Mentalization (ASM), an intrinsic component of visual intelligence that remains substantially underdeveloped in current LVLMs. To bridge this gap, we introduce SpatialASM, a scalable framework to internalize ASM into LVLMs through training-time spatial simulation. SpatialASM employs an allocentric novel-view generator to ground hypothetical viewpoints in visual evidence and produces two complementary forms of supervision: i) explicit ASM trajectories that teach LVLMs when and how to adaptively invoke view planning and imagination during spatial reasoning, and ii) automatically-constructed perspective-taking tasks that further strengthens viewpoint-conditioned scene imagination. On seven benchmarks spanning relatively perception-oriented spatial understanding to more challenging tasks requiring multi-image, cross-view and viewpoint-transformation reasoning, SpatialASM yields performance gain on LVLMs of four LVLM backbones in spatial reasoning while retaining their original general vision capabilities. The experimental results demonstrate that our approach improves average accuracy across the seven spatial benchmarks. And the synthesis of ASM trajectories provides a scalable pathway to alleviate the scarcity of spatial Chain-of-Thought (CoT) supervision for eliciting active viewpoint exploration and mental scene simulation.

arXiv cs.AI72

利用人工智能开展大规模漫画研究:PAGE 框架与美国漫画及日本漫画的三项研究

漫画是二十世纪重要的视觉记录之一:在数十万页漫画中,大众读者看到了他们的领袖、战争和英雄。这些记录大多从未得到整体研究;漫画学术研究仍以逐本考察的方式推进。我们认为,包括生成式模型在内的人工智能能够改变这一状况,并使漫画这一媒介本身受益。我们提出 PAGE,一个将人工智能转化为漫画研究工具的框架。它将每份扫描件解析为分格、文本和书目记录;利用视觉语言模型,像人类编码员一样遵循书面编码手册,对每一页进行标注;通过人工标注验证部分解读样本;并在控制出版商和类型因素的基础上进行估计,解释整个档案库中的变化。我们以 3,929 本美国漫画书(1938—1956 年)和 87 卷日本漫画为对象,通过三项各自依托不同能力的研究展示该框架。第一项研究将文本检索与视觉解读相结合,还原一种大众媒介如何描绘政治权力。第二项研究在整个行业范围内测量页面的视觉形式,并辨识个别画家的创作笔触。第三项研究追踪两种漫画传统中由谁发声,并通过人工标注进行核验。在研究之外,这些工具还可以让档案按绘制内容进行检索,使盲人和低视力读者能够阅读漫画,并帮助保存脆弱的馆藏,为未获署名的画家确认创作归属。我们勾勒出一项研究议程,旨在利用人工智能加强对漫画这一媒介的研究与保存,并扩大其传播范围。

arXiv cs.AI79

X-AgentRed:在不断演化的多服务生态系统中对个人智能体开展红队测试

个人智能体日益通过工具连接网络和应用程序中的各类服务。当其行为的影响在不同服务间累积并相互作用时,智能体即使在执行用户的良性请求,也可能产生非预期或有害的结果。要主动识别这些组合性失效,就需要系统地探索多样化的跨服务路径。现有红队测试方法通常只是提示 LLM 根据任务和环境描述识别潜在的有害路径,或将人类或 LLM 指定的有害目标分解为看似良性的动作组合。然而,生成过程会偏向训练期间学到的模式,可能更倾向于熟悉的工具组合,而对新颖的跨服务交互探索不足。为解决这一问题,我们提出 X-AgentRed,这是一个自演化红队测试框架,通过工具依赖关系图发现有害的工具调用路径,并利用执行反馈扩展和细化这些路径。红队智能体通过分析每个工具的作用、潜在危害以及执行前置条件,构建有向图,以刻画一个工具的作用如何满足另一个工具的执行前置条件。从该图中采样的操作方案被实例化为现实场景,智能体在这些场景中可能产生有害结果。执行反馈通过两种方式实现自我改进:通过工具替换使能够产生危害的路径更加多样化,以及针对未成功路径中受阻的步骤细化前置条件,以支持后续执行。在四个前沿智能体模型上的测试表明,X-AgentRed 的有害路径率达到 STAC 的 $1.77\times$,并探索了更加多样化的工具集,工具覆盖率平均达到 STAC 的 $2.99\times$。

arXiv cs.AI81

RATED:基于执行动态的可靠性感知 AI 智能体工具检索

随着 AI 智能体日益依赖外部工具,准确检索对于确保其行为可靠至关重要。现有方法着重优化语义相关性,却在很大程度上忽视了执行过程中的工具可用性。为弥补这一不足,我们提出 RATED(基于执行动态的可靠性感知工具检索),这是一个将稳健的语义匹配与动态可靠性适应相结合的检索框架。RATED 采用经对比微调后冻结的双编码器进行语义匹配,并使用轻量级上下文多臂老虎机模块,根据实时执行反馈对候选工具重新排序。这一设计能够快速适应运行时的工具故障,而无需进行成本高昂的模型重训练。我们推出了 EcoAgent,这是一个包含 5,172 个真实世界工具和超过 210,000 个查询—工具对的基准,用于离线检索与动态可靠性评估。实验结果表明,在真实世界查询上,RATED 相较于 ToolLLM API 检索器的平均倒数排名(MRR)相对提升了 52.2%;在故障率为 30% 的严重 API 中断场景下,故障工具选择率从 86.2% 降至 2.9%,同时相较于仅编码推理,额外延迟不足 1 毫秒,几乎可以忽略不计。代码和数据集已发布于 https://github.com/Elliotes/EcoAgent。

arXiv cs.AI75

任务上下文塑造语言模型中组件的角色

大语言模型在不同任务中复用相同的注意力头,但识别出这些共享注意力头并不能解释它们在各个任务中的作用有何不同。共享脑区之间随任务而变化的交互是一个自然的灵感来源,促使我们从网络视角理解语言模型的计算。在本研究中,我们使用相同的图事实(即指明存在哪些有向连接的陈述),比较固定的模型组件在不同任务中的表现。我们测量干预如何影响注意力头和后续层的激活状态(影响力),以及如何影响答案(重要性)。在涵盖四个模型家族、参数量介于15亿至140亿的五个开放权重模型中,任务变化会重新分配影响力。在 Gemma-2-9B 和 Qwen3-14B 中,激活编辑会改变早期的一个内部激活向量,并在文字指令保持不变的情况下,切换模型读取的事实。随后,相同的注意力头会响应不同的图事实,并以不同方式影响后续组件。对于每个提示,我们构建两个线性响应映射,分别对应编辑前和编辑后。每个映射根据测得的早期注意力头变化,预测后续注意力头的响应。对于另一项针对事实的干预,与两个映射的平均值相比,使用对应条件下的映射可使 Gemma 的均方预测误差降低53.6%,使 Qwen 的均方预测误差降低5.0%。这些发现表明,任务上下文既会改变共享组件响应哪些图事实,也会改变其输出对后续计算的影响方式。基于网络的解释可能有助于说明模型如何利用共享参数执行不同的计算。对任务依赖性影响力的测量,也可以为旨在改变一种行为而保留其他行为的干预提供指导。

arXiv cs.AI74

重新审视表格数据深度回归:目标函数与全局早停的局限

尽管面向表格数据的深度学习模型近年来受到研究界的广泛关注,回归任务中目标函数的选择仍是一个研究不足的自由度。多个研究方向提出了标准均方误差(MSE)的替代方案,但数据集、骨干网络和评估流程的差异使这些方案的实际收益难以比较。在本研究中,我们在大量成熟的表格数据集和多种神经网络骨干上,对回归目标函数进行系统性重新评估,以弥补这一空白。比较结果表明,相较于经过恰当调优的 MSE 基线,许多已提出的目标函数带来的提升有限或不稳定,而在所有测试的骨干网络上,分位数损失相较于 MSE 均带来了稳定的总体提升。随后,我们指出,即使采用这一强效目标函数,仍存在一个局限:目标噪声水平不同的区域可能在不同的训练轮次达到最佳预测性能。因此,单一的全局早停检查点可能迫使模型在不同不确定性区域之间作出折中,即使目标函数能够表示异方差目标分布也不例外。针对这一局限,我们提出了一种考虑异方差性的分位数损失扩展方法,利用依赖于输入的标签平滑作为潜在的补救措施,并在多种骨干网络上取得了优于分位数损失的表现。总体而言,我们的结果为表格数据深度学习中的回归目标函数提供了最新的实证概况,并强调了不同不确定性区域之间最优停止时机的差异如何限制全局早停的有效性。代码可在 https://github.com/yandex-research/tabular-regression 获取。

arXiv cs.AI76

Hide and Seek:隐藏概念以寻找黑箱模型的解释

解释机器学习模型的预测是一项核心挑战,对黑箱视觉模型而言尤其如此。基于概念的归因方法使用人类可理解的概念来解释模型。现有的基于概念的方法只能解释分类和回归模型。这些方法需要访问模型权重或大规模概念标注数据集,而且大多数方法无法提供图像级归因。我们提出了 Hide and Seek(HnS),这是一种新的概念级归因方法,无需访问模型权重或带有概念标签的数据集。HnS 能够解释多种视觉模型。给定一个概念和一个图像集,HnS 使用视觉语言模型检索与概念相符的图像,在每张图像中定位该概念,遮蔽定位区域,并根据黑箱模型对原始图像和遮蔽后图像的输出变化来衡量归因。通过直接衡量模型行为并支持局部归因,该方法能够实现忠实的归因。我们在 CelebA 和 COCO-Stuff 上验证了 HnS。与现有方法相比,HnS 的归因结果与真实归因的一致性更高。我们展示了 HnS 在多种任务中的适用性,包括图像描述生成和卫星图像分割,而现有的概念归因方法均无法用于这些任务。我们在补充材料中提供了匿名代码。

arXiv cs.AI73

语言模型能玩 Wikipedia Game 吗?

语言模型越来越多地被用于辅助或自动执行信息检索,从规模过大、难以建立索引的文档集合中查找信息。当这项任务需要专业的语言学或科学知识时,就会变得困难。我们使用 Wikipedia Game,在一项类似的信息检索任务中测试语言模型。在该游戏中,玩家必须仅通过文章链接到达目标文章。我们在五种语言的 Wikipedia 和五个学术文献数据集上,对句子嵌入模型和大语言模型(LLM)进行了比较。我们构建了超大规模的 Wikipedia 页面本地图结构,并利用 OpenAlex 构建了论文引用本地图结构,同时提供了构建和导航这些图结构的代码。这使得研究者无需依赖第三方 API,即可研究语言模型的导航能力。我们将这些模型与人类和 TF-IDF 基准进行了比较。Wikipedia Game 的形式支持跨技术、语言和领域的稳健比较。没有任何模型显著优于人类,但表现最好的模型(GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B)取得了与人类相当的成功率。模型的表现和排名随语言和主题而变化,这对采用这些技术的实践者具有参考意义。

Hacker News 熱門

Show HN: BraiNOTES, handwritten notes on your lecture PDFs in a browser tab

In August, I posted here about TeXbrain, a LaTeX editor that runs completely in the browser, with no need for an account or server. (I didn't excpect it to get that much feedback, bug reports and help from here!) This is the same idea for the other half of my studies, the handwritten notes. I take them on a convertible laptop, and I've had a hard time with apps for that, taking notes from a device to another, exporting as PDF, needing an account for many of them, etc. So I've been working on the version of it that I always wanted. Open a tab, the slides of the lecture or multiple PDFs open next to the page or even become the page, write on them with my pen, and nothing ever leaves my browser. braiNOTES is a static website and has no backend. Strokes are perfect-freehand outlines which support pen pressure, the PDF files are rendered by pdf.js in a worker, and for storage it uses IndexedDB a moment after every change. No account, no analytics, and completely offline and local-first. You can export notebooks as .brainotes files, which in the background is a zip with one json per page + the PDFs and pictures you import. It keeps the original pages and puts the vectorized ink on top, this way the text stays selectable in the slides. You can try it here: https://notes.swimmingbrain.dev GitHub Repo: https://github.com/swimmingbrain/brainotes (MIT) In Study mode, the PDF opens on the side of the tab, you can read it simultaneously to the notes, snip a formula or diagrams directly into the notes with the snip tool, and then write around it. In Board mode, you have just a Whiteboard for tutoring or simply for more place for exercises, and can also highlight or draw things with the laser pointer tool while presenting. The line of the ink appears the moment the pen moves, and a one euro filter calms shaky hands while you write + a light a refit when you lift the pen. I also have a video editor and an animation tool which are still a work in progress, on the same GitHub profile. I'm also working on a MCP server for each tool, so you can use your MCP client to do further things with your notes, automatically edit videos on the video editor, etc. That feature will of course be off unless you turn it on and will only be able to talk to localhost. I've used this tool for every lecture in the last few months and a few friends use it too. Bug reports, fixes, recommendations, feedback are all welcome! Comments URL: https://news.ycombinator.com/item?id=50049132 Points: 14 # Comments: 0

SiliconANGLE AI48

BotMan AI uses knowledge graphs for legacy modernization

Legacy modernization requires understanding how an application’s code, data and business rules fit together before rebuilding it. BotMan AI uses an AI-powered migration pipeline that maps an application’s dependencies, business logic and data models in a knowledge graph. That context helps agents interpret the system they are rebuilding, according to Alejandro D’Andrea (pictured), founder and […] The post BotMan AI uses knowledge graphs for legacy modernization appeared first on SiliconANGLE .

arXiv cs.AI74

超越动作:为视觉-语言-动作模型学习未来操作目标

动作规定了机器人应执行什么,却未描述这些指令将实现什么。然而,视觉-语言-动作(VLA)策略的学习仍主要依靠根据图像、语言和状态预测动作块。我们提出 Action--Future Coupled Effect Learning(AFCE),将以未来为依据的物理效应作为策略的主要预测目标。离线分词器根据演示动作、机器人实际响应以及稀疏的视觉变化,构建按时间排序的效应词元。重建目标促使该表征保留可执行的细节和观测到的物理变化。基于流匹配的 VLA 根据当前图像、指令和机器人状态预测效应,而以状态为条件的解码器则将其转换为动作块。针对不同机器人形态的专用接口,使单臂和双臂任务能够共享效应模型。在 DexJoCo 上,AFCE 的总体成功率达到 $50.97\%$,分别比 $π_{0.5}$ 和 UVT 提高了 11.82 和 15.21 个百分点。它在全部五项双手任务中均处于领先地位,凸显了效应监督对于协调灵巧操作的价值。项目页面位于 https://afceproject.github.io/AFCE-Web/。

arXiv cs.AI78

ReSFlow:通过矫正统计流形上的类别流实现单步生成

通过学习统计流形上的连续向量场,将简单先验分布输运至目标离散分布,离散数据的生成建模取得了显著进展。然而,这些连续时间流并未被约束为沿统计流形上的测地线运动,因此需要通过多步数值积分进行模拟,导致推理阶段的计算成本高昂。在本研究中,受 Rectified Flow 在连续欧几里得空间中“直且快”特性的启发,我们提出了 Rectified Statistical Flow(ReSFlow)模型。该模型通过显式学习遵循内在黎曼几何的测地线轨迹,实现统计流形上的单步类别生成。通过矫正统计流形上的流,我们从理论上保证了先验分布与目标分布之间的轨迹逼近测地线。这种矫正使学习到的轨迹直接沿统计流形上的测地线对齐,从而显著降低输运成本,使模型能够仅用一步就将纯噪声映射为目标离散数据。通过在涵盖图像、文本及生物领域的多种真实世界生成任务上开展广泛实验,我们证明了 ReSFlow 卓越的单步生成质量,真正实现了测地线意义上最优且快速的类别生成。我们的代码已公开,地址为 https://github.com/xiaohuanjia/ReSFlow。

arXiv cs.AI63

How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing

Recent advances have significantly improved the performance of Abstract Meaning Representation (AMR) parsers, yet determining when their outputs can be trusted remains largely unexplored. This work presents the first study of uncertainty estimation for AMR parsers in a black-box setting using top-k beam-search candidates. Uncertainty is estimated from pairwise candidate similarities and evaluated using the Prediction Rejection Ratio. This work characterises the relationship between parsing performance and uncertainty, evaluates the reliability of beam candidate distributions, analyses the effect of evaluation metrics on uncertainty assessment, and identifies parsers that provide the strongest balance between performance and reliability. Experimental results show the value of uncertainty estimation as a complementary dimension for evaluating AMR parsers.

arXiv cs.AI82

表格基础模型实际上是浅层模型

采用上下文学习的表格基础模型(TFMs)无需额外训练即可解决新任务,因此特别适用于资源有限或存在隐私约束的场景。然而,其架构由多个 transformer 块组成,导致计算和内存开销较高。与此同时,梯度提升决策树(GBDTs)等传统替代方法仍具有很强的竞争力,并能在 CPU 上高效运行,这表明表格任务本身可能并不需要深层架构。这种反差引出了一个根本问题:能否通过消除架构冗余来简化 TFMs,同时不牺牲性能?为回答这一问题,我们提出了一种具有闭式解、无需标签的仿射转换器,可替换最多涵盖 96% 块的连续区段,同时保持其余部分不变。通过在 171 个分类数据集上评估八个前沿 TFMs,我们发现表格 transformer 存在严重的过度参数化:在所有架构中,替换模型一半的块所造成的 AUROC 中位数下降最多仅为 $0.002$,而深度减半的 TabFM 仍优于所有其他全深度 TFMs 和经过调优的 GBDTs。此外,不同模型家族的过度参数化方式也有所不同:TabPFN-3 依赖其编码器,无论仅保留哪一个块,都能维持性能。其他单轴模型将计算分散在各个块中,只需保留第一个块;双轴模型则将计算集中在一个关键块中。最终,削减深度最多可减少 15 亿个参数,将 GPU 推理速度提升至原来的 $6\times$,代价是 AUROC 中位数下降 $0.03$;而仅保留一个块的 TabPFN-3 在性能损失可忽略的情况下,对已缓存查询的处理速度达到原来的 $2.4\times$,内存用量降至原来的六分之一。

arXiv cs.AI76

遗忘并非总是坏事:面向遭受投毒的 LLM 智能体的神经科学启发式记忆修复机制

大语言模型(LLM)智能体极易受到记忆投毒攻击。现有防御方法主要依赖外部模块进行静态记忆隔离或持续在线审计,导致记忆利用效率低、计算开销高。为解决这些局限,受神经科学机制的启发——弱再激活可使记忆变得不稳定,并在缺乏强化的情况下诱导其衰减——我们提出了一种智能体内生、无需训练的记忆修复框架 DREAM(Dynamic Reactivation for Engram Attenuation in Memory),实现对被投毒记忆的选择性功能遗忘。具体而言,DREAM 采用三阶段流程:通过扰动诱导的隐式再激活揭示恶意记忆的结构脆弱性;基于多维激活模式进行自适应异常诊断,以检测拓扑异常;利用动态记忆修复模块选择性地抑制有害记忆,同时强化良性记忆。在多种攻击者和真实世界任务上的广泛实验表明,DREAM 在应对后门投毒时将攻击成功率降低了 95% 以上,同时保持了较强的良性任务效用。DREAM 在抵御注入攻击方面也展现出具有竞争力的鲁棒性。在运行时间和 token 消耗方面,与 A-MemGuard 相比,DREAM 最高实现了 2.13 倍加速,并将 token 消耗降低了 37.7%。此外,DREAM 在遭受投毒的多智能体系统上也实现了 92.96% 的任务成功率。

arXiv cs.AI70

Agent4Spec: An LLM-based Agentic System to Optimize API Specifications through Automated Validation and Market Analysis

API specifications serve as critical documentation for modern software development, directly impacting integration efficiency and client code generation. While recent advancements have leveraged Large Language Models (LLMs) to generate initial specifications from source code, existing approaches treat this process as a one-time event - overlooking the needs for continuous validation, long-term maintenance, and market-driven evolution of these artifacts. To address this issue, we present Agent4Spec, an autonomous multi-agent framework featuring two distinct pipelines: (1) a validation pipeline that detects and self-corrects OpenAPI syntax errors, and (2) a market analysis pipeline that conducts competitive research, identifies functional gaps against industry leaders, and automatically generates missing API-spec functionalities. We evaluate Agent4Spec on two curated datasets of API specifications spanning both general-purpose and industrial scenarios. Among 9 SOTA LLMs, the top-performer achieves 100% syntax error detection rates and over 95% implementation success for proposed corrections, while securing over 50% adoption rates for suggested endpoint improvements, representing a practical tool for API development.

arXiv cs.AI74

BoundaryEvo:面向长链推理蒸馏的能力边界处数据—模型协同演化

从大型教师模型中蒸馏长链推理轨迹,是提升小型语言模型推理能力的一种有效途径。然而,现有方法通常在蒸馏前选定一个固定的训练集,忽略了推理样本的效用会随着学生模型的演化而变化。当只能使用少量教师模型轨迹进行训练时,这种错配的代价尤为高昂。此外,已经掌握的样本几乎无法提供新的监督信号,而远超学生模型能力的样本又可能难以从中学习。因此,训练数据应随着模型能力的演化而调整,但在学生模型初始能力较弱时,很难进行可靠的数据选择。为应对这些挑战,我们的核心思路是先建立基本推理能力,再根据学生模型不断演化的能力边界调整训练数据。我们提出了 BoundaryEvo,一个两阶段的数据—模型协同演化框架。在能力启动阶段,我们直接蒸馏一小组由教师模型生成的长推理轨迹,而不使用单独的模型对其进行评判和筛选,使学生模型在开展能力感知的数据选择之前获得初步推理能力。在能力边界协同演化阶段,我们反复选择当前学生模型尚未掌握、但专家模型能够可靠解决的问题,并随着学生模型的演化更新训练数据。仅使用 1,000 个训练样本,BoundaryEvo 就在 11 个推理基准上持续优于静态和动态数据选择基线,将原始 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3,在 AMO-Bench 上的准确率从 26.8 提升至 46.0。代码和数据将公开发布。

arXiv cs.AI76

PRIME:面向结构化文档检索的检索前索引建模增强-Real

对外部知识库进行高精度检索,是 LLM 智能体有效运行的关键。然而,现有信息检索(IR)研究主要优化查询侧的检索器(如 ColBERT、BGE)和生成器(如 Self-RAG、GraphRAG),却将语料库侧的表示简化为分块处理。这使得索引侧质量成为一个尚未得到充分探索的优化着力点。我们提出检索前索引建模与增强(PRIME),这是一个索引侧优化框架,包含两条互补路径:一条是由 LLM 驱动的语义重构(SR)路径,将长文档转换为结构化、信息密集的章节;另一条是确定性的元数据合成(MS)与分层检索(HR)路径,通过提取语义锚点和标题结构,实现由粗到细的章节检索。评估结果表明,确定性元数据能够达到与结构感知分块相当的检索质量,同时将嵌入计算量降至原来的 1/45.8,将索引向量数量降至原来的 1/22.4。在这些收益的基础上,语义重构(SR)在完整部署时进一步将 Answer-F1 提高了 13.7%,我们还分析了质量、保真度与成本之间的权衡。在 QASPER、BRIGHT 和 NFCorpus 上,我们进一步刻画了决定索引侧优化会改善还是降低检索效果的三类定性情形,同时表明,在使用强大的重排序器时,这些索引侧影响会被抵消。

arXiv cs.AI81

一致却未对齐:无标签评分准则澄清提高了 LLM 评审间的共识,但未提高其与人类的一致性

LLM 评审越来越多地以评审团的形式部署,而成员间的分歧往往被视为评分准则不清晰的表现。我们测试了一种将此类分歧转化为评分准则修订的无标签流程。该流程将每套评分准则拆分为若干子标准,根据各子标准在开发集上引发的跨评审分歧进行排序,再由编辑模型仅重写争议最大的子标准。流程还包含一个额外阶段,用于将可通过文本检查的子标准转交给确定性检查器,但在我们的评估中,没有任何子标准被转交。人类标签从不用于选择或编辑条款,仅用于评估结果。我们在受版本控制的研究方案中预先指定了四项假设,并使用来自三家提供商的五个评审组成的评审团,在 SummEval、HealthBench 元评估和 USR Topical-Chat 上评估了六种评分准则条件,总计发起 129,770 次评审请求,不含重试。在 SummEval 上,相较于原始评分准则,该流程使评审间的 Krippendorff's $α$ 提高了 0.069(95% 置信区间为 0.046 至 0.092);相较于对照条件则提高了 0.074,该对照条件对同等数量、随机抽取且未被选中的条款施加了相同的编辑操作。与专家评分的一致性未出现可检测到的变化(Kendall $τ$ 差值为 -0.007,95% 置信区间为 -0.037 至 0.021)。在 HealthBench 和 USR 上,评审间的一致性以及与人类的一致性均未达到预注册的效应标准。在一项预注册的次要比较中,三个数据集上的点估计均显示,编辑争议条款后与人类的一致性低于编辑对照条款后的水平,但所有区间均包含零。与编辑任意条款相比,根据分歧选择条款更能促进评审彼此达成一致;但在我们的实验设置中,这种共识的增加并未使评审更接近人类标注者。我们将发布代码、冻结版本的评分准则、条目标识符和评审分数。

arXiv cs.AI71

用于工具集成化学推理的掩码扩散语言智能体

为复杂化学任务设计集成工具的推理智能体系统,仍是一项根本性挑战。尽管近期的化学智能体通过集成外部工具展现了良好的性能,但它们仍建立在自回归范式之上,因而受到因果注意力和从左到右生成机制的固有限制。因此,它们往往难以实现双向分子理解、全局协调的工具规划以及多源证据整合。为应对这一挑战,我们提出 ChemDiffAgent,这是首个用于工具集成化学推理的掩码扩散语言智能体。它将化学推理重新表述为对推理与工具使用交错轨迹进行迭代去噪的过程,使工具使用决策能够在完整轨迹上下文中共同确定,从而使智能体的决策边界与其知识边界更好地对齐。我们进一步分析了这一范式如何通过训练期间更具挑战性的填补子问题,以及推理期间灵活的任意顺序解码,促进智能体推理。随后,我们开发了一个两阶段后训练框架,包括智能体监督微调和方差缩减偏好优化,以增强工具使用和推理能力。我们还构建了一个综合基准,涵盖单轮和多轮工具使用场景下的六项化学任务。在预算与评估条件一致的情况下,ChemDiffAgent 持续优于自回归智能体,总体提升约为 20%。值得注意的是,我们的 8B 模型达到了与 GPT 5.5 和 Claude Opus 4.7 等规模显著更大的前沿模型相当的性能,并在某些情况下超越了它们。代码已发布于 https://github.com/bilemond/ChemDiffAgent。

arXiv cs.AI77

AlphaNIST:从二元任务奖励中涌现的装配技能

NIST Assembly Task Board #1 对基于学习的机器人操作方法而言,仍是一项极具挑战性的基准。在短时域内,它要求对小型、紧密配合的零件进行精确且涉及大量接触的控制;在长时域内,它要求在较长的动作序列中实现失误恢复与协调。示范、任务分解和密集的进度奖励通过提供如何装配的指导,推动了相关研究的进展。但究竟有多少策略必须预先指定?从 AlphaGo 到 AlphaGo Zero 的发展表明,大规模强化学习能够在不预先规定如何获胜的情况下发现超越人类的策略。AlphaNIST 探索的是:稀疏的二元任务奖励,以及这种与任务无关的奖励所允许的任务多样性,能否同样让机器人自主发现如何装配。在仿真中,我们针对 NIST Assembly Task Board #1 上的全部 20 项装配任务,从零开始训练单一策略,在不使用示范、进度奖励塑形、脚本化动作基元或逐任务调优的情况下,实现了 98.2% 的总体训练成功率。该框架还训练策略在单个回合内、不按预定顺序完成十组配对装配,且仅在全部十组均处于完成状态时才给予任务成功奖励。习得的策略发现了灵巧且类似规划的行为:为后续装配选择抓取方式,利用周围的几何结构调整零件朝向,以及在没有显式规划器的情况下,先准备一个零件,再装配另一个零件,随后返回完成第一个零件的装配。视频请见我们的网站:https://alpha-nist.github.io/

arXiv cs.AI80

SWE-Critix:通过后训练构建评估编程智能体轨迹的通用验证器

编程智能体正日益被部署用于端到端软件工程任务,而这类任务往往缺乏可直接使用、能够界定成功标准的预言式评估器。因此,有必要为编程智能体构建能够可靠判断并解释其行为的验证机制。然而,随着编程智能体解决长时程软件工程任务的能力不断增强,验证也变得颇具挑战。其执行轨迹可能极其冗长,包含与代码仓库和外部工具的数百次迭代交互。现有验证器要么依赖未经专门训练的通用大语言模型,要么训练主要侧重于生成标量奖励的专用评判器,这表明基于训练的通用验证方法仍未得到充分探索。我们提出 SWE-Critix,这是一个用于训练编程智能体轨迹通用验证器的后训练流程。给定任务及其执行轨迹,训练得到的验证器会预测任务完成标签,并生成自然语言分析来解释其判断。我们的流程将监督微调(SFT)与强化学习(RL)相结合,使用来自 CodeForge-Preview 的轨迹训练了一系列 300 亿参数模型。在预留测试集上,SWE-Critix 将基础推理模型 Qwen3-30B-A3B 的分类准确率从 57% 提升至 SFT 后的 66%,并在 RL 后进一步提升至 78%。我们公开了模型、数据集和训练代码,以促进后续研究。

arXiv cs.AI78

AgentSWE:编程智能体能构建出你真正想要的智能体吗?

随着软件生产逐渐交由软件自身完成,编程智能体越来越多地受托构建契合用户自身工作流程的智能体。这种委托隐含着一个假设:交付的智能体会忠实地满足其构建所依据的需求,而非仅仅看似如此。现有基准均未检验这一假设。我们提出 AgentSWE,这是一个面向智能体软件工程的基准,涵盖智能体开发生命周期的三个阶段:根据自然语言需求创建完整智能体、编辑生产环境中的智能体代码库,以及针对可衡量目标进行优化。其 25 项任务均被设定为委托项目,而非考试:构建者根据少量示例用例进行迭代,而验收则使用为覆盖完整需求而设计的留出用例,对冻结后的提交版本进行测试;在严格的通过/不通过门槛约束下,依据从需求推导出的评分标准评估其行为,或在优化任务中,依据原始基准自身的目标进行评估。我们对采用不同模型和运行框架的多种编程智能体进行了评估,发现没有任何一种能接近交付需求所要求的成果:构建者所展示的能力与实际交付结果之间存在差距,这才是常态,而非个别情况。配套的失败轨迹实证分析识别出反复出现的失败模式,包括对可见用例过拟合、看似完整的代码背后空洞的运行时实现,以及缺乏依据的完成声明。每一种模式都可作为反馈信号,帮助编程智能体学会构建真正符合委托要求的智能体。

arXiv cs.AI76

ProgramGym:面向长时程程序复现智能体的训练环境规模化构建

编程智能体正越来越多地像软件工程师一样从零构建程序,而不再局限于解决代码仓库中的问题,或根据给定的需求文档生成代码仓库。然而,能够促使智能体自主发现需求并决定系统设计方式的可扩展、可验证训练环境仍然稀缺。此外,现有智能体工作流也无法支撑智能体在实现前先探索参考程序的长时程开发过程。为应对这些挑战,我们提出 ProgramGym,这是一个由 Program-Env 和 Program-Agent 组成的框架,用于规模化构建长时程程序复现智能体的训练环境。具体而言,Program-Env 通过反馈驱动的循环,修复运行时沙箱构建问题并改善黑盒测试质量,从而基于代码仓库构建可验证的训练环境。利用这一新流程,我们获得了 1,648 个训练环境,涵盖 C、C++、Go 和 Rust。Program-Agent 将分析、实现和审查三个角色相互隔离的工作流与版本修订管理相结合,以支持编译检查和故障恢复。在 ProgramBench 上的实验表明,Program-Env 和 Program-Agent 均能提升程序复现性能。利用这些构建出的环境中的轨迹进行微调后,Qwen3.8-27B 的性能从 34.87% 提升至 42.84%。Program-Agent 进一步将基础模型和 SFT 模型的性能分别提升至 55.71% 和 56.25%,二者均超越了部分旗舰模型。我们将发布 ProgramGym,以支持对从零构建程序的编程智能体开展进一步研究。

arXiv cs.AI71

RegulaTutor:一个以理论为指导的长期个性化学习框架

长期个性化辅导要求语言模型将学习者不断积累的历史记录转化为适当的教学支持。现有基于大语言模型的辅导系统利用记忆和检索来实现个性化响应,但将历史证据与教学策略联系起来的教学依据并不总是明确的。我们提出 RegulaTutor,这是一个以理论为指导的长期个性化辅导框架,将历史证据、对学习者的解读以及面向学习者的教学联系起来。在自我调节学习(SRL)研究的指导下,其辅导编排框架将认知、情感、元认知和动机(CAMM)框架转化为可执行流程,用于形成有证据支持的学习者解读和教学策略。由此生成的策略保留了与其支持证据的关联,并随着新观察结果的到来而更新。这种分阶段工作流程还支持通过 PairRoute 进行系统性改进。PairRoute 是一种离线流程,利用中间执行记录区分编排框架失效、模型失效以及混合失效。PairRoute 提出并评估有针对性的编排框架修订方案,然后针对在选定编排框架下仍然存在且已确认的模型失效,构建经过审核的阶段级监督数据。我们将这一改进过程聚焦于历史证据获取,因为它是个性化教学的基础,并且允许依据学习记录和参考答案核验输出。在所评估的各类模型配置中,RegulaTutor 平均提升了历史证据准确性、学习者诊断水平和经评定的教学质量。PairRoute 的结果表明,经过这一改进过程,独立模型的历史证据准确性在最终评估时有所提升。这些结果共同凸显了 RegulaTutor 支持终身个性化教育的潜力:其教学策略能够随学习者历史记录的积累而演进,同时可对辅导系统进行有针对性的改进。

arXiv cs.AI70

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

Traditional system identification typically involves two steps: initially, training data is processed to estimate a model of the system of interest; then, the model is used to predict outputs for new input queries. In contrast, recent in-context learning approaches learn a meta model that maps directly from training data and query inputs to outputs in a zero-shot fashion, bypassing explicit model estimation. This approach leverages a meta model trained offline, on large sets of synthetically generated data, to emulate the behavior of a system identification algorithm. In this work, we advance this meta-learning framework for system identification in three directions. First, we develop a unified probabilistic meta-identification architecture that combines a Transformer-based encoder-decoder with tailored mechanisms for handling long training sequences, enabling calibrated predictions over long horizons. Second, we show how a pre-trained meta model can act as an uncertainty-aware synthetic data generator for classical system identification, providing task-specific data that regularize parametric models when real data are scarce. Third, we systematically evaluate the framework on standard nonlinear system identification benchmarks and on a challenging out-of-distribution scenario, demonstrating competitive accuracy with state-of-the-art methods and strong generalization, including cases where input-only adaptation is sufficient to handle significant distribution shifts.

arXiv cs.AI74

Web$hell:面向智能体网页访问的统一接口

大语言模型(LLM)智能体正成为开放网络的直接用户。随着它们承担日益复杂且信息密集的任务,有效的网页访问正成为智能体解决问题的一项核心能力。现有方法通过不同的访问模型推动了智能体网页访问的发展,包括搜索增强型智能体、基于浏览器的智能体,以及近期出现的基于文件系统的智能体。然而,随着用户期望智能体完成长程、端到端的任务,智能体越来越需要在单一执行轨迹中广泛收集信息、执行浏览器操作,并重新查阅已获取的证据。但我们的初步分析表明,现有访问模型难以满足这些需求。它们主要支持信息收集或浏览器交互中的一种,而将两者的能力结合起来可能带来显著成本或性能上的权衡。为此,我们提出 Web\$hell,这是一种将网页访问整合到单一访问模型下的接口。WebCompiler 使用 WebContract 定义的通用模式,将实时网页编译为可寻址的信息对象和操作对象。这些对象由 WebCache 维护,并通过一组共享操作进行处理,为智能体提供一致、可操作且持久的网页访问能力。通过在网页搜索、网页导航和深度研究基准上开展广泛实验,我们表明 Web\$hell 能以更低的成本取得出色的任务表现。我们的结果进一步说明了接口设计对于有效网页访问的重要性,而 Web\$hell 为构建能力更强、效率更高的网络 LLM 智能体开辟了新的可能性。

arXiv cs.AI64

CNN-Transformer with Sigmoid Label for High-Resolution Sub-Degree DOA Estimation

This paper addresses the grid quantization error of deep-learning (DL)-based direction-of-arrival (DOA) estimation. Classification- based DOA methods discretize the continuous angular space into a grid, so that with a peak-based read-out, the accuracy and resolution are limited by the grid step and by the width of the label peak. To address this issue, we propose a sigmoid label that encodes the sources' DOAs as the sum of angle-shifted monotonic sigmoid functions. Differentiating the output of a CNN-Transformer network trained with the sigmoid label produces sharp spectral peaks at the source DOAs. Combined with a moderately refined grid step of 0.25 degrees, the CNN-Transformer with the proposed sigmoid label attains sub-degree accuracy and a 1-degree resolution, breaking the limit of the grid quantization error. Under the unified CNN-Transformer backbone, we compare the proposed Sigmoid label with the Gaussian label, the 0-1 hard label, and the binary cross-entropy (BCE) baseline. Numerical results demonstrate that the Sigmoid label attains the highest accuracy and superior resolution compared to other labels.

arXiv cs.AI74

用于 HL-LHC 异常检测的学习所得事件表征的局部诊断

异常检测旨在识别偏离 Standard Model 预期的碰撞事件,是 Large Hadron Collider 上寻找新物理最有前景的模型无关策略之一。在学习所得的低维表征中搜寻稀有事件,无需事先选定人工设计的可观测量,但也失去了这些可观测量所提供的直观物理解释。因此,要将异常检测纳入发现流程,就必须对标记出的事件进行局部诊断,既要区分潜在的新物理与建模偏差或探测器效应,也要确定可用于针对性后续搜寻的可观测量。我们在 COLLIDE-2V 上评估了监督式和自监督式神经嵌入策略。该数据集包含在真实的 High-Luminosity LHC 条件下模拟生成的 7.5 亿个事件;我们使用在学习所得潜在空间中训练的自编码器的重建误差作为异常分数。在所考察的配置和基准信号中,训练时利用模拟过程标签的监督式目标通常优于相应的自监督式目标;在最佳配置下,其表现也优于直接基于运动学特征训练的自编码器,在背景接受率为 10% 时,提高了所有留出过程的信号效率。我们进一步提出了一套局部诊断流程:对 SM 潜在空间拟合 Gaussian Mixture Model,在不使用过程标签的情况下通过高层可观测量刻画各个分量,定位标记出的事件,并按局部区分能力对可观测量排序。该排序重现了留出过程的标志性运动学特征;同时,将异常分数与同一组可观测量进行相关性分析,可以量化分数对这些可观测量变化的跟随程度,从而揭示区分能力最强的可观测量并非分数跟随最紧密的可观测量的情形。