神经网络（NNs）虽然具有高度的灵活性和通用性，但往往校准不佳。事后校准方法使用独立的校准数据集和额外的校准参数，调整已训练模型的输出。这一过程需要单独优化校准器并进行后续模型选择，从而增加了开销。本文表明，通过双层 Stackelberg 建模，标准的事后校准器可以与骨干网络一起进行端到端训练。该建模方式使用交叉熵联合优化准确性与校准性能，无需独立的校准集或专门的校准损失，仅引入一个额外的超参数：校准器学习率。尽管我们的框架支持从温度缩放、矩阵缩放到神经网络层等多种校准器，但实验结果表明，直接将最终分类层用作校准器，即可在不增加任何参数的情况下，获得准确且校准良好的模型。我们的方法仅增加极少的复杂度，便优于当前最先进的校准器，同时还能避免在多任务学习等场景中，独立校准组件所带来的成倍开销。
面向基于大语言模型（LLM）的智能体，各类协议、框架和技术正被快速提出，使任何致力于打造前沿 AI 解决方案的人都面临复杂局面。如果缺乏对不同协议、框架和库如何协同构建智能体网络解决方案的评估，开发者和组织甚至在加入智能体网络生态系统之前，就会面临技能培养、治理、基础设施等方面的挑战。在此背景下，我们提出了一个用于开展智能体网络评估的系统，名为 MASTIF（Multi-Agent System TestIng Framework），并基于 300 项 Mind2Web 基准任务，对包括 3 个 LLM、3 种协议和 4 个智能体实现框架在内的智能体网络技术进行了基线评估。结果表明，选择针对特定任务的技术栈，可能提高任务完成率、效率得分和社会价值稳定性得分，同时降低冗余程度并缩短任务完成时间。我们希望通过这些结果，为致力于设计、评估和开发多智能体系统的人们，在这一复杂且快速演进的环境中提供指标和结果方面的基线。
长上下文推理服务在硬件达到有效吞吐量之前，就会耗尽 KV 内存。HiSparse 将历史数据存储在主机内存中，并且仅取回选中的条目，但它在所有负载下都使用同一缓存预算，也不支持 DSpark 和 DFlash2 等基于草稿模型的推测解码。我们提出 Adaptive DHiSparse，它支持在分层稀疏 KV 上进行推测解码，并根据负载调整数据驻留。它保护必需的工作集，在 GPU 内存空闲时保留更多历史数据，并通过精确的融合检索取回其余数据。DSpark 和 DFlash2 的候选生成与接受规则保持不变：查询共享缺失行的取回操作，草稿 KV 使用受窗口大小约束的环形缓冲区，验证阶段的暂存空间则跨层组复用。在 100K 上下文长度和 128 并发下，结合 DFlash2 的 GLM-5.3 在每个解码 GPU 上实现了每秒 793 个输出 token，分别为 HiSparse 的 1.45$\times$ 和不使用推测解码的自适应推理服务的 1.27$\times$。在遵守与 HiSparse 相同的延迟上限时，根据每 token 延迟上限的不同，它能够持续支持最高 4$\times$ 的并发量和 2.3 至 3.7$\times$ 的输出吞吐量。在 500K 上下文长度和 512 并发下，对于 DeepSeek-V4.1-Flash，结合 DSpark 的 Adaptive DHiSparse 实现了结合 DSpark 的全驻留推理服务 1.85$\times$ 的输出吞吐量。在一次负载阶跃变化中，可选驻留在低负载时将需要从主机取回的行占选中行的比例从 14.2% 降至 1.4%，并在内存压力下释放内存。
反事实推断探究的是，在不同情境下，已观测到的结果可能会有何不同，例如，如果患者接受了另一种治疗，是否会康复。只要决策依赖于未被观测到的备选方案的结果，就会出现这类问题。回答反事实查询通常需要了解底层因果结构，而这在实践中往往无法获得。因此，一种常见方法是先从观测数据中估计因果图，再进行反事实推断。然而，估计因果图中的误差可能会传播至下游的反事实预测。为应对这一挑战，我们提出了 Counterfactual Graph Neural Process（CFGNP），这是一种端到端方法，无需预先估计因果图，即可直接根据观测数据回答反事实查询。CFGNP 使用图神经网络（GNN），通过将跨世界消息传递限制在相互对应的事实变量与反事实变量之间，来利用双图结构。在合成数据和基于图像的基准测试中，CFGNP 的预测性能均优于现有方法，包括在 German Loan 基准测试中，将均方误差（MSE）从 $4.51 \times 10^{-2}$ 降至 $0.19 \times 10^{-2}$。此外，在合成因果图上，仅使用 10 节点图训练的模型，无需重新训练，即可在最多包含 30 个节点的图上保持较强的预测性能。
通用机器人策略的规模化受到具身交互数据采集成本高昂的限制。大规模第一人称视角的人类视频提供了一种数据丰富的替代方案，但这些视频缺乏机器人动作标签，而且在现实世界复杂的视觉环境和多样化的操作动态下，现有动作标注方法往往噪声较大。我们提出 LAPT-Scale，这是一种可扩展的潜在动作预训练范式，包含两个组件：LAPT-Scale-LAM 通过解释人类视频中相邻帧之间的视觉变化来学习连续潜在动作，并将其用作源自人类的监督信号；LAPT-Scale-Policy 则通过人类视频潜在动作预训练、目标机器人具身形态对齐以及任务特定的后训练来训练 VLA 策略。与以往采用向量量化的 LAM 不同，LAPT-Scale-LAM 使用连续潜在空间来保留细粒度的运动与交互动态。我们进一步结合感知、语义和光流对齐信号，使视觉变化层面的监督超越单纯的像素重建。LAPT-Scale-LAM 在 2.33 万小时的第一人称视角视频上训练，为策略预训练提供隐式动作监督，带来持续的规模化收益：当经过标注的人类视频从 1000 小时扩展至 5000 小时时，真实机器人任务成功率从 63.3% 提升至 85.0%。所学策略还能泛化到未见过的视觉条件。
线性注意力和滑动窗口注意力等高效注意力机制旨在将 Transformer 的计算复杂度从二次降至线性。然而，它们在上下文内召回能力上的下降往往使其必须交错使用全注意力层，导致长上下文处理中的二次复杂度瓶颈仍未解决。为此，我们提出 Orthros 注意力，将提升效率的范式从结构分配转向阶段感知解耦。作为一个统一模块，它在序列处理的不同阶段动态切换计算模式，实现线性复杂度的预填充和全注意力解码。在预填充负载重、解码负载轻的常见长上下文场景中，我们的设计使 Orthros 注意力的渐近复杂度低于原始 Transformer。除理论推导和复杂度分析外，广泛的实证评估也表明 Orthros 在多个维度上具有优势。首先，我们验证了其基础语言建模能力，展示了其在不同模型规模下的可扩展性，以及在全面架构比较中的强大竞争力。其次，通过数据高效的 Transformer 到 Orthros 转换，Orthros 展现出出色的转换可行性，转换后的性能甚至超越原始 Transformer。最后，Orthros 相比 Transformer 实现了 $21.9\times$ 的预填充加速，并带来端到端推理性能提升，同时保留了长上下文能力：它在 128K 大海捞针测试中取得了近乎完美的结果，在真实场景的上下文内召回任务中也达到了 Transformer 级别的性能。总体而言，这些在高性能、灵活性和效率方面的优势，使 Orthros 有望成为工业应用中接替 Transformer 的候选架构。
协作式多智能体任务通常会对共享目标或集体安全施加约束。团队层面的违规成本函数可以衡量约束违反情况，但无法区分哪些智能体的动作对违规的影响最大。我们提出 SafeDiSTL，这是一种受约束的多智能体强化学习框架，即使仅有联合约束的测量结果，也能进行贡献分配。我们使用信号时序逻辑（STL）鲁棒度，通过运行最大值的成本增量来衡量回合层面的违规程度。平滑的完整回合鲁棒度和可微动力学提供动作敏感度，用于将每个成本增量分配给同一决策时刻的各个智能体。这些敏感度在对各智能体应分担的成本增量进行加权时，会考虑延迟效应。我们在协作载荷运输、连通导航和联网交通控制任务中研究了该框架。与受约束基线相比，SafeDiSTL 在运输任务中的安全成功率达到基线的 1.6–5.1 倍，在导航任务中的安全成功率提高了 11.1%，在交通任务中的吞吐量提高了 50–68%。结果表明，所学策略在处理共享约束方面取得了显著改进，同时保留了无约束策略的性能。
同策略自蒸馏有望用密集的词元级信用分配取代可验证奖励强化学习中的稀疏结果信号：以参考解答为条件的教师对学生自身生成的轨迹进行评分，再将由此产生的分布偏移蒸馏回策略。我们研究这种评分信号是否真正包含纠错性的信用分配。利用学生生成轨迹中人工标注的错误片段，我们检验自蒸馏目标所使用的两种信号——全分布 KL 和词元对数比——是否具备两项性质：能否定位错误，以及能否降低错误学生词元的概率。它们既不具备这两项性质，也无法可靠地区分同一道题的正确与错误轨迹。我们认为，这种失败是结构性的：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这种搜索。当允许同一个模型在拥有相同特权信息的情况下生成批评时，它定位错误的能力会显著提升。这促使我们提出\emph{批评条件化自蒸馏}：先对当前轨迹生成批评，再让评分教师以该批评为条件进行评分。由此得到的信号能够定位错误，在错误片段内发挥纠错作用，并将概率转移至引发回溯的词元，例如“等等”“但是”和“实际上”。我们进一步表明，批评在测试时和冷启动 GRPO 中都有用：在测试时，将批评纳入上下文后继续生成原本错误的轨迹，可以解出模型仅靠采样无法解决的数学题；在冷启动 GRPO 中，对于仅凭可验证奖励无法提供优势信号的提示，批评能够提供这样的信号。
训练长时程语言模型智能体，需要根据稀疏的终局反馈为中间决策分配信用。在有限的一组同源 rollout 中，有效的动作比较取决于其上下文、支持两个备选动作的证据，以及这些证据如何融入学习。我们提出 Matched-Context Group Policy Optimization（MCGPO），这是一种从已收集的轨迹中构建加权动作偏好的方法。MCGPO 使用动作前的状态摘要和观测到的评分标准完成进度来定义比较上下文，并依据任务规则进行标注。双动作支持度用于在有序的精确匹配规则和粗粒度匹配规则之间进行选择。固定的数据分折将候选决策与用于确定其偏好方向的终局结果分离，而依赖支持度的证据权重则用于缩放辅助成对目标，使其与共享的 GraphGPO 任务学习共同进行。MCGPO 复用 rollout 数据和每条响应的原始历史，保持无需 critic 的训练方式。在六种环境与骨干模型组合设置中，每种设置均采用三个训练随机种子，MCGPO 的平均成功率均优于对应的 GraphGPO：在使用 Qwen2.5-1.5B 和 7B 的 ALFWorld 与 WebShop 上提高了 0.47–1.46 个百分点，在使用 Qwen3-4B 和 8B 的 WebShop 上分别提高了 3.96 和 5.16 个百分点。ALFWorld 上的提升是在基线成功率已超过 92%、剩余提升空间有限的基础上取得的。在四种 Qwen2.5 设置中，有三种的积分成功率得到提升。采用三个随机种子的析因对照实验支持使用另一数据折的证据和证据加权；状态与评分标准的联合匹配在全部四种表示对照设置中均取得了最高平均值。
在原生支持 4 位运算的加速器上进行低比特推理，需要同时量化权重和激活，才能充分实现这些格式带来的吞吐量提升。尽管训练后权重量化已得到广泛研究，但激活量化仍然更具挑战性，且通常需要校准数据。在本研究中，我们提出 DUALQUANT，一种双尺度、免校准的训练后量化框架。该框架直接最小化权重重构均方误差（MSE），并由此直接得到激活量化前的逐通道激活重缩放系数。我们的关键观察是，通过最小化权重重构误差得到的缩放因子能够有效地对激活进行重缩放，从而在无需校准数据的情况下实现具有竞争力的激活量化。我们将 DUALQUANT 表述为一个不可微的权重重构问题，并基于变量分裂和分块坐标下降开发了一种高效求解器，其中每个子问题都具有闭式更新解。DUALQUANT 提供了一种统一算法，支持包括完整 MX 系列和 NVFP4 在内的多种格式。据我们所知，DUALQUANT 是首个正式支持 MX 和 NV 块格式的双缩放方法。在 WikiText-2、C4 和零样本下游任务上对 Llama 和 Qwen 模型的评估表明，DUALQUANT 在大多数模型和格式上的准确率达到或超过了基于校准的 SmoothQuant，并显著优于免校准基线方法，在 MX 和 NV 块格式上尤其取得了大幅提升。我们在 RTX 4090 上通过 Llama-3.1-8B 的真实打包 W4A4 推理路径验证了这些提升。最终实现的准确率与伪量化非常接近，同时相较于 BF16，内存占用最高降至其 1/2.61，吞吐量最高提升至其 2.46 倍。
状态空间模型（SSM）维护一个固定大小的循环状态，但在每个解码步骤中读写该状态可能成为混合模型的瓶颈。这种即时状态管理会产生大量算术强度低的状态 I/O，使推测解码缺乏低成本的回滚方式，并将状态量化误差传递到后续循环更新中。我们提出 ReplaySSM，通过展开循环，将状态表示为一个检查点和一个存储近期 SSM 输入的缓冲区，从而将输出计算与检查点更新分离。通过周期性更新检查点，ReplaySSM 避免了大多数步骤中的状态写入，并将占主导地位的状态内存流量减少约一半。保留近期输入还使推测回滚简化为缓冲区指针操作，并支持仅计算输出的验证，无需显式生成中间状态。同样的分离机制允许在大多数步骤中使用低精度检查点进行输出计算，同时使用更高精度的检查点进行循环更新，因此低精度副本中的舍入误差永远不会进入后续更新。我们在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现了 ReplaySSM。在推理服务批大小为 256 时，相较于经过调优的 vLLM 基线，它在四个混合模型上将标准解码速度提升至 $1.20$--$1.47\times$，并在两个 120B 级模型上实现了约为 vLLM 推测解码 $1.8\times$ 的吞吐量。与共享低精度检查点相比，为状态采用不同精度还减少了输出 KL 散度和下游准确率损失。
Memes play a central role in modern online communication, especially in contexts of political conflict where visual and textual cues combine to convey persuasive messages. We study persuasive technique detection in Ukrainian memes using vision-language models (VLMs). We introduce UkrMeme, a dataset of 200 organically produced Ukrainian wartime memes annotated for persuasion techniques, and PTM-UA, a Ukrainian translation of a subset of the Propaganda 950 benchmark that preserves original visual content while translating meme text. We evaluate VLMs in a zero-shot prompting setup across image, text, and multimodal inputs using hierarchical F1 metrics. Finally, we compare Layer-wise Relevance Propagation (LRP) and model-generated token attributions and analyze the semantic categories of evidence emphasized by each explanation method.
离散图扩散模型（GDMs）在马尔可夫噪声模型下，通过向节点和边独立添加噪声来破坏图结构。在没有节点特征的无条件设置下，仅用一张图训练的等变去噪器能够生成新颖的图，而边重叠度和 WL 核相似度等样本级指标并未发现记忆的证据。在本研究中，我们质疑这一观点，并首次表明图扩散模型确实会出现记忆现象。通过分析在双块随机块模型（SBMs）上训练的 GDMs 的逆向扩散轨迹，我们发现了强烈的训练数据偏向：与留出的测试图相比，模型几乎能够完美恢复被噪声破坏的训练图。我们将其称为条件记忆，因为它只有在逆向轨迹以被噪声破坏的训练图为条件时才会显现，而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距：训练损失持续下降，而留出图上的损失却不断上升，且早停无法缓解这一现象。记忆的出现总是先于生成图中社群结构的形成，因此，在此之前的所有检查点都只能生成没有结构的图。这种行为在我们测试的所有节点规模下都成立。
生产环境中的推荐系统存在特征生命周期不对称性：添加新特征必须在某项指标上带来收益，而移除特征则不得导致任何指标退化。在实践中，特征弃用很难获得优先处理，因为特征可能因以下情况而无法移除：它与其他特征存在交互，其重要性每天都在变化，无法在生产模型发生变化或数据漂移之前完成评估，与其他上线项目争夺 A/B 测试资源，导致线上 A/B 测试指标退化，或被多个模型使用而需要协调弃用。我们提出 FORTE，这是一个模型无关的生产框架，用于发现、验证和移除特征。其高效的扰动实现支持每日特征评估。为考虑特征间的交互，它通过分组消融来评估由所有排名较低的特征构成的候选特征集，其离线结果能够充分预测线上 A/B 测试结果，从而支持有把握地推进弃用方案的线上测试。血缘追踪可识别所有使用相关特征的下游模型，从而充分实现从训练集中移除特征所带来的资源节省。我们在两个大规模推荐系统上验证了 FORTE，发现它能够识别出不会导致线上指标退化的可弃用特征集，而对效率的影响则取决于模型特性。在一个搜索相关性模型上，FORTE 生成了三个相互嵌套的候选集，分别包含 32、48 和 59 个特征。线上护栏指标否决了规模最大的实验方案。最终选定包含 48 个特征的集合进行弃用，移除了该模型 43.3% 的特征。在一个大型排序模型上，FORTE 识别出 8 个待移除的候选特征。重新训练和 A/B 测试确认未出现指标退化。该方案上线后，可训练参数减少了 29.9%，推理服务吞吐量提升了 19.8%–25.5%，每年训练成本降低了数十万美元。
语义查询引擎要求大语言模型（LLM）对单个数据行作出判断，而基准测试通过温度为 0 时少数几次执行的质量来比较这些引擎。我们测量再次执行会带来多大变化。我们通过 SemBench、LRO-Bench 和 UDA-Bench 各自的测试框架，重新执行其文本和表格工作负载，记录全部 120 万次模型调用，并重新分析 SemBench 已公布的执行结果。在温度为 0 时，视模型而定，五次执行中有 0.07% 至 10.2% 的数据行出现算子输出变化，在某项任务中这一比例高达 24.0%。正如可能世界模型所预测的那样，查询计划会放大这些变化，放大程度随答案所涉及的数据行数呈指数增长：在 UDA-Bench 中，提取值仅有百分之几发生变化，但约三分之二的答案发生了变化。在 SemBench 已公布的结果中，21% 的文本结果在不同执行之间出现质量变化，采用确定性查询计划的引擎也不例外。对于若干按查询进行的系统比较，以及针对 LRO-Bench 实现建议开展的 28 项检验中的 16 项，基准测试所进行的执行尚不足以得出定论。发生变化的数据行也是不同模型之间存在分歧的数据行；单次执行内相同请求产生不一致结果的频率，与跨执行时一样高；而一次执行中的决策裕度或推理长度可以预测哪些数据行会发生变化。投票可以降低变异，但无法将其消除；经过校准的级联机制在返回的数据行发生变化时，仍能维持其保证。我们据此推导出基准测试的报告规则和查询引擎的设计规则。
具身递归自我改进的一项核心挑战，是让智能体将交互历史转化为能够跨世界保留、并迁移至后续任务的能力。仅凭已保存的记忆或成功的最终动作，并不能证明智能体获得了可复用的能力；评估必须将能力变化与沿用的资源、不均等的源任务接触量以及早期执行失败区分开来。我们构建了 MC-EvoBench，这是一个受控的 Minecraft 基准，包含由 19 条已注册演化链组成的固定目录，其中包括 12 条主要评估链和 7 条校准或探测链，以及三组用于迁移评估、与图结构对齐的配对探测任务。该基准将每项任务表示为任务状态图，定义阶段级环境验证器，分配相匹配的源任务与目标任务角色，重置目标世界，并且只允许预先声明的智能体产物跨越源任务与目标任务之间的边界。对于每项探测，我们在匹配的环境步数预算和五个随机种子下，评估无先验、相关、不相关和打乱顺序的源任务条件；报告 TSR、WGP 和 VMP，并保留溯源记录。该基准揭示，控制器变体与规划器支持的变体之间存在一致的直接能力差距，而相关经验并未带来稳定的迁移效果：它未能改善任何一项工具探测的表现，在木材种类探测中的微小收益依赖于单个随机种子，且所有区间均包含零。阶段审计进一步表明，早期木材采集与合成环节的瓶颈往往导致后续能力无法被观测。因此，MC-EvoBench 为持久且可迁移的具身能力提供了一个受控测试平台。代码和数据可在 https://github.com/xzw-ustc/mc-bench-open-source 获取。
When solving complex spatial reasoning tasks, ordinary humans naturally revisit the scenes from task-relevant viewpoints and mentally reconstruct the spatial layouts from those viewpoints. But can Large Vision-Language Models (LVLMs) proactively think in the same way? We term this ability Active Spatial Mentalization (ASM), an intrinsic component of visual intelligence that remains substantially underdeveloped in current LVLMs. To bridge this gap, we introduce SpatialASM, a scalable framework to internalize ASM into LVLMs through training-time spatial simulation. SpatialASM employs an allocentric novel-view generator to ground hypothetical viewpoints in visual evidence and produces two complementary forms of supervision: i) explicit ASM trajectories that teach LVLMs when and how to adaptively invoke view planning and imagination during spatial reasoning, and ii) automatically-constructed perspective-taking tasks that further strengthens viewpoint-conditioned scene imagination. On seven benchmarks spanning relatively perception-oriented spatial understanding to more challenging tasks requiring multi-image, cross-view and viewpoint-transformation reasoning, SpatialASM yields performance gain on LVLMs of four LVLM backbones in spatial reasoning while retaining their original general vision capabilities. The experimental results demonstrate that our approach improves average accuracy across the seven spatial benchmarks. And the synthesis of ASM trajectories provides a scalable pathway to alleviate the scarcity of spatial Chain-of-Thought (CoT) supervision for eliciting active viewpoint exploration and mental scene simulation.
漫画是二十世纪重要的视觉记录之一：在数十万页漫画中，大众读者看到了他们的领袖、战争和英雄。这些记录大多从未得到整体研究；漫画学术研究仍以逐本考察的方式推进。我们认为，包括生成式模型在内的人工智能能够改变这一状况，并使漫画这一媒介本身受益。我们提出 PAGE，一个将人工智能转化为漫画研究工具的框架。它将每份扫描件解析为分格、文本和书目记录；利用视觉语言模型，像人类编码员一样遵循书面编码手册，对每一页进行标注；通过人工标注验证部分解读样本；并在控制出版商和类型因素的基础上进行估计，解释整个档案库中的变化。我们以 3,929 本美国漫画书（1938—1956 年）和 87 卷日本漫画为对象，通过三项各自依托不同能力的研究展示该框架。第一项研究将文本检索与视觉解读相结合，还原一种大众媒介如何描绘政治权力。第二项研究在整个行业范围内测量页面的视觉形式，并辨识个别画家的创作笔触。第三项研究追踪两种漫画传统中由谁发声，并通过人工标注进行核验。在研究之外，这些工具还可以让档案按绘制内容进行检索，使盲人和低视力读者能够阅读漫画，并帮助保存脆弱的馆藏，为未获署名的画家确认创作归属。我们勾勒出一项研究议程，旨在利用人工智能加强对漫画这一媒介的研究与保存，并扩大其传播范围。
个人智能体日益通过工具连接网络和应用程序中的各类服务。当其行为的影响在不同服务间累积并相互作用时，智能体即使在执行用户的良性请求，也可能产生非预期或有害的结果。要主动识别这些组合性失效，就需要系统地探索多样化的跨服务路径。现有红队测试方法通常只是提示 LLM 根据任务和环境描述识别潜在的有害路径，或将人类或 LLM 指定的有害目标分解为看似良性的动作组合。然而，生成过程会偏向训练期间学到的模式，可能更倾向于熟悉的工具组合，而对新颖的跨服务交互探索不足。为解决这一问题，我们提出 X-AgentRed，这是一个自演化红队测试框架，通过工具依赖关系图发现有害的工具调用路径，并利用执行反馈扩展和细化这些路径。红队智能体通过分析每个工具的作用、潜在危害以及执行前置条件，构建有向图，以刻画一个工具的作用如何满足另一个工具的执行前置条件。从该图中采样的操作方案被实例化为现实场景，智能体在这些场景中可能产生有害结果。执行反馈通过两种方式实现自我改进：通过工具替换使能够产生危害的路径更加多样化，以及针对未成功路径中受阻的步骤细化前置条件，以支持后续执行。在四个前沿智能体模型上的测试表明，X-AgentRed 的有害路径率达到 STAC 的 $1.77\times$，并探索了更加多样化的工具集，工具覆盖率平均达到 STAC 的 $2.99\times$。
随着 AI 智能体日益依赖外部工具，准确检索对于确保其行为可靠至关重要。现有方法着重优化语义相关性，却在很大程度上忽视了执行过程中的工具可用性。为弥补这一不足，我们提出 RATED（基于执行动态的可靠性感知工具检索），这是一个将稳健的语义匹配与动态可靠性适应相结合的检索框架。RATED 采用经对比微调后冻结的双编码器进行语义匹配，并使用轻量级上下文多臂老虎机模块，根据实时执行反馈对候选工具重新排序。这一设计能够快速适应运行时的工具故障，而无需进行成本高昂的模型重训练。我们推出了 EcoAgent，这是一个包含 5,172 个真实世界工具和超过 210,000 个查询—工具对的基准，用于离线检索与动态可靠性评估。实验结果表明，在真实世界查询上，RATED 相较于 ToolLLM API 检索器的平均倒数排名（MRR）相对提升了 52.2%；在故障率为 30% 的严重 API 中断场景下，故障工具选择率从 86.2% 降至 2.9%，同时相较于仅编码推理，额外延迟不足 1 毫秒，几乎可以忽略不计。代码和数据集已发布于 https://github.com/Elliotes/EcoAgent。
大语言模型在不同任务中复用相同的注意力头，但识别出这些共享注意力头并不能解释它们在各个任务中的作用有何不同。共享脑区之间随任务而变化的交互是一个自然的灵感来源，促使我们从网络视角理解语言模型的计算。在本研究中，我们使用相同的图事实（即指明存在哪些有向连接的陈述），比较固定的模型组件在不同任务中的表现。我们测量干预如何影响注意力头和后续层的激活状态（影响力），以及如何影响答案（重要性）。在涵盖四个模型家族、参数量介于15亿至140亿的五个开放权重模型中，任务变化会重新分配影响力。在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑会改变早期的一个内部激活向量，并在文字指令保持不变的情况下，切换模型读取的事实。随后，相同的注意力头会响应不同的图事实，并以不同方式影响后续组件。对于每个提示，我们构建两个线性响应映射，分别对应编辑前和编辑后。每个映射根据测得的早期注意力头变化，预测后续注意力头的响应。对于另一项针对事实的干预，与两个映射的平均值相比，使用对应条件下的映射可使 Gemma 的均方预测误差降低53.6%，使 Qwen 的均方预测误差降低5.0%。这些发现表明，任务上下文既会改变共享组件响应哪些图事实，也会改变其输出对后续计算的影响方式。基于网络的解释可能有助于说明模型如何利用共享参数执行不同的计算。对任务依赖性影响力的测量，也可以为旨在改变一种行为而保留其他行为的干预提供指导。
尽管面向表格数据的深度学习模型近年来受到研究界的广泛关注，回归任务中目标函数的选择仍是一个研究不足的自由度。多个研究方向提出了标准均方误差（MSE）的替代方案，但数据集、骨干网络和评估流程的差异使这些方案的实际收益难以比较。在本研究中，我们在大量成熟的表格数据集和多种神经网络骨干上，对回归目标函数进行系统性重新评估，以弥补这一空白。比较结果表明，相较于经过恰当调优的 MSE 基线，许多已提出的目标函数带来的提升有限或不稳定，而在所有测试的骨干网络上，分位数损失相较于 MSE 均带来了稳定的总体提升。随后，我们指出，即使采用这一强效目标函数，仍存在一个局限：目标噪声水平不同的区域可能在不同的训练轮次达到最佳预测性能。因此，单一的全局早停检查点可能迫使模型在不同不确定性区域之间作出折中，即使目标函数能够表示异方差目标分布也不例外。针对这一局限，我们提出了一种考虑异方差性的分位数损失扩展方法，利用依赖于输入的标签平滑作为潜在的补救措施，并在多种骨干网络上取得了优于分位数损失的表现。总体而言，我们的结果为表格数据深度学习中的回归目标函数提供了最新的实证概况，并强调了不同不确定性区域之间最优停止时机的差异如何限制全局早停的有效性。代码可在 https://github.com/yandex-research/tabular-regression 获取。
解释机器学习模型的预测是一项核心挑战，对黑箱视觉模型而言尤其如此。基于概念的归因方法使用人类可理解的概念来解释模型。现有的基于概念的方法只能解释分类和回归模型。这些方法需要访问模型权重或大规模概念标注数据集，而且大多数方法无法提供图像级归因。我们提出了 Hide and Seek（HnS），这是一种新的概念级归因方法，无需访问模型权重或带有概念标签的数据集。HnS 能够解释多种视觉模型。给定一个概念和一个图像集，HnS 使用视觉语言模型检索与概念相符的图像，在每张图像中定位该概念，遮蔽定位区域，并根据黑箱模型对原始图像和遮蔽后图像的输出变化来衡量归因。通过直接衡量模型行为并支持局部归因，该方法能够实现忠实的归因。我们在 CelebA 和 COCO-Stuff 上验证了 HnS。与现有方法相比，HnS 的归因结果与真实归因的一致性更高。我们展示了 HnS 在多种任务中的适用性，包括图像描述生成和卫星图像分割，而现有的概念归因方法均无法用于这些任务。我们在补充材料中提供了匿名代码。
语言模型越来越多地被用于辅助或自动执行信息检索，从规模过大、难以建立索引的文档集合中查找信息。当这项任务需要专业的语言学或科学知识时，就会变得困难。我们使用 Wikipedia Game，在一项类似的信息检索任务中测试语言模型。在该游戏中，玩家必须仅通过文章链接到达目标文章。我们在五种语言的 Wikipedia 和五个学术文献数据集上，对句子嵌入模型和大语言模型（LLM）进行了比较。我们构建了超大规模的 Wikipedia 页面本地图结构，并利用 OpenAlex 构建了论文引用本地图结构，同时提供了构建和导航这些图结构的代码。这使得研究者无需依赖第三方 API，即可研究语言模型的导航能力。我们将这些模型与人类和 TF-IDF 基准进行了比较。Wikipedia Game 的形式支持跨技术、语言和领域的稳健比较。没有任何模型显著优于人类，但表现最好的模型（GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B）取得了与人类相当的成功率。模型的表现和排名随语言和主题而变化，这对采用这些技术的实践者具有参考意义。
动作规定了机器人应执行什么，却未描述这些指令将实现什么。然而，视觉-语言-动作（VLA）策略的学习仍主要依靠根据图像、语言和状态预测动作块。我们提出 Action--Future Coupled Effect Learning（AFCE），将以未来为依据的物理效应作为策略的主要预测目标。离线分词器根据演示动作、机器人实际响应以及稀疏的视觉变化，构建按时间排序的效应词元。重建目标促使该表征保留可执行的细节和观测到的物理变化。基于流匹配的 VLA 根据当前图像、指令和机器人状态预测效应，而以状态为条件的解码器则将其转换为动作块。针对不同机器人形态的专用接口，使单臂和双臂任务能够共享效应模型。在 DexJoCo 上，AFCE 的总体成功率达到 $50.97\%$，分别比 $π_{0.5}$ 和 UVT 提高了 11.82 和 15.21 个百分点。它在全部五项双手任务中均处于领先地位，凸显了效应监督对于协调灵巧操作的价值。项目页面位于 https://afceproject.github.io/AFCE-Web/。
通过学习统计流形上的连续向量场，将简单先验分布输运至目标离散分布，离散数据的生成建模取得了显著进展。然而，这些连续时间流并未被约束为沿统计流形上的测地线运动，因此需要通过多步数值积分进行模拟，导致推理阶段的计算成本高昂。在本研究中，受 Rectified Flow 在连续欧几里得空间中“直且快”特性的启发，我们提出了 Rectified Statistical Flow（ReSFlow）模型。该模型通过显式学习遵循内在黎曼几何的测地线轨迹，实现统计流形上的单步类别生成。通过矫正统计流形上的流，我们从理论上保证了先验分布与目标分布之间的轨迹逼近测地线。这种矫正使学习到的轨迹直接沿统计流形上的测地线对齐，从而显著降低输运成本，使模型能够仅用一步就将纯噪声映射为目标离散数据。通过在涵盖图像、文本及生物领域的多种真实世界生成任务上开展广泛实验，我们证明了 ReSFlow 卓越的单步生成质量，真正实现了测地线意义上最优且快速的类别生成。我们的代码已公开，地址为 https://github.com/xiaohuanjia/ReSFlow。
Recent advances have significantly improved the performance of Abstract Meaning Representation (AMR) parsers, yet determining when their outputs can be trusted remains largely unexplored. This work presents the first study of uncertainty estimation for AMR parsers in a black-box setting using top-k beam-search candidates. Uncertainty is estimated from pairwise candidate similarities and evaluated using the Prediction Rejection Ratio. This work characterises the relationship between parsing performance and uncertainty, evaluates the reliability of beam candidate distributions, analyses the effect of evaluation metrics on uncertainty assessment, and identifies parsers that provide the strongest balance between performance and reliability. Experimental results show the value of uncertainty estimation as a complementary dimension for evaluating AMR parsers.
采用上下文学习的表格基础模型（TFMs）无需额外训练即可解决新任务，因此特别适用于资源有限或存在隐私约束的场景。然而，其架构由多个 transformer 块组成，导致计算和内存开销较高。与此同时，梯度提升决策树（GBDTs）等传统替代方法仍具有很强的竞争力，并能在 CPU 上高效运行，这表明表格任务本身可能并不需要深层架构。这种反差引出了一个根本问题：能否通过消除架构冗余来简化 TFMs，同时不牺牲性能？为回答这一问题，我们提出了一种具有闭式解、无需标签的仿射转换器，可替换最多涵盖 96% 块的连续区段，同时保持其余部分不变。通过在 171 个分类数据集上评估八个前沿 TFMs，我们发现表格 transformer 存在严重的过度参数化：在所有架构中，替换模型一半的块所造成的 AUROC 中位数下降最多仅为 $0.002$，而深度减半的 TabFM 仍优于所有其他全深度 TFMs 和经过调优的 GBDTs。此外，不同模型家族的过度参数化方式也有所不同：TabPFN-3 依赖其编码器，无论仅保留哪一个块，都能维持性能。其他单轴模型将计算分散在各个块中，只需保留第一个块；双轴模型则将计算集中在一个关键块中。最终，削减深度最多可减少 15 亿个参数，将 GPU 推理速度提升至原来的 $6\times$，代价是 AUROC 中位数下降 $0.03$；而仅保留一个块的 TabPFN-3 在性能损失可忽略的情况下，对已缓存查询的处理速度达到原来的 $2.4\times$，内存用量降至原来的六分之一。
大语言模型（LLM）智能体极易受到记忆投毒攻击。现有防御方法主要依赖外部模块进行静态记忆隔离或持续在线审计，导致记忆利用效率低、计算开销高。为解决这些局限，受神经科学机制的启发——弱再激活可使记忆变得不稳定，并在缺乏强化的情况下诱导其衰减——我们提出了一种智能体内生、无需训练的记忆修复框架 DREAM（Dynamic Reactivation for Engram Attenuation in Memory），实现对被投毒记忆的选择性功能遗忘。具体而言，DREAM 采用三阶段流程：通过扰动诱导的隐式再激活揭示恶意记忆的结构脆弱性；基于多维激活模式进行自适应异常诊断，以检测拓扑异常；利用动态记忆修复模块选择性地抑制有害记忆，同时强化良性记忆。在多种攻击者和真实世界任务上的广泛实验表明，DREAM 在应对后门投毒时将攻击成功率降低了 95% 以上，同时保持了较强的良性任务效用。DREAM 在抵御注入攻击方面也展现出具有竞争力的鲁棒性。在运行时间和 token 消耗方面，与 A-MemGuard 相比，DREAM 最高实现了 2.13 倍加速，并将 token 消耗降低了 37.7%。此外，DREAM 在遭受投毒的多智能体系统上也实现了 92.96% 的任务成功率。
API specifications serve as critical documentation for modern software development, directly impacting integration efficiency and client code generation. While recent advancements have leveraged Large Language Models (LLMs) to generate initial specifications from source code, existing approaches treat this process as a one-time event - overlooking the needs for continuous validation, long-term maintenance, and market-driven evolution of these artifacts. To address this issue, we present Agent4Spec, an autonomous multi-agent framework featuring two distinct pipelines: (1) a validation pipeline that detects and self-corrects OpenAPI syntax errors, and (2) a market analysis pipeline that conducts competitive research, identifies functional gaps against industry leaders, and automatically generates missing API-spec functionalities. We evaluate Agent4Spec on two curated datasets of API specifications spanning both general-purpose and industrial scenarios. Among 9 SOTA LLMs, the top-performer achieves 100% syntax error detection rates and over 95% implementation success for proposed corrections, while securing over 50% adoption rates for suggested endpoint improvements, representing a practical tool for API development.
从大型教师模型中蒸馏长链推理轨迹，是提升小型语言模型推理能力的一种有效途径。然而，现有方法通常在蒸馏前选定一个固定的训练集，忽略了推理样本的效用会随着学生模型的演化而变化。当只能使用少量教师模型轨迹进行训练时，这种错配的代价尤为高昂。此外，已经掌握的样本几乎无法提供新的监督信号，而远超学生模型能力的样本又可能难以从中学习。因此，训练数据应随着模型能力的演化而调整，但在学生模型初始能力较弱时，很难进行可靠的数据选择。为应对这些挑战，我们的核心思路是先建立基本推理能力，再根据学生模型不断演化的能力边界调整训练数据。我们提出了 BoundaryEvo，一个两阶段的数据—模型协同演化框架。在能力启动阶段，我们直接蒸馏一小组由教师模型生成的长推理轨迹，而不使用单独的模型对其进行评判和筛选，使学生模型在开展能力感知的数据选择之前获得初步推理能力。在能力边界协同演化阶段，我们反复选择当前学生模型尚未掌握、但专家模型能够可靠解决的问题，并随着学生模型的演化更新训练数据。仅使用 1,000 个训练样本，BoundaryEvo 就在 11 个推理基准上持续优于静态和动态数据选择基线，将原始 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上的准确率从 26.8 提升至 46.0。代码和数据将公开发布。
对外部知识库进行高精度检索，是 LLM 智能体有效运行的关键。然而，现有信息检索（IR）研究主要优化查询侧的检索器（如 ColBERT、BGE）和生成器（如 Self-RAG、GraphRAG），却将语料库侧的表示简化为分块处理。这使得索引侧质量成为一个尚未得到充分探索的优化着力点。我们提出检索前索引建模与增强（PRIME），这是一个索引侧优化框架，包含两条互补路径：一条是由 LLM 驱动的语义重构（SR）路径，将长文档转换为结构化、信息密集的章节；另一条是确定性的元数据合成（MS）与分层检索（HR）路径，通过提取语义锚点和标题结构，实现由粗到细的章节检索。评估结果表明，确定性元数据能够达到与结构感知分块相当的检索质量，同时将嵌入计算量降至原来的 1/45.8，将索引向量数量降至原来的 1/22.4。在这些收益的基础上，语义重构（SR）在完整部署时进一步将 Answer-F1 提高了 13.7%，我们还分析了质量、保真度与成本之间的权衡。在 QASPER、BRIGHT 和 NFCorpus 上，我们进一步刻画了决定索引侧优化会改善还是降低检索效果的三类定性情形，同时表明，在使用强大的重排序器时，这些索引侧影响会被抵消。
LLM 评审越来越多地以评审团的形式部署，而成员间的分歧往往被视为评分准则不清晰的表现。我们测试了一种将此类分歧转化为评分准则修订的无标签流程。该流程将每套评分准则拆分为若干子标准，根据各子标准在开发集上引发的跨评审分歧进行排序，再由编辑模型仅重写争议最大的子标准。流程还包含一个额外阶段，用于将可通过文本检查的子标准转交给确定性检查器，但在我们的评估中，没有任何子标准被转交。人类标签从不用于选择或编辑条款，仅用于评估结果。我们在受版本控制的研究方案中预先指定了四项假设，并使用来自三家提供商的五个评审组成的评审团，在 SummEval、HealthBench 元评估和 USR Topical-Chat 上评估了六种评分准则条件，总计发起 129,770 次评审请求，不含重试。在 SummEval 上，相较于原始评分准则，该流程使评审间的 Krippendorff's $α$ 提高了 0.069（95% 置信区间为 0.046 至 0.092）；相较于对照条件则提高了 0.074，该对照条件对同等数量、随机抽取且未被选中的条款施加了相同的编辑操作。与专家评分的一致性未出现可检测到的变化（Kendall $τ$ 差值为 -0.007，95% 置信区间为 -0.037 至 0.021）。在 HealthBench 和 USR 上，评审间的一致性以及与人类的一致性均未达到预注册的效应标准。在一项预注册的次要比较中，三个数据集上的点估计均显示，编辑争议条款后与人类的一致性低于编辑对照条款后的水平，但所有区间均包含零。与编辑任意条款相比，根据分歧选择条款更能促进评审彼此达成一致；但在我们的实验设置中，这种共识的增加并未使评审更接近人类标注者。我们将发布代码、冻结版本的评分准则、条目标识符和评审分数。
为复杂化学任务设计集成工具的推理智能体系统，仍是一项根本性挑战。尽管近期的化学智能体通过集成外部工具展现了良好的性能，但它们仍建立在自回归范式之上，因而受到因果注意力和从左到右生成机制的固有限制。因此，它们往往难以实现双向分子理解、全局协调的工具规划以及多源证据整合。为应对这一挑战，我们提出 ChemDiffAgent，这是首个用于工具集成化学推理的掩码扩散语言智能体。它将化学推理重新表述为对推理与工具使用交错轨迹进行迭代去噪的过程，使工具使用决策能够在完整轨迹上下文中共同确定，从而使智能体的决策边界与其知识边界更好地对齐。我们进一步分析了这一范式如何通过训练期间更具挑战性的填补子问题，以及推理期间灵活的任意顺序解码，促进智能体推理。随后，我们开发了一个两阶段后训练框架，包括智能体监督微调和方差缩减偏好优化，以增强工具使用和推理能力。我们还构建了一个综合基准，涵盖单轮和多轮工具使用场景下的六项化学任务。在预算与评估条件一致的情况下，ChemDiffAgent 持续优于自回归智能体，总体提升约为 20%。值得注意的是，我们的 8B 模型达到了与 GPT 5.5 和 Claude Opus 4.7 等规模显著更大的前沿模型相当的性能，并在某些情况下超越了它们。代码已发布于 https://github.com/bilemond/ChemDiffAgent。
NIST Assembly Task Board #1 对基于学习的机器人操作方法而言，仍是一项极具挑战性的基准。在短时域内，它要求对小型、紧密配合的零件进行精确且涉及大量接触的控制；在长时域内，它要求在较长的动作序列中实现失误恢复与协调。示范、任务分解和密集的进度奖励通过提供如何装配的指导，推动了相关研究的进展。但究竟有多少策略必须预先指定？从 AlphaGo 到 AlphaGo Zero 的发展表明，大规模强化学习能够在不预先规定如何获胜的情况下发现超越人类的策略。AlphaNIST 探索的是：稀疏的二元任务奖励，以及这种与任务无关的奖励所允许的任务多样性，能否同样让机器人自主发现如何装配。在仿真中，我们针对 NIST Assembly Task Board #1 上的全部 20 项装配任务，从零开始训练单一策略，在不使用示范、进度奖励塑形、脚本化动作基元或逐任务调优的情况下，实现了 98.2% 的总体训练成功率。该框架还训练策略在单个回合内、不按预定顺序完成十组配对装配，且仅在全部十组均处于完成状态时才给予任务成功奖励。习得的策略发现了灵巧且类似规划的行为：为后续装配选择抓取方式，利用周围的几何结构调整零件朝向，以及在没有显式规划器的情况下，先准备一个零件，再装配另一个零件，随后返回完成第一个零件的装配。视频请见我们的网站：https://alpha-nist.github.io/
编程智能体正日益被部署用于端到端软件工程任务，而这类任务往往缺乏可直接使用、能够界定成功标准的预言式评估器。因此，有必要为编程智能体构建能够可靠判断并解释其行为的验证机制。然而，随着编程智能体解决长时程软件工程任务的能力不断增强，验证也变得颇具挑战。其执行轨迹可能极其冗长，包含与代码仓库和外部工具的数百次迭代交互。现有验证器要么依赖未经专门训练的通用大语言模型，要么训练主要侧重于生成标量奖励的专用评判器，这表明基于训练的通用验证方法仍未得到充分探索。我们提出 SWE-Critix，这是一个用于训练编程智能体轨迹通用验证器的后训练流程。给定任务及其执行轨迹，训练得到的验证器会预测任务完成标签，并生成自然语言分析来解释其判断。我们的流程将监督微调（SFT）与强化学习（RL）相结合，使用来自 CodeForge-Preview 的轨迹训练了一系列 300 亿参数模型。在预留测试集上，SWE-Critix 将基础推理模型 Qwen3-30B-A3B 的分类准确率从 57% 提升至 SFT 后的 66%，并在 RL 后进一步提升至 78%。我们公开了模型、数据集和训练代码，以促进后续研究。
随着软件生产逐渐交由软件自身完成，编程智能体越来越多地受托构建契合用户自身工作流程的智能体。这种委托隐含着一个假设：交付的智能体会忠实地满足其构建所依据的需求，而非仅仅看似如此。现有基准均未检验这一假设。我们提出 AgentSWE，这是一个面向智能体软件工程的基准，涵盖智能体开发生命周期的三个阶段：根据自然语言需求创建完整智能体、编辑生产环境中的智能体代码库，以及针对可衡量目标进行优化。其 25 项任务均被设定为委托项目，而非考试：构建者根据少量示例用例进行迭代，而验收则使用为覆盖完整需求而设计的留出用例，对冻结后的提交版本进行测试；在严格的通过／不通过门槛约束下，依据从需求推导出的评分标准评估其行为，或在优化任务中，依据原始基准自身的目标进行评估。我们对采用不同模型和运行框架的多种编程智能体进行了评估，发现没有任何一种能接近交付需求所要求的成果：构建者所展示的能力与实际交付结果之间存在差距，这才是常态，而非个别情况。配套的失败轨迹实证分析识别出反复出现的失败模式，包括对可见用例过拟合、看似完整的代码背后空洞的运行时实现，以及缺乏依据的完成声明。每一种模式都可作为反馈信号，帮助编程智能体学会构建真正符合委托要求的智能体。
编程智能体正越来越多地像软件工程师一样从零构建程序，而不再局限于解决代码仓库中的问题，或根据给定的需求文档生成代码仓库。然而，能够促使智能体自主发现需求并决定系统设计方式的可扩展、可验证训练环境仍然稀缺。此外，现有智能体工作流也无法支撑智能体在实现前先探索参考程序的长时程开发过程。为应对这些挑战，我们提出 ProgramGym，这是一个由 Program-Env 和 Program-Agent 组成的框架，用于规模化构建长时程程序复现智能体的训练环境。具体而言，Program-Env 通过反馈驱动的循环，修复运行时沙箱构建问题并改善黑盒测试质量，从而基于代码仓库构建可验证的训练环境。利用这一新流程，我们获得了 1,648 个训练环境，涵盖 C、C++、Go 和 Rust。Program-Agent 将分析、实现和审查三个角色相互隔离的工作流与版本修订管理相结合，以支持编译检查和故障恢复。在 ProgramBench 上的实验表明，Program-Env 和 Program-Agent 均能提升程序复现性能。利用这些构建出的环境中的轨迹进行微调后，Qwen3.8-27B 的性能从 34.87% 提升至 42.84%。Program-Agent 进一步将基础模型和 SFT 模型的性能分别提升至 55.71% 和 56.25%，二者均超越了部分旗舰模型。我们将发布 ProgramGym，以支持对从零构建程序的编程智能体开展进一步研究。
长期个性化辅导要求语言模型将学习者不断积累的历史记录转化为适当的教学支持。现有基于大语言模型的辅导系统利用记忆和检索来实现个性化响应，但将历史证据与教学策略联系起来的教学依据并不总是明确的。我们提出 RegulaTutor，这是一个以理论为指导的长期个性化辅导框架，将历史证据、对学习者的解读以及面向学习者的教学联系起来。在自我调节学习（SRL）研究的指导下，其辅导编排框架将认知、情感、元认知和动机（CAMM）框架转化为可执行流程，用于形成有证据支持的学习者解读和教学策略。由此生成的策略保留了与其支持证据的关联，并随着新观察结果的到来而更新。这种分阶段工作流程还支持通过 PairRoute 进行系统性改进。PairRoute 是一种离线流程，利用中间执行记录区分编排框架失效、模型失效以及混合失效。PairRoute 提出并评估有针对性的编排框架修订方案，然后针对在选定编排框架下仍然存在且已确认的模型失效，构建经过审核的阶段级监督数据。我们将这一改进过程聚焦于历史证据获取，因为它是个性化教学的基础，并且允许依据学习记录和参考答案核验输出。在所评估的各类模型配置中，RegulaTutor 平均提升了历史证据准确性、学习者诊断水平和经评定的教学质量。PairRoute 的结果表明，经过这一改进过程，独立模型的历史证据准确性在最终评估时有所提升。这些结果共同凸显了 RegulaTutor 支持终身个性化教育的潜力：其教学策略能够随学习者历史记录的积累而演进，同时可对辅导系统进行有针对性的改进。
Traditional system identification typically involves two steps: initially, training data is processed to estimate a model of the system of interest; then, the model is used to predict outputs for new input queries. In contrast, recent in-context learning approaches learn a meta model that maps directly from training data and query inputs to outputs in a zero-shot fashion, bypassing explicit model estimation. This approach leverages a meta model trained offline, on large sets of synthetically generated data, to emulate the behavior of a system identification algorithm. In this work, we advance this meta-learning framework for system identification in three directions. First, we develop a unified probabilistic meta-identification architecture that combines a Transformer-based encoder-decoder with tailored mechanisms for handling long training sequences, enabling calibrated predictions over long horizons. Second, we show how a pre-trained meta model can act as an uncertainty-aware synthetic data generator for classical system identification, providing task-specific data that regularize parametric models when real data are scarce. Third, we systematically evaluate the framework on standard nonlinear system identification benchmarks and on a challenging out-of-distribution scenario, demonstrating competitive accuracy with state-of-the-art methods and strong generalization, including cases where input-only adaptation is sufficient to handle significant distribution shifts.