FAER：面向效用对齐且可审计的语言模型后训练轨迹回放

arXiv:2610.00385v1 公告类型：new 摘要：回放选择器通常依据格式反馈、置信度、新鲜度或响应长度对缓存轨迹进行排序，然而缓存级正确性与下游学习器效用是两个不同的目标。我们形式化了这一选择到学习的差距，并提出 FAER，作为一种可审计的全轨迹回放框架。其无需训练的固定选择器是一个协议基线；FAER-UTILITY 则是在互不相交的校准块上拟合的学习器感知选择器。归一化梯度对齐作为基线进行报告，同时通过一次性、感知优化器的虚拟更新提供考虑幅度的效用曲面。在评估标签合并之前，审计契约会冻结已观测字段和回放轨迹。在 GSM8K 上使用 Qwen2.5-1.5B-Instruct 进行的匹配学习器研究表明，在 128 次更新下，固定选择器的质量为 0.6329，相比之下，均匀选择器为 0.5482，格式反馈选择器为 0.6037。仅使用元数据的交叉拟合校准在八个随机种子上达到 $0.6476\!\pm\!0.0139$（中位数为 0.6481；配对 95% 区间为 $[+0.079,+0.122]$），目标运行使用 63,276 个词元；其记录的总成本为 189,642 个词元和 3.48 个 GPU 小时，其中包括校准。完整的 FAER-UTILITY 行在目标运行使用 62,844 个词元，并达到 0.6624，耗时 4.26 个 GPU 小时。格式反馈选择出的记录正确率为 0.6953，而固定选择器为 0.3594，尽管二者的下游排序不同。完整的比较结果展示了学习器感知消融实验、相同随机种子下的差距、策略优化结果行以及严格零样本迁移。