AnyJev 技术报告

arXiv:2610.00831v1 发布类型：新 摘要：类型化决策是在固定选项集合中进行选择，并以概率而非文本形式返回结果。如今，需要类型化决策的系统使用的是专门为此训练的模型。本报告介绍 AnyJev：它通过对预训练的指令微调语言模型进行一次预填充，读取一个类型化决策。读取过程会将答案位置处的下一个词元分布限制为选项词元。该方法存在两个缺陷：无论输入是什么，模型都会为某些标签分配更高的概率，并偏向选项列表中的某些位置。AnyJev 无需梯度更新，也无需修改参数，即可纠正这两个问题：利用无标签输入估计出的标签先验进行除法校正，并对选项列表的 K 个循环移位的对数概率取平均。在两个包含 20 个选项的任务上，循环移位将顺序翻转率分别从 0.33 降至 0.14 和从 0.33 降至 0.18，并且在两个任务中都使 11 个模型中的全部 11 个模型准确率提升。读取每个循环移位需要进行 K 次预填充。针对无标签状态、以完整循环移位决策为参照所选出的停止规则可以减少这一开销。在一个无标签划分上选择阈值，并在第二个划分上界定其不一致率后，对于四个单元格中的两个，系统在经验证的不一致率 0.008 上读取 18 个循环移位中的 10.6 个；如我们的服务运行所做的那样，在同一个划分上完成选择和界定时，系统读取 7.3 个循环移位，并在 vLLM 上每秒处理的决策数量达到 2.2 倍。代码已开源。