arXiv cs.AI精选73

IJev:通过迭代循环重排序实现顺序不变的决策

IJev: Order-Invariant Decisions via Iterated Cyclic Reordering

· 2天前

精选理由

通过迭代重排与标签先验校正,让模型选择不受选项顺序影响,并改善概率校准。

AI 摘要

System One 决策模型通过一次前向传播回答选择题,但其答案取决于选项的排列顺序,且其概率包含对答案标签的先验。顺序不变排序算子是指这样一种固定函数:对于同一组选项,无论输入顺序如何,它都返回相同的有序选项列表。从任意这样的顺序出发,对其 K 个循环移位的列表式读出结果取平均,可以消除输入顺序的影响,但决策仍然取决于所选的循环等价类:这 $K$ 个移位仅构成 (K-1)! 个等价类中的一个,而不同的顺序不变算子可能选择不同的等价类。我们提出 IJev,它反复根据经过循环平均和标签先验校正后的分布对选项重新排序,并再次进行循环平均。每次迭代都严格保持输入顺序不变性。当迭代不收敛时,我们对各轮分布取平均,而不是返回最后一轮的结果。在五个基准测试和五个模型上,IJev 在每一种组合中的翻转率均为零。默认对 T=20 轮进行均匀平均,与单次循环平均相比,校准效果显著提升,准确率则相当。以描述性方式选择迭代轮数和平均规则,可在全部 25 种设置中获得最优或并列最优的准确率。

查看原文(arXiv cs.AI)