具有置换鲁棒性的决策建模与候选项无关的分块因果注意力

arXiv:2610.01601v1 公告类型：新增 摘要：决策模型通常会对编码在单个序列中的、大小可变的候选动作集合进行评分。这一设置与生成式系统内部的 System 1 组件日益相关，因为不同运行过程中提出的候选项或其排序可能有所不同。标准的因果交叉编码具有很强的表达能力，但可能导致某个候选项的得分取决于序列化顺序，而不是底层决策问题本身。我们提出候选项无关的分块因果注意力：该机制保留共享上下文和每个候选项内部的因果计算，同时阻断候选项之间的信息流，并重置候选项位置。我们在 Gemma 3 1B、Qwen3 1.7B 和 Qwen3 4B 主干模型上，将这一架构与标准因果注意力及互补的不变性基线进行了比较。候选项无关的注意力在保持具有竞争力的决策质量的同时，持续降低了对置换的敏感性；消融实验表明，候选项隔离是产生该效果的主要原因，而位置重置则完善了预期的对称性。一项规模更大的 Qwen3-4B 研究进一步考察了所提出架构在显著增加的训练数据下的表现。代码可在 \href{https://github.com/guyAmit/ci-decision-models}{\textcolor{blue}{项目仓库}} 中获取，\href{https://huggingface.co/Guy-Amit/qwen3-4b-ci-decision-4096-poc}{\textcolor{blue}{Qwen3-4B 模型制品}} 可在 Hugging Face 上获取。