通过交叉注意力层锚定系统提示词

arXiv:2605.09737v3 公告类型：替换 摘要：交叉注意力为将选定的信息源引入模型计算提供了专用路径，但这一路径的插入位置所产生的影响仍未得到充分研究。我们研究了信息源为特权系统提示词片段时的这一问题。在冻结因果解码器骨干网络的同时，我们在系统提示词与文本之间插入交叉注意力层（CAL）模块。针对一个1.5B骨干模型进行的十种配置测试表明，性能取决于任务，并且显著受到插入位置的影响：较晚的插入位置通常更有效，参数效率也更高。在一项8B规模研究中，我们仅训练总体表现最佳的配置，并将其与参数量匹配的适配基线进行比较。在所评估的基准测试中，这些影响仍取决于任务：交叉注意力会改变指令遵循和安全行为，同时基本保持通用任务性能。总体而言，这些实验表明，在通过交叉注意力注入系统提示词信息时，插入位置是一个重要的设计变量。