Persona Hierarchy Model：理解 LLM 微调中的上下文泛化

arXiv:2610.09384v1 公告类型：交叉收录 摘要：语言模型通常在固定上下文中进行微调，例如通用系统提示词、角色设定或领域专用指令，但学到的行为有时局限于该上下文，有时却能广泛泛化到未见过的上下文。我们提出 Persona Hierarchy Model 来解释这一现象：一个共享的默认角色会影响不同上下文中的行为。根据该模型，改变共享角色的微调会促进更广泛的迁移，而对局部角色的改变则更局限于特定上下文。在涵盖四种行为和 15 种训练上下文的 120 个微调模型中，泛化范围的狭窄程度与训练上下文中的角色和默认角色之间的相似度呈正相关（对于 Qwen3-4B，Pearson 相关系数 r = 0.72）。先在默认上下文中进行微调，可以拓宽后续在其他上下文中训练时的泛化范围。将特定上下文中的响应与默认角色的响应对齐，会产生更强的效果。最后，我们提出角色保持正则化（PPR），以限制不期望出现的上下文泛化。在强化学习中，PPR 在保留准确率提升的同时，将所有受评估提示词下的奖励投机发生率从 42–55% 降至最高 0.2%。这些结果支持将 Persona Hierarchy Model 作为上下文泛化的解释框架，并可为未来控制非预期泛化、改善 LLM 对齐提供启发。