通过用于调制的迭代零空间投影提取人格子空间

大型语言模型（LLM）能够采用不同的人格，以针对不同用户和任务调整其语义、专业知识与视角。对这些特征进行精确控制，对于确保模型行为的安全性与可靠性至关重要。现有的激活引导和基于提示词的人格诱导等方法，往往将人格简化为单一的主导方向，从而忽略了只有在消除该主导信号后才会显现的更细微、具有层次嵌套的人格特征。我们将“调制”定义为一种场景：人格上下文已经嵌入待操控的内容中，因此控制方法需要放大或抑制已有特征，而不是从头注入该特征。PaSS 是一种推理时控制范式，无需监督式对比样例，即可将人格建模为模型潜在空间中的多维子空间。该方法通过迭代式概念擦除提取人格子空间，并在无需重新训练的情况下应用这些子空间，以调制人格引导的生成。为提取这一子空间，我们使用 Iterative Nullspace Projections（INLP）以线性且迭代的方式分离出特定于人格的方向。我们在 MATH-500、TinyAlpaca、GSM8K 和 IFEval 等多样任务上，对六种人格进行了因果评估。结果表明，具有判别性的迭代子空间提取能够捕捉给定人格背后的多样特征，相较于单方向加性方法，实现更强、更大幅度的调制，同时保持内容保真度。我们还进一步研究了每个子空间中逐一剥离出的方向，以揭示其所编码的人格行为的不同方面。总体而言，我们表明，人格子空间为调制 LLM 行为提供了一种可控、可解释且具备良好泛化能力的框架，同时不会牺牲任务性能。