预测用于少样本作者风格迁移的 Steering Vectors 与 Adapter Weights

仅凭少量示例将大型语言模型适配到某位作者的个人风格颇具挑战，而科学写作进一步加剧了这一难度：正式规范使表层变化空间十分有限，且作者通常围绕自己的主题写作，因此提取出的“风格”很容易与内容纠缠在一起。我们研究了基于每位作者少量示例摘要的风格条件摘要生成，并提出了三种方法：（1）对比式激活引导；（2）预测 steering vectors 的网络；（3）预测 LoRA adapters 的超网络。我们发现，风格模仿与输出质量之间存在稳定的权衡：微调能够获得大部分可利用的风格信号，但会牺牲流畅性；而超网络在已见作者和未见作者上都实现了最佳权衡。我们的引导操作于作者层面，将某位作者的摘要与针对相同内容生成的风格中性文本进行对比。该方法固定了主题，无需预先定义风格清单，并且优于基于风格清单的引导。此外，我们的分析表明，人工提取的 steering vectors 与预测得到的 steering vectors 近似正交，但得分相当，这说明在此处，风格条件控制至少可以沿着两个彼此无关的方向实现，而不必依赖某一个特定轴。