MIRROR：大语言模型个性化从模仿走向内化

对个性化大语言模型的需求正从风格模仿转向内容质量。我们研究自蒸馏能否在现有微调范式下弥合这一差距。为解决这一局限，我们提出 MIRROR（通过内化参考揭示的同策略反思实现元个性化），这是一种新颖的自蒸馏框架，推动大语言模型个性化从模仿转向偏好内化。首先，我们用参考揭示的同策略自蒸馏取代对参考词元的模仿，将模型沿自身生成轨迹的下一词元分布，与以参考内容为条件的模型自身的相应分布对齐，从而内化用户偏好，而非复现参考文本的措辞。其次，我们引入 MIRROR-F，这是一种聚焦式插件，通过对信息丰富的参考词元进行选择性监督，增强同策略分布对齐，从而在保留用户特有表达方式的同时提升内容生成能力。在三个个性化生成基准、两种模型规模，以及互为补充的基于参考文本和基于大语言模型的评估中，MIRROR 和 MIRROR-F 均取得了领先的整体个性化表现和更优的文本质量；同时，在三个未见过的个性化生成任务上，相比基于 SFT 的基线方法，二者表现出更少的灾难性遗忘。这些增益在不同模型规模和应用场景下保持一致，并转化为大语言模型个性化任务中的性能提升。