每个用户都需要一个私有 LoRA 吗？将个性化与逐用户适配解耦

arXiv:2610.02353v1 公告类型：新论文 摘要：个性化大语言模型通常需要为每个用户维护完整的适配状态。然而，随着用户规模增长，这种范式的可扩展性较差。我们从个性化容量分配的角度重新审视这一设计：有多少适配容量可以在用户之间共享，应如何组合共享容量，以及有多少容量必须保持用户专属。我们通过三项互补的实证分析回答这些问题。我们发现，独立的用户适配器包含大量可跨用户复用的结构；可复用方向的效用同时反映了用户相关性和查询间的变化；用户历史记录能够为紧凑的个体校正提供可迁移信号。基于这些发现，我们提出了 LINEUP。它学习一个可复用的低秩个性化因子库，通过以用户为条件的召回和依赖查询的校准来组合这些因子，并将目标用户的适配限制为共享校正空间上的一个微小用户编码。这一设计将富有表达力的个性化容量与每个用户的可训练状态解耦。每个目标用户仅需优化八个标量，而所有共享组件均保持固定。相比之下，所评估的私有 LoRA 配置为每个用户使用 419 万个参数。我们的理论分析给出了有限步数、有限历史记录下的风险界，以及用户编码细化优于基于历史记录的初始化的充分条件。在涵盖个性化分类、预测和生成的六项任务中，LINEUP 在全部 12 项指标上均领先，各项指标均取三次独立运行的平均值（例如，相较于最强基线，LaMP-3 的 RMSE 降低了 11.4%）。在历史记录有限的情况下，它仍保持优势。这些结果表明，丰富的个性化能力可以主要由可复用、按条件组合的共享容量支撑，而独立的用户适配则可被限制在一个微小的校正状态内。