Axis-LoRA：面向个人记忆检索的嵌入模型探查与适配

随着用户越来越多地向大语言模型询问有关个人经历的问题，检索必须能够从时间、地点、人物和事件四个维度区分记忆。当前的个人记忆处理流程依赖冻结的稠密嵌入模型，将记忆编码为嵌入以供检索，但我们发现，这些模型无法很好地捕捉上述四个维度。替换一条记忆中的日期或地点几乎不会改变其嵌入，而在冻结嵌入之上训练一个投影层也无法恢复缺失的信号。问题出在模型内部，其中每个维度都由一种不同的注意力头模式编码。基于这些发现，我们提出了 Axis-LoRA，这是一种按维度适配的方法，在嵌入模型内部设置四个 LoRA 分支，并通过针对每个查询的门控机制将其组合。在 LongMemEval、ATM-Bench 和 LoCoMo 上对三种标准嵌入模型进行的评估表明，Axis-LoRA 将四项基准测试的平均 R@10 提高了 $+1.28$ 至 $+1.56$ 个百分点，同时仅需在一个小规模维度反事实训练集上训练相当于基础模型参数量很小一部分的参数。代码已发布于 https://github.com/dohoonkim-ai/axis-lora。