FedAlphaEdit：面向协作式知识编辑的零空间对齐合并

arXiv:2610.11033v1 公告类型：cross 摘要：多个机构可能各自持有私有知识编辑，并希望在不共享原始编辑请求的情况下，将这些编辑整合到一个大型语言模型中。AlphaEdit 等零空间约束编辑方法从数学上保证每次更新都不会改变无关知识，而 CollabEdit 等协作框架则在不共享数据的情况下聚合来自多个客户端的编辑。将二者结合起来看似简单。然而，我们表明，这种朴素的组合在结构上会失效，并找到了其根本原因。在此分析的指导下，我们提出了 FedAlphaEdit。据我们所知，这是首个在统一的零空间原则下，同时对本地编辑和服务器端合并规则进行对齐、以保护现有知识的协作式知识编辑框架。FedAlphaEdit 构建于零空间对齐合并之上：客户端共享投影后的统计量，而服务器在一次性理想化设定下，可以从理论上恢复将所有编辑集中在一处执行的结果。在两个架构系列上，实验结果表明，所提出的方法修复了性能崩溃问题，并使编辑成功率和知识保持能力同时接近集中式编辑的水平。因此，对于无法共享原始编辑数据的机构（如医院和金融公司），FedAlphaEdit 使它们能够共同维护一个共享模型，其效果能够近似于将所有事实集中在一处进行编辑。