当被遗忘的事实再度回归：通过切线核实现感知再学习的知识图谱嵌入遗忘

arXiv:2610.31075v1 公告类型：新投稿 摘要：近似遗忘通过修改实体嵌入，而非从头重新训练，来响应针对知识图谱嵌入的删除请求。随着新事实不断到来，这些嵌入会持续更新。在这种常规的持续训练下，被遗忘事实的恢复程度超过了精确遗忘基线；该基线是在排除这些事实后重新训练、并接受相同持续训练的模型。我们追溯发现，这种再学习源于被遗忘事实与新事实共享的实体嵌入。据我们所知，这是首项研究知识图谱嵌入中再学习现象的工作。为深度网络开发的抗再学习方法并未考虑导致这种恢复的底层图结构。我们提出 Kernel-Anticipated Unlearning（KAU），利用切线核建模持续训练如何通过这些共享参数改变被遗忘事实的得分。KAU 以闭式形式表达这一一阶响应，并在遗忘损失中对其进行微分。该目标引导嵌入修改朝向较少被持续训练逆转的方向。我们在相同的持续训练条件下，将 KAU 与最先进的知识图谱遗忘方法及抗再学习方法进行比较，衡量超出精确遗忘基线的泄漏。在三种骨干模型上，相较于表现最强的知识图谱遗忘方法，KAU 在 FB15k-237 上将泄漏降低了 46–63%，在 CoDEx-L 上降低了 50–82%，同时保留了更高的效用。