Open-MMUnlearning：统一 MLLM 机器遗忘的方法与评估

随着多模态大语言模型（MLLM）的能力不断增强并得到广泛部署，隐私与安全问题日益紧迫。机器遗忘通过从已训练模型中移除指定信息，同时保留无关能力，为解决这些问题提供了一种途径。然而，实现方式和评估协议的碎片化、鲁棒性测试的不完整，以及对指标可靠性认识的不足，使得 MLLM 机器遗忘的进展难以得到系统评估。我们提出 Open-MMUnlearning，这是一个开源、可扩展的框架，通过共享接口和结构化配置，整合目标模型准备、多模态数据处理、机器遗忘与评估。该框架支持涵盖隐私、安全和版权的五个基准、来自四个模型系列的八个 MLLM，以及十二种机器遗忘方法。其评估套件综合评估遗忘效果、保留的效用，以及面对模型干预、对抗性输入和成员推断攻击时的鲁棒性。我们使用统一的评估协议，对十种具有代表性的机器遗忘方法进行了比较。在这项比较中，GD 和 MIP-Editor 并列获得最高综合得分：GD 的遗忘质量最高，而 MIP-Editor 保留了更多模型效用。我们进一步提出一种指标元评估协议，利用对目标知识接触程度受控的模型测试指标的忠实性，并测试其在量化和重新学习条件下的鲁棒性。在所评估的十三项指标中，BLEU 获得了最高的综合可靠性得分。KS-Test 的忠实性 AUC 最高，但在鲁棒性方面表现较弱。该框架与这些发现共同支持对 MLLM 机器遗忘方法开展可复现的比较，并对评估可靠性进行系统考察。