2024机器遗忘（Machine Unlearning）技术分类（机械性遗忘）

1 介绍

机器学习遗忘是指从机器学习模型中安全地删除或“忘记”某些数据点或信息。这一概念源于数据隐私保护的需要，特别是欧盟通用数据保护条例（GDPR）等法规中提出的“被遗忘权”。机器遗忘的目的是确保当用户请求删除个人数据时，相关的机器学习模型得到相应更新，并且数据不再用于预测或分析。

具体来说，机器遗忘包括以下几个关键点：

删除数据点：从训练数据集中删除特定数据点，同时保证模型的泛化能力不受影响。更新模型：删除数据点后，更新模型以反映数据变化。这可能包括重新训练或使用更有效的更新技术。隐私保护：数据被遗忘后，我们确保模型不会保留任何可以追溯到被遗忘数据的信息，保护用户隐私。法律合规性：满足数据删除和隐私保护的法律法规要求。

本文介绍了机器遗忘技术的分类、优缺点、威胁、攻击、防御机制以及评估方法。首先，机械遗忘技术分为两类：精确遗忘和近似遗忘，我们将详细讨论每一类中的不同方法。精确遗忘技术包括SISA结构、图模型、k-Means、联邦学习等，而近似遗忘技术则基于影响函数、重新优化、梯度更新和图数据特有的技术。还指出了这些技术在存储、假设、模型效用、计算成本和动态数据处理方面的局限性。

2 机器遗忘技术分类

2.1 技术分类

2.1.1 精确遗忘

(1)基于SISA结构的准确遗忘

随机森林中的精确遗忘：了解如何将SISA 框架应用于随机森林模型，特别是DaRE 森林和HedgeCut 方法，它们使用不同的策略来提高遗忘效率并减少延迟。基于图的模型中的精确遗忘：由于图数据的互连性质，提出了GraphEraser 和RecEraser 方法来扩展SISA 框架以适应图数据结构。完全忘记k-means：DC-k-means 采用类似SISA 的框架，但使用树状的分层聚合方法。联邦学习的精确遗忘：KNOT方法采用SISA框架在客户端实现异步联邦形成学习。

(2)非SISA的精确遗忘

统计查询学习：Cao等人提出了一个中间层“sum”，通过更新sum来删除数据点。联邦学习的快速再训练：Liu等人提出了一种快速再训练方法，该方法使用一阶泰勒逼近技术和低成本Hessian逼近方法来降低计算和通信成本。

(3)精确遗忘法的优缺点

额外的存储成本：精确遗忘方法通常需要大量额外的存储空间来缓存模型参数、统计数据或中间结果。例如，SISA框架需要存储每个数据分片的模型参数，而HedgeCut需要存储子树变体。这限制了大型模型或经常被遗忘的请求的可扩展性。强假设：一些方法对学习算法或数据属性做出强假设。例如，SISA 在处理高度依赖的数据时可能表现不佳，而统计查询学习则需要可以以求和形式表达的算法。某些特定于模型的方法，例如DaRE、HedgeCut、GraphEraser 和RecEraser，适用性有限。模型有用性：大多数方法声称在遗忘后仍能保持准确性，但缺乏在不同设置下进行彻底的分析。需要对不同模型、数据集和去除量进行严格评估，以具体保证实用性。计算成本：精确遗忘方法需要多个子模型的训练和聚合，这增加了初始训练期间的计算成本。如果计算资源有限，这可能是不可能的。处理动态数据：现有方法主要集中于从固定训练集中删除数据。处理动态变化的数据以及处理正在进行的插入和删除请求仍然是一个悬而未决的问题。选择和实用性：现有的精确遗忘技术可以高效、准确地删除数据，但它们在存储、假设、效用维护和可扩展性方面存在局限性。选择最合适的方法取决于应用程序的具体要求，例如数据类型、模型类型、可用资源以及效率和准确性之间所需的平衡。

2.1.2 近似遗忘

(1)基于删除数据影响函数的近似遗忘

原理：该方法计算删除的数据点对模型参数的影响，并更新模型参数以减少这些数据点的影响。影响函数衡量单个训练样本对模型预测的影响。

代表性算法：Guo等人提出的算法采用影响函数进行数据去除，实现了L2正则化线性模型的合格去除。在Sekhari 等人的研究中，训练数据统计的使用减少了存储和计算需求。

(2) 数据删除后重新优化近似遗忘

原理：该方法首先在完整的数据集上训练模型，然后定义一个新的损失函数来保持保留数据的准确性，并通过重新优化过程最小化这个新的损失函数，以实现特定数据点的遗忘。

代表性算法：Golatkar 等人提出的选择性遗忘算法改变了网络的权重，使得遗忘数据的分布与未经这些数据训练的网络的权重分布无法区分。

(3)基于梯度更新的近似遗忘

原理：这种方法通过对新数据执行少量梯度更新步骤来适应模型参数的微小变化，而无需完全重新训练模型。

代表性算法：DeltaGrad算法利用缓存的梯度和参数信息来快速适应训练集中的微小变化。 FedRecover 算法从受污染的模型中恢复准确的全局模型，同时最大限度地减少客户的计算和通信成本。

(4)图数据特有的近似遗忘

原理：图数据具有独特的依赖关系，需要特殊的方法进行处理。这些方法考虑了图结构数据中节点和边的相互依赖性。

代表性算法：Wu等人提出的图影响函数（GIF）考虑了相邻节点/边/特征的结构影响。 Cheng 等人提出的GNNDELETE 方法集成了一种新的删除算子来处理图中边删除的影响。

(5)利用新技术近似遗忘

原理：这种方法利用独特的模型架构或数据特征来开发新的近似遗忘技术。

代表性算法：Wang等人提出的模型剪枝方法在联邦学习中选择性地删除CNN分类模型中的类别。 Izzo 等人提出的投影残差更新(PRU) 用于从线性回归模型中删除数据。 ERM-KTP是一种可解释的知识级机器遗忘技术，它在训练过程中使用纠缠减少掩模（ERM）来隔离和分离特定类别的知识。

2.2 威胁、攻击、防御

（1）威胁：指危害机械遗忘系统安全和隐私的潜在风险。这些威胁源自系统内部的漏洞或外部的恶意行为。威胁包括信息泄露和恶意学习。

信息泄漏：利用遗忘模型和遗忘模型之间的差异来推断敏感信息。

由于模型不匹配导致的泄漏：这种类型的信息泄漏是由于训练模型和遗忘模型之间的差异引起的。攻击者可以利用这些差异来获取有关被遗忘数据的附加信息。具体措施包括：

成员推理攻击：攻击者试图通过分析模型对数据点响应的差异来确定特定数据点是否属于遗忘数据。数据重建攻击：攻击者尝试根据模型的输出重建被遗忘的数据点。恶意请求：恶意用户发送的请求会损害模型的安全性或性能。 知识依赖性泄漏：这种类型的信息泄漏源于模型与外部知识源之间的自然关系。这可能包括：

自适应请求：连续的被遗忘的请求可以泄露有关其他数据点的信息，从而允许攻击者通过一系列请求收集足够的知识来确定特定数据块的成员资格。缓存计算：遗忘算法可能会缓存一些计算以加快处理速度。这可能会导致无意中发布跨多个版本的数据的信息，这些信息应该被删除。 恶意遗忘

直接遗忘攻击：这种类型的攻击仅发生在遗忘阶段，并且不需要在训练阶段对训练数据进行任何操作。攻击者可以利用模型的推理服务来获取有关训练模型的知识，并使用对抗性扰动等方法创建恶意忘记请求。直接遗忘攻击是非针对性攻击，旨在降低遗忘后模型的整体性能，或者旨在导致遗忘模型对具有预定义特征的目标输入进行错误分类。这是针对性攻击之一。预处理忘却攻击：与直接遗忘攻击不同，预处理忘却攻击采用更具策略性的方法，并在训练阶段操纵训练数据。这些攻击通常旨在执行更复杂、隐蔽和有针对性的攻击。预处理遗忘攻击通常使用以下步骤执行：

攻击者将中毒数据和缓解数据插入到干净的数据集中，形成训练数据集。服务器根据该数据集训练机器学习模型并返回模型。攻击者发送请求以忘记缓解数据。服务器执行遗忘过程并返回一个遗忘模型，该模型实际上对应于仅在有毒数据和干净数据上训练的模型。因此，在遗忘过程中删除缓解数据会使模型容易受到训练阶段插入的有害数据的影响。 其他漏洞

“减速攻击”：在训练数据中策略性地创建中毒数据，目的是通过最小化近似更新处理的遗忘请求的间隔或数量来减缓遗忘过程。对公平性的影响：我们讨论了遗忘算法本身可能在特定领域的应用程序中引入的副作用，包括影响大规模语言模型的公平性。

(2)攻击：攻击者基于上述威胁而实施的特定行为。这些攻击发生在机器遗忘的每个阶段，包括：

训练阶段攻击：例如数据中毒，攻击者将恶意数据注入训练数据中。遗忘阶段攻击，例如发送精心设计的请求以删除对模型性能重要的数据点。训练后阶段攻击：利用对模型的双重访问来提取附加信息或发起更复杂的攻击。

（3）防御：为了保护机器遗忘系统免受威胁和攻击，研究人员和实践者开发了各种防御机制。这些防御措施包括：

预学习阶段：在遗忘过程开始之前检测恶意请求或制定遗忘规则。遗忘阶段（非学习阶段）：监视模型的变化，如果检测到异常则停止遗忘过程。训练后阶段：防止忘记模型后信息泄露或将模型恢复到攻击前的状态。

2.3 通过攻击手段来评估机器遗忘系统的有效性

（一）个人信息泄露审计

目的：评估机器遗忘系统在遗忘过程中可能发生的隐私泄露问题。方式：使用推理攻击等攻击来检测经过训练的模型和被遗忘的模型之间的差异，或利用系统中的漏洞来提取信息。指标：通过曲线下面积（AUC）、攻击成功率（ASR）等指标来量化隐私攻击的有效性，从而表明隐私泄露的程度。

(2)模型稳健性评估

目的：评估恶意遗忘的遗忘模型的鲁棒性，类似于对抗性攻击中使用的原理。方法：为了评估模型对边界附近数据点的敏感性以及对质疑模型预测能力的点的影响，在不改变分类器决策边界的情况下发送扰动的数据点。技术：例如，在大规模语言模型（LLM）中，攻击者可以将对抗性嵌入注入提示嵌入中，以提取模型中被遗忘的知识。

(3) 遗忘证明

目的：使用攻击来证明遗忘过程的有效性。即验证数据是否已有效地从模型中删除。如何：如果遗忘数据并不表明模型中的成员资格，或者如果无法检测到遗忘数据后门，则可以认为遗忘数据很有可能从模型中有效删除。应用：研究使用标准推理攻击、后门攻击或其他对抗性攻击的变体来检测可遗忘程序中的缺陷。

2.4 验证指标和评价指标

(一)验证指标

验证指标主要由数据提供者用来验证模型提供者声称的遗忘效应是否真实。

侵入性指标：

基于水印的指标：将水印（例如后门触发器或特定的二进制字符串）嵌入到数据或模型参数中，并验证这些水印即使在被遗忘后是否仍被模型记住。 非侵入性指标：

成员推理指标：确定训练数据集中是否存在特定数据样本，以确保模型仍然包含有关被遗忘数据的信息。数据重建索引：尝试根据模型输出或参数重建训练数据信息，以检查模型中是否仍然保留了被遗忘的数据。基于加密的指标：使用加密技术提供遗忘过程的证据，例如使用简洁的非交互式知识论证。

（二）评价指标

评估指标帮助模型提供者评估遗忘算法的有效性、有用性和效率。

成效指标：

再训练时间指标：测量被遗忘的模型重新获得与原始模型相同的精度所需的训练时期数。基于相似性的指标：通过测量激活、权重或遗忘模型和重新训练模型之间的分布距离来评估遗忘有效性。基于理论的指标：根据特定遗忘方法设计的指标，例如基于再学习的指标或基于认证的指标。 效率指标：

遗忘速度指标：评估遗忘过程的效率，并测量遗忘操作与从头开始训练所需的时间差异。 效用指标：

遗忘数据集的准确性：为了确保遗忘模型仍然可用，我们评估遗忘操作对模型对剩余数据集的预测准确性的影响。

（三）其他相关指标

遗忘率：通过测量隶属度推断准确性的变化来直观地测量遗忘成功率。神经元屏蔽：通过屏蔽神经网络中的特定神经元来忘记特定数据。

3 参考文献

Xu J, Wu Z, Wang C, et al. Machine unlearning: Solutions and Challenges [J], IEEE Transactions on Emerging Topics in Computational Intelligence, 2024.

Liu Z, Ye H, Chen C, et al. Threats, Attacks, and Defenses in Machine Learning : Survey[J], arXiv 预印本arXiv:2403.13682, 2024.

Li N, Zhou C, Gau Y, et al. Machine Unlearning: 分类、指标、应用、挑战和前景[J], arXiv 预印本arXiv:2403.08254, 2024.

王文， 田志， 余松. 机器Unlearning:综合综述[J], arXiv预印本arXiv:2405.07406, 2024. [引用次数：0]

以上#2024机器去学习技术分类相关内容来源网络，仅供参考。相关信息请参见官方公告。