【博士每天一篇文献，一天一篇文献

1 介绍

年份：2024

作者：南京理工大学李娜、西安电子科技大学付安民、澳大利亚科技大学高岩松、南京理工大学陈辉、澳大利亚西澳大学张志、余水来自悉尼科技大学

期刊：arXiv 预印本未出版

引用次数：1

李宁，周成，高Y等，机器Unlearning:分类、指标、应用、挑战和前景[J]，arXiv预印本arXiv:2403.08254。

本文主要阐述机器遗忘的概念、分类、评价指标、应用场景、挑战以及未来的研究方向。首先，机器遗忘算法主要分为精确遗忘（exact unlearning）和近似遗忘（approximate unlearning），有基于凸函数的传统模型和基于非凸函数的复杂模型又可分为不同的模型。 -驱动模型和模型驱动近似。机械遗忘有效性评价指标是对遗忘工作的有效性、效率、有用性的综合评价，包括侵入性验证指标和非侵入性验证指标，用来验证数据提供者的数据是否真正被遗忘，是一套标准。已被考虑在内。评估模型提供者遗忘算法的性能指标包括再训练时间、模型相似度、遗忘速度和模型准确性。此外，还总结了机器遗忘在模型优化（Model Optimization）和攻击防御（Attack Defense）中的应用场景，证明机器遗忘不仅可以提高模型性能和安全性；而且已经证明它还可以用于防御。这不仅可以更好地防御各种攻击，还加强了数据隐私保护，提高了模型的实用性和可靠性。最后，本文详细介绍了在联邦学习等分布式学习环境中实现遗忘的挑战，并提出了相应的解决方案。

2 创新点

遗忘算法的全面分类：本文提出了遗忘算法的详细分类，区分了集中式和分布式设置下的遗忘算法，并针对不同的应用场景进行了详细的细分。评估指标的系统分析：系统地编制用于衡量遗忘算法质量的评估指标，例如有效性、效率、有用性和兼容性，并允许数据提供者验证区分侵入性和非侵入性遗忘。探索遗忘在分布式学习中的应用：我们详细讨论了在联邦学习等分布式学习环境中实现遗忘的挑战，并提出了相应的解决方案。遗忘的多场景应用：本文不仅描述了遗忘在数据隐私保护中的应用，还将其应用扩展到模型优化、提高模型鲁棒性以及作为防御机制。安全分析和防御策略：对遗忘过程可能发生的攻击进行分类和分析，并提出设计更安全的算法来应对这些攻击的方法。

3 相关研究

3.1 验证指标和评价指标

(一)验证指标

验证指标主要由数据提供者用来验证模型提供者声称的遗忘效应是否真实。

侵入性指标：

基于水印的指标：将水印（例如后门触发器或特定的二进制字符串）嵌入到数据或模型参数中，并验证这些水印即使在被遗忘后是否仍被模型记住。 非侵入性指标：

成员推理指标：确定训练数据集中是否存在特定数据样本，以确保模型仍然包含有关被遗忘数据的信息。数据重建索引：尝试根据模型输出或参数重建训练数据信息，以检查模型中是否仍然保留了被遗忘的数据。基于加密的指标：使用加密技术提供遗忘过程的证据，例如使用简洁的非交互式知识论证。

（二）评价指标

评估指标帮助模型提供者评估遗忘算法的有效性、有用性和效率。

成效指标：

再训练时间指标：测量被遗忘的模型重新获得与原始模型相同的精度所需的训练时期数。基于相似性的指标：通过测量激活、权重或遗忘模型和重新训练模型之间的分布距离来评估遗忘有效性。基于理论的指标：根据特定遗忘方法设计的指标，例如基于再学习的指标或基于认证的指标。 效率指标：

遗忘速度指标：评估遗忘过程的效率，并测量遗忘操作与从头开始训练所需的时间差异。 效用指标：

遗忘数据集的准确性：为了确保遗忘模型仍然可用，我们评估遗忘操作对模型对剩余数据集的预测准确性的影响。

（三）其他相关指标

遗忘率：通过测量隶属度推断准确性的变化来直观地测量遗忘成功率。神经元屏蔽：通过屏蔽神经网络中的特定神经元来忘记特定数据。

3.2 机器遗忘的分类

(1)准确忘却

精确遗忘的目标是确保遗忘的模型与通过重新训练或其他方法从头开始训练的模型在统计上无法区分。

代表性算法：

SISA：一种深度神经网络的精确遗忘技术，通过重新训练与特定数据分片相关的子模型来实现遗忘。 GraphEraser：一种用于图神经网络（GNN）的精确遗忘算法，使用平衡图分割技术保留图结构信息。

(2) 近似遗忘

近似遗忘避免了重新训练的需要，通过直接改变模型参数或数据来近似遗忘效果。

代表性算法：

FedEraser：一种联邦学习的近似遗忘方法，通过调整训练过程来消除特定于客户对全局模型的贡献。遗忘遗忘：如何通过重新标记数据和调整模型参数来实现遗忘。 DeltaGrad：如何使用梯度下降来跟踪和利用数据源来快速增量模型更新。

3.3 分布式遗忘

(1)分布式遗忘问题(problem)

数据可用性角度：在分布式学习中，由于隐私保护，客户端可能无法共享数据，服务器也无法访问本地训练数据集，因此无法进行服务器端再训练，近似只会发生遗忘。模型参数视角：分布式学习中更新模型参数是一个复杂的过程，涉及多个客户端交互，增加了数据跟踪的难度。资源开销角度：分布式学习通常具有较高的通信和时间开销，理想的机器遗忘算法不应该增加任何额外的负担。

(2)联邦遗忘(FU)

联想遗忘是分布式遗忘研究的一个重要领域，特别是在联邦学习环境中。

服务器端联邦遗忘：客户端不共享原始训练数据，因此服务器只能对全局模型进行近似遗忘。尽管这种方法不需要客户参与，但它可能无法完全删除全局模型中的敏感信息。客户端联合遗忘：为了实现更完整的遗忘，遗忘操作应该在客户端本地进行。这需要设计快速且廉价的遗忘方法，同时考虑边缘设备的计算能力限制。联邦遗忘算法的分类：FU算法主要根据执行遗忘的实体可以分为两类。

服务器端联合遗忘：服务器使用历史更新记录和协调训练过程来加速遗忘过程，但可能需要额外的存储空间。客户端联合遗忘：客户端使用快速再训练技术和参数自共享技术来实现遗忘，同时保留模型的有用性。 FU的优点和局限性：服务器端FU可以快速响应遗忘请求，但遗忘可能不完全。客户端的局部FU可以实现更完全的遗忘，但需要高效的快速遗忘算法。应用场景：FU在各种应用场景中的潜在应用，例如大型企业和物联网（IoT）环境。

3.4 机器遗忘的应用

机器遗忘不仅提高了模型性能和安全性，还可以用于防御各种攻击，既加强了数据隐私保护，又提高了模型的实用性和可靠性。

(1)模型优化

使用机器遗忘技术优化您的模型，以提高稳健性并减少恶意、陈旧或对抗性数据可能产生的负面影响。主要应用场景包括：

大规模语言模型（LLM）：机器遗忘技术允许您从大规模语言模型中删除特定数据，以遵守隐私法规、道德标准并减少偏见。推荐系统（RES）：机器遗忘技术允许推荐系统忘记某些用户数据和设置，增加用户隐私保护并提高模型的安全性和可靠性。物联网（IoT）：在物联网环境中，机器遗忘技术可以让深度学习模型快速更新，以解决样本标签错误、设备固件升级和数据污染等问题。

(2) 防御攻击

机器遗忘技术也被用作一种有效的防御机制，以提高模型针对数据中毒和隐私攻击的鲁棒性。具体来说，这些包括：

被动防御：如果您的模型遭受数据中毒或后门攻击，您可以使用机器遗忘来消除这些攻击对您的模型的负面影响并恢复模型的有效性。主动防御：机器遗忘允许模型在隐私攻击之前主动删除与用户个人数据相关的敏感信息，防止攻击者推断与数据相关的个人信息。

成员推理攻击：机器遗忘降低了模型对训练数据的敏感性，使攻击者难以确定特定数据点是否属于训练集。属性推断攻击：防止攻击者通过更改模型的权重和偏差来从模型推断训练数据属性。对抗性模型反转攻击（model inversionattack）：通过擦除模型中的私有信息，攻击者无法从模型输出中重建训练数据的特征。

3.5 对机器遗忘技术的特定攻击类型

针对机器遗忘技术的具体攻击类型包括成员推理攻击、数据中毒攻击和过度遗忘攻击。

(1)会员推断攻击(MU-特定的会员推断攻击)

攻击目标：攻击者试图确定特定数据样本是否属于被遗忘的数据集。攻击假设：攻击者可以访问黑匣子，并且可能能够观察到遗忘前后模型输出的差异。攻击方式：攻击者通过分析模型的输出概率或置信度来推断某个数据点是否包含在训练数据中。该论文提到了诸如温度缩放、仅发布预测标签以及使用差异隐私等防御措施。

(2)数据中毒攻击(MU特有的数据中毒攻击)

攻击目标：攻击者通过频繁触发遗忘过程来降低遗忘效率，或者通过特定样本降低模型的预测准确性。攻击假设：攻击者可能有权访问白盒或灰盒，能够了解模型的结构和状态，或者只是知道模型的架构。攻击方法：通过添加精心设计的噪声、增加计算量和时间消耗，或者创建欺骗数据点，使被遗忘的模型无法理解特定样本，从而导致其被错误分类，从而触发不必要的遗忘过程。

(3)过度学习攻击

攻击目标：通过请求忘记特定数据，攻击者使模型忘记比正常请求更多的信息，从而降低模型的预测性能。攻击假设：攻击者只能访问黑匣子，遗忘过程在服务器端进行。攻击方法：攻击者将额外的样本（作为精心设计的数据）混合到被遗忘的数据集中。这会导致模型在尝试删除此数据时无意中丢弃与另一任务相关的附加信息，从而导致过度遗忘。

3.6 机器遗忘领域当前面临的挑战

(1) 可用的综合验证指标

挑战：目前，缺乏统一的标准来验证遗忘操作的质量，现有的验证指标可能会对模型性能产生负面影响，或者可能难以让普通用户理解和采用。未来方向：需要设计安全、有效、易于实施且用户友好的集成验证指标。

(2)广义机器非学习

挑战：传统的机器遗忘没有充分考虑数据之间的内在关系，可能导致模型结构破坏，并且主要针对分类任务，难以在更广泛的应用中使用。未来方向：我们探索通用的机器遗忘技术，这些技术可以适应各种现实世界的应用场景，例如回归和生成任务。

(3)分布式遗忘的有效性和效率

挑战：虽然分布式遗忘研究目前主要集中在联邦学习设置上，但其他分布式学习设置也需要遗忘能力来满足用户需求并提高模型鲁棒性。未来方向：探索各种分布式学习环境中有效且高效的遗忘方法。

(4) 忘却职能和任务

挑战：现有的遗忘算法主要集中于基于类别和基于样本的请求，这不足以满足用户的需求，特别是当与特定任务相关的特定特征或数据需要被足够遗忘时。未来方向：在功能或任务级别开发容易忘记的算法，以满足不同的实际需求。

6 思考

(1)本文对机器遗忘的分类比较宽泛。详细分类见《Machine Unlearning: Solutions and Challenges》。本文将精确遗忘细分为基于SISA框架的方法和非SISA方法。它又细分为基于数据影响函数去除的方法、基于重新优化的方法、基于梯度的更新方法以及图数据特有的近似遗忘方法。这就是可以发布区域的原因。

（2）2024年四篇综述总结的机械遗忘技术分类

以上#【每日医生文】相关内容仅供参考，相关信息请以官方公告为准。