2023 联邦推荐系统综述（联邦计划）

本博客结合2023年发表的评论文章，总结近期联邦推荐文章。评论原文为：

孙Z，徐Y，刘Y，等，联邦推荐系统综述[J]2023.https://doi.org/10.48550/arXiv.2301.00767

引言

最近，人们做出了许多努力将联邦学习应用于推荐系统以保护用户隐私。在联邦学习设置中，服务器不再收集您的个人数据并收集用于训练模型的中间参数，这极大地保护了您的隐私。此外，联合推荐系统可以与其他数据平台集成，以提高推荐性能，同时满足监管和隐私限制。然而，联合推荐系统面临许多新的挑战，例如隐私、安全、异构性和通信成本。尽管在这些领域进行了大量研究，但还没有综述文章。在这篇综述中，我们（1）总结了联合推荐系统中使用的一些常见隐私机制，并讨论了每种机制的优点和局限性； (2)概述一些新的安全攻击和防御策略。异质性和通信成本问题，（4）介绍联合推荐系统的一些实际应用和公共基准数据集，（5）提出有前途的未来研究方向。

一、联邦推荐的一些挑战

挑战 1：用户的隐私问题

总的来说，隐私保护是FedRS 的首要目标。在FedRS中，每个参与者通过共享中间参数而不是实际的用户-项目交互数据来联合训练全局推荐模型。这是迈向隐私保护推荐系统的重要一步。然而，好奇的服务器可以从上传的中间参数推断用户评级和用户交互行为。此外，FedRS在集成辅助信息（例如社交特征）以提高推荐性能时还面临隐私泄露的风险。

挑战 2: FedRS的安全攻击

在联合推荐场景中，攻击者可能会恶意毒害本地训练样本或上传中间参数来攻击FedRS的安全性。这些可以增加特定产品的利润或削弱竞争对手的整体推荐绩效。为了确保推荐的公平性和性能，FedRS 必须具备检测和防御攻击者中毒攻击的能力。

挑战 3：FedRS 的异质性

FedRS 在多个客户端联合训练过程中还面临系统异构、统计异构和隐私异构问题。在本地训练推荐模型时，功能有限的客户端可能会因为存储、计算和通信能力的差异而落后，影响训练效率。此外，来自不同客户端的数据（用户属性、评分、交互行为等）通常不是独立且共同分布的（非独立同分布），因此很难为所有用户训练一致的全局推荐模型，但您不能。达到个性化的推荐结果。而且，在实际应用中，用户往往有不同的隐私需求，采用不同的隐私设置。因此，简单地使用相同的隐私策略可能会导致用户不必要地损失推荐的准确性和效率。

二、联邦推荐系统概述

1. 通信架构

在FedRS中，参与者数据存储在本地，中间参数在服务器和参与者之间进行通信。 FedRS 研究中使用两种主要的通信架构：客户端/服务器架构和点对点架构。

客户端-服务器架构

如图1（a）所示，客户端/服务器架构是FedRS中最常见的通信架构，它依赖于受信任的中央服务器来执行初始化和模型聚合任务。在每一轮中，服务器将当前的全局推荐模型分发给少数选定的客户端。选定的客户端使用接收到的模型和自己的数据进行本地训练，并将更新的中间参数（模型参数、梯度等）发送到服务器进行全局聚合。客户端-服务器架构需要一个中央服务器来聚合客户端上传的中间参数。因此，服务器的单点故障将严重影响整个训练过程。此外，好奇的服务器可能会通过中间参数推断出客户端的个人信息，从而留下潜在的隐私问题。

Peer-Peer 架构

考虑到FedRS客户端/服务器架构的单点故障问题，Hegedset等人[21]设计了一种在通信过程中不涉及中央服务器的点对点通信架构，如图1所示。 b).在每一轮通信中，每个参与者都会向对等网络中的一些随机在线邻居广播更新的中间参数，并将接收到的参数聚合到自己的全局模型中。这种架构避免了与中央服务器相关的单点故障和隐私问题。然而，聚合过程发生在每个客户端上，这显着增加了客户端通信和计算开销。

2. 分类

参与者类型

根据参与者类型，FedRS可以分为跨设备FedRS和跨平台FedRS。

1）跨设备参与者：跨设备参与者是指联邦学习环境中每个移动用户的客户端，每个参与者的特点是数据量非常小。同时，考虑到移动设备的计算能力和通信能力有限，跨设备的FedRS无法处理高度复杂的训练任务。另外，移动设备可能由于功率或网络状况而终止训练过程。因此，跨设备FedRS的主要挑战是如何在训练过程中提高效率并处理设备延迟。

2）跨平台参与者：跨平台参与者通常指来自不同公司或平台的数据。例如，为了提高推荐性能，推荐系统经常集成来自多个平台（商业平台、社交平台等）的数据。然而，由于隐私和监管问题，不同的数据平台往往无法直接相互共享数据。在这种情况下，跨平台的FedRS允许您跨不同数据平台联合训练推荐模型，而无需直接交换用户数据。与跨设备FedRS相比，跨平台FedRS的参与者数量相对较少，但每个参与者维护的数据量相对较大。跨平台FedRS的一个关键挑战是如何设计公平的激励机制来衡量不同数据平台的贡献和收益。此外，很难找到可靠的服务器来管理跨平台FedRS 中的训练过程，因此在这种情况下，点对点通信架构可能是一个不错的选择。

三、联邦推荐系统的隐私保护机制

FedRS模型训练过程中，用户数据存储在本地，仅将中间参数上传到服务器，在保持推荐性能的同时进一步保护用户隐私。然而，一些研究表明，中央服务器可以根据中间参数推断出一些敏感信息。例如，好奇的服务器可以根据客户端发送的非零梯度来识别用户与哪些项目进行了交互。另外，服务器只要检索到用户连续两轮上传的梯度，也可以推断出用户的评分。为了进一步保护FedRS的隐私，许多研究将其他隐私保护机制融入到FedRS中，例如伪项、同态加密、秘密共享和差分隐私等。本节介绍FedRS 中使用的隐私机制的应用，并比较它们的优点和局限性。

1. 伪项

为了防止服务器基于非零梯度推断用户交互的项目集，一些研究利用伪项目来保护FedRS 中的用户交互行为。伪项目的关键思想是，客户端不仅上传与其交互过的项目的梯度，而且还上传一些尚未使用的采样项目的梯度。例如，Lin 等人提出了一种用于显式反馈场景的联合推荐框架，称为FedRec。在此框架中，设计了一种高效的混合填充策略来为未评级的项目生成虚拟评级。然而，FedRec的混合填充策略在推荐模型中引入了额外的噪声，这不可避免地影响了模型的性能。为了解决这个问题，Feng 等人设计了一个无损版本的FedRec，称为FedRec++。 FedRec++ 将客户端分为常规客户端和去噪客户端。去噪客户端从常规客户端收集噪声梯度，并将噪声梯度之和发送到服务器以去除梯度噪声。伪项可以有效保护用户在FedRS中的交互行为，但评价项的斜率不改变。好奇的服务器可以推断出用户上传的梯度的用户评分。

2. 同态加密

为了进一步保护FedRS 中的用户评级，许多研究尝试在将中间参数上传到服务器之前对其进行加密。同态加密机制允许对加密数据进行数学运算，非常适合FedRS 中的中间参数上传和聚合过程。例如，Chai 等人提出了一种名为FedMF 的安全联合矩阵分解框架。在此框架中，客户端在将矩阵嵌入项的梯度上传到服务器之前对其进行加密，并将其聚合到密文上。由于同态加密的特性，FedMF 可以达到与传统矩阵分解相同的推荐精度。然而，FedMF 会产生严重的计算开销，因为所有计算操作都在密文上执行，并且大部分系统时间都花在更新服务器上。此外，FedMF 假设所有参与者都是诚实的，不会将密钥泄露给服务器，这在实践中很难保证。此外，Zhang等人提出了一种针对垂直联邦学习场景的联邦推荐方法（CLFM-VFL），其中参与者有许多重叠用户，但用户的重叠特征较少。 CLFM-VFL使用同态加密来保护每个参与者的用户隐向量的梯度，并对用户进行聚类，以提高推荐精度并减少矩阵维数。

基于同态加密机制，FedRS可以在保持推荐准确性的同时，有效保护用户的声誉。此外，它还可以防止集成其他参与者的信息时的隐私泄露。然而，同态加密在运行过程中会产生巨大的计算成本。

3. 秘密共享

FedRS使用的另一种密码机制是秘密共享机制，它将中间参数分割成多个片段并将片段连接起来，以便只有当所有片段都被收集到分布在各方之间时才能重建中间参数。

基于秘密共享机制的FedRS在保护用户评分的同时保持推荐准确性，并且与基于同态加密的FedRS相比具有更低的计算成本。然而，参与者之间交换片段的过程显着增加了通信成本。

4. 局部差分隐私

考虑到基于加密的机制带来的巨大计算和通信成本，许多研究尝试使用基于扰动的机制使大规模FedRS适应工业场景。本地差分隐私（LDP）机制允许统计计算，同时保证每个参与者的隐私，并可用于扰乱FedRS的中间参数。例如，Dolui 等人提出了一种联合矩阵分解框架，该框架在将项目嵌入矩阵发送到服务器进行加权平均之前应用差分隐私。然而，服务器可以简单地通过比较项目嵌入矩阵的变化来推断哪些用户对项目进行了评分。为了在模型训练过程中实现更全面的隐私保护，Wu等人结合伪术语和LDP机制来保护FedGNN中的用户交互行为和评估。首先，为了保护FedGNN 中的用户交互行为，客户端随机采样N 个没有交互的项目，并使用与真实嵌入梯度相同的高斯分布生成项目嵌入的虚拟梯度。然后，为了保护FedGNN 中的用户评级，客户端应用LDP 模块根据具有阈值的L2 范数来裁剪梯度，并通过添加零均值拉普拉斯噪声来扰乱梯度。

虽然本地差分隐私机制不会给FedRS带来显着的计算和通信开销，但额外的噪声不可避免地影响推荐模型的性能。因此，在实际应用场景中应考虑隐私和推荐准确性之间的权衡。

四、联邦推荐系统的安全性

除了侵犯隐私的风险之外，推荐系统还可能面临攻击者的中毒，攻击者将他们创建的数据插入训练数据集中以提出所需的推荐。然而，大多数这些中毒攻击都假设攻击者对整个训练数据集具有完整的先验知识。这样的假设可能不适用于FedRS，因为它的数据由每个参与者在本地分发和存储。因此，FedRS提供了比传统推荐系统更强的安全保障。然而，新的研究表明，攻击者仍然可以在先验知识有限的情况下对FedRS 进行投毒攻击。本节总结了一些针对FedRS的新的中毒攻击并提供了一些防御方法。

1. 投毒攻击

有目标投毒攻击

针对FedRS 的有针对性的攻击旨在增加或减少特定项目的风险，通常是为了经济利益。例如，Zhang 等人提出了利用流行度偏见针对联邦管理员的商品促销投毒攻击（Pip Attack）。为了提高目标项目的排名分数，Pip Attack 使用流行度偏差将目标项目与嵌入空间中的热门项目对齐。此外，为了避免破坏推荐准确性和检测，Pip Attack 设计了距离约束，使恶意客户端上传的修改后的梯度更接近正常梯度。

为了进一步减少针对性投毒攻击带来的推荐准确率下降以及保证攻击有效性所需的恶意客户端比例，Rong在FedR上实现了我建议的模型投毒攻击（FedRec Attack）。创建用户特征矩阵并使用它来生成中毒梯度。

Pip 攻击和FedRec 攻击都依赖于一些先验知识。例如，Pip 攻击假设攻击者可以访问公共信息，而FedRec 攻击则假设攻击者可以访问公共通信。因此，在没有先验知识的情况下，攻击的有效性会大大降低，而且这两种攻击并不是所有联邦政府都常见的。为了让攻击者能够在没有先验知识的情况下对fedr 进行有效的投毒攻击，Rong 等人提出了两种恶意客户端生成投毒梯度的方法：随机近似和用户设计挖掘。其中，随机逼近法（A-ra）使用高斯分布来逼近普通用户嵌入向量，硬用户挖掘方法（A-hum）使用梯度下降法来逼近A-ra得到的用户嵌入向量. 优化嵌入向量。挖掘硬用户。这样，A-hum仍然可以有效地攻击联邦管理员，包括极少数恶意用户。

无目标投毒攻击

针对fedr 的无针对性攻击旨在降低推荐模型的整体性能，并且通常是由竞争对手发起的。例如，Wu 等人提出了针对FedRS 的非针对性中毒攻击，该攻击使用全局硬采样技术来破坏模型训练过程。更具体地，恶意客户端从本地用户档案推断出用户的兴趣后，选择与用户兴趣最匹配的候选项目作为负样本，并选择与用户兴趣最不匹配的候选项目作为负样本。作为正样本。 Fed Attack仅修改训练样本，恶意客户端与正常客户端相似但利益不同，因此即使在保护下也能有效破坏FedRS性能。

2. 防御策略

文献中已经提出了许多防御方法来减少中毒攻击对fedr 的影响。它们分为鲁棒聚合和异常检测。

鲁棒聚合

鲁棒聚合的目标是在多达50% 的参与者是恶意的时保证模型的全局收敛，并且使用统计上更鲁棒的值进行聚合而不是上传的中间参数的平均值很重要。中值独立选择每个更新的模型参数的中值作为聚合的全局模型参数。这使我们能够更好地代表分布的中心。修剪平均值分别去除每个更新的模型参数的最大值和最小值，并获得平均值作为聚合的全局模型参数。 Krum 选择与其他模型最接近的局部模型作为全局模型。 MultiKrum 的工作原理是使用Krum 选择多个本地模型并将它们聚合成全局模型。 Bulyan 是Krum 和Trimmed-Mean 的组合，它通过Krum 迭代选择m 个局部模型参数向量，并通过在这m 个参数向量上运行TrimmedMean 来聚合它们。 Norm-Bounding 将接收到的局部参数限制为固定阈值，并将它们聚合以更新全局模型。

尽管这些强大的聚合策略提供了一些收敛保证，但大多数策略（即Bulyan、Krum、Median、Trimmed-mean）都会显着降低fedr 的性能。此外，一些新的攻击（例如：Pip Attack 和Fed Attack）利用精心设计的约束来近似正常用户模式并逃避防御，使Masu 更加难以防御。

异常检测

异常检测策略的目的是识别恶意客户端上传的有害模型参数，并在模型全局聚合过程中过滤它们。例如，Jiang 等人提出了一种称为联邦先令攻击检测器(FSAD) 的异常检测策略，用于检测联邦协同过滤场景中的中毒梯度。 FSAD根据客户端上传的梯度提取四个新特征，并使用这些基于梯度的特征来训练半监督贝叶斯分类器来识别和过滤有害梯度。然而，在FedRS中，由于不同用户的兴趣差异很大，用户上传的参数通常差异很大，这增加了异常检测的难度。

五、联邦推荐系统的异质性

与传统推荐系统相比，FedRS在异构性方面面临着更为严峻的挑战。这主要体现在系统异质性、统计异质性和模型异质性上，如下图所示。系统异构是指客户端设备的存储、计算和通信能力存在显着差异。功能有限的设备会对训练效率产生重大影响，进一步降低全局推荐模型的准确性。这意味着不同客户端收集的数据通常不是独立同分布的（非IID），因此训练单个全局模型就足够了。很难推广到所有客户，这影响了推荐的个性化。隐私异构性意味着不同的用户和信息具有截然不同的隐私约束，因此简单地以相同的隐私预算对待它们会产生不必要的成本。本节介绍一些解决FedRS异构性问题的有效方法。

1. 系统异质性

在FedRS 中，参与的客户端在硬件配置、网络带宽和电池容量方面存在很大差异，因此在计算能力、通信速度和存储容量方面也存在很大差异。在训练过程中，能力有限的客户端可能会因为网络故障、电量不足等原因而落后甚至终止当前的训练。系统异构性显着延迟了FedRS的训练过程，进一步降低了全局模型的推荐准确性。为了使训练过程兼容不同的硬件结构并容忍客户端分布和流失问题，最常见的方法是异步通信和客户端选择。

异步通信

考虑到基于同步通信的联邦学习在聚合过程中需要等待落后设备，因此提出了许多异步通信策略来提高训练效率。例如，FedSA提出了一种半异步通信方法，其中服务器按照每轮到达的顺序聚合本地模型。 FedAsync 使用加权平均策略来聚合基于撤销的本地模型。这会为更新过程中的延迟反馈分配较低的权重。

客户端选择

客户端选择方法根据资源限制选择更新客户端，以便服务器可以同时聚合尽可能多的本地更新。例如，在FedCS中，服务器向每个客户端发送资源请求以检索资源信息，并根据资源信息估计模型分发、更新和上传过程所需的时间。服务器根据估计的时间确定哪些客户端可以参与训练过程。

2. 统计异质性

大多数现有的联邦政府推荐的研究都是基于每个参与者的数据是独立同分布（IID）的假设。然而，由于每个客户的数据分布通常差异很大，因此在非独立同分布数据下训练一致的全局模型很难推广到所有客户，并且不可避免地忽视了客户个性化。为了解决FedRS的统计异质性问题，人们提出了许多有效的策略，主要基于元学习和聚类。

元学习

元学习技术被称为“学习如何学习”，旨在仅使用少量样本快速将从其他任务中学到的全局模型适应新任务。其快速的适应能力和良好的泛化能力使其特别适合构建个性化的联合推荐模型。例如，FedMeta 使用与模型无关的元学习(MAML) 算法来学习初始化良好的模型，这些模型可以快速适应客户端并有效提高FedRS 个性化和收敛性。然而，FedMeta 需要计算二次梯度，这显着增加了计算成本。此外，数据划分过程给样本有限的客户带来了重大挑战。 Wang等人基于FedMeta提出了一种新的元学习算法Reptile。它将近似一阶导数应用于元学习更新，显着减少客户端的计算负担。此外，Reptile不需要数据分区过程，适合样本有限的客户。

聚类

聚类的中心思想是与同一组同质客户共同训练个性化模型。例如，Jie等人使用历史参数聚类技术来实现个性化联合推荐。服务器聚合局部参数生成全局模型参数，对局部参数进行聚类，并针对不同的客户端组生成聚类参数。然后，客户端结合聚类和全局参数来学习个性化模型。 Luoet 等人提出了一种名为PerFedRec 的个性化联合推荐框架。它构建协作图，集成属性信息，并通过联合GNN 共同学习用户表示。根据学习到的用户表示，客户被分为不同的组。每个集群学习一个集群级推荐模型。最后，每个客户端通过结合全局推荐模型、集群级推荐模型和微调的局部推荐模型获得个性化模型。虽然基于聚类的方法可以减少统计异质性，但聚类和合并过程显着增加了计算成本。

3. 隐私异质性

事实上，不同参与者和信息的隐私约束差异很大，因此没有必要对所有参与者和信息使用相同高水平的隐私预算。这会增加计算和通信成本，甚至可能降低客户端性能。

异构用户隐私

为了适应不同用户的隐私需求，Anelli等人提出了一种用户控制的联合推荐框架，称为FedeRank。 FedeRank 引入概率因子 [0, 1] 来控制交互项更新的速率，并通过将剩余交互项更新设置为零来屏蔽它们。通过这种方式，FedeRank允许用户自行决定希望共享的数据比例，解决了用户隐私的异构性。

异构信息隐私

为了适应不同信息组件的隐私需求，HPFL设计了差异化的组件聚合策略。服务器为了获得全局发布的信息分量，直接对本地发布的具有相同属性的分量进行加权聚合。为了捕获全局私有信息组件，用户和项目表示存储在本地，并且服务器仅聚合本地草稿，而不需要协调表示。 HPFL可以通过差异化的组件聚合策略安全地聚合用户模型

场景中具有异构隐私约束的组件。

六、联邦推荐的通信成本

为了实现令人满意的推荐性能，FedRS需要在服务器和客户端之间进行多个通信。然而，现实世界的推荐系统通常是通过具有大模型大小的复杂性深度学习模型来进行的，需要更新和通信数百万个参数，这给资源有限的客户带来了严重的通信过载，并进一步影响了FedRS在大规模工业场景下的应用。本节总结了一些降低FedRS通信成本的优化方法，可分为基于重要性的更新、模型压缩、主动采样和一次性学习。

1. 基于重要性的更新

基于重要性的模型更新选择全局模型的重要组成部分，而不是整个模型进行更新和通信，可以有效减少每轮通信的参数大小。例如，Qin等人提出了一种名为PPRSF的联合框架，该框架使用4层层次结构来降低通信成本，包括召回层、排名层、重新排序层和服务层。在召回层中，服务器通过使用公共用户数据粗略地对大型库存进行排序，并为每个客户端召回相对较少的项目。这样，客户端只需要更新和通信候选项目嵌入，大大降低了服务器和客户端之间的通信成本，以及局部模型训练和推理阶段的计算成本。然而PPRSF 的召回层需要获取一些关于用户的公共信息，这引起了一定的困难和隐私问题。

Yi等人提出了一种名为Efficient-FedRec的高效联邦新闻推荐框架，该框架将新闻推荐模型分解为小型用户模型和大型新闻模型。每个客户端只请求用户模型和参与其本地点击历史的一些新闻表示进行本地训练，这大大减少了通信和计算开销。为了进一步保护特定的用户点击历史与服务器，他们使用安全聚合协议传输一组用户点击历史中涉及的联合新闻表示集。

此外，Khan等人提出了一种多臂老虎机方法(FCF-BTS)，用于为所有客户端选择包含较小有效负载的全局模型的一部分。选择过程的奖励由贝叶斯汤普森采样 (BTS) 方法和高斯先验指导。实验表明，FCF-BTS 可以减少高度稀疏数据集的 90% 模型有效负载。此外，选择过程发生在服务器端，从而避免了客户端的额外计算成本。但是 FCF-BTS 在推荐准确度上导致 4% – 8% 的损失。

为了更好地平衡推荐精度和效率，Ai等人提出了一种全mlp网络，该网络使用傅里叶子层代替Transformer编码器中的自关注子层，过滤与用户实际兴趣无关的噪声数据成分，并采用自适应模型修剪技术，丢弃对模型性能没有贡献的噪声模型成分。实验表明，全mlp网络可以显著降低通信和计算成本，加快模型收敛速度。

基于重要性的模型更新策略可以大大减少通信和计算成本，但只选择重要部分进行更新不可避免地会降低推荐性能。

2. 模型压缩

模型压缩是分布式学习中的一项著名技术，它将每轮的通信参数压缩得更加紧凑。例如，Konen等人提出了两种方法(即structured updates和sketched updates))来降低联邦学习设置下的上行通信成本。结构化更新方法使用较少的变量直接从预先指定的参数化结构中学习更新。Sketched updates方法在将完整的本地更新发送到服务器之前，使用有损压缩方式对其进行压缩。这两种策略可以将通信成本降低2个数量级。

为了降低基于深度学习的FedRS中的上行通信成本，JointRec结合了低秩矩阵分解和8位概率量化方法来压缩权重更新。假设客户端n的权值更新矩阵为, a≤b，低秩矩阵分解将分解为两个矩阵:，其中k = b/ N,N是一个影响压缩性能的正数。 8位概率量化方法将矩阵值的位置转换为8位值后再发送给服务器。实验表明，在保持推荐性能的前提下，JointRec可以实现12.83倍的大压缩比。模型压缩方法在降低上行链路通信成本方面取得了显著效果。然而，通信成本的降低牺牲了客户端的计算资源，因此在使用模型压缩时需要考虑计算成本和通信成本之间的权衡。

3. 客户端采样

在传统的联邦学习框架中，服务器随机选择客户端参与训练过程，并平均简单地聚合局部模型，需要大量的通信才能达到令人满意的精度。客户端采样利用高效的采样策略来提高训练效率并减少通信轮次。

例如，Muhammad等人提出了一种名为FedFast的有效采样策略，以加快联邦推荐模型的训练效率，同时保持更高的精度。FadFast 由两个有效的组件组成：ActvSAMP 和 ActvAGG。ActvSAMP 使用 K-means 算法根据它们的配置文件对用户进行聚类，并从每个集群中以相等的比例对客户端进行采样。ActvAGG 将本地更新传播到同一集群中的其他客户端。这样，这些相似用户的学习过程大大加快，从而提高了FedRS的整体效率。实验表明，与FedAvg相比，FedFast将通信轮数减少了94%。然而，FedFast 面临着冷启动问题，因为它需要许多用户和项目进行训练。此外，FedFast 需要重新训练模型以支持新用户和项目。

4. 一次性学习

一次性联邦学习机制的目标是减少 FedRS的通信轮次，这将通信限制为单轮以聚合局部模型的知识。例如，Eren 等人实现了一个名为 FedSPLIT 的跨平台 FedRS 的一次性联邦学习框架。FedSPLIT 通过知识蒸馏聚合模型，它可以在一个小的初始通信后在服务器和客户端之间仅生成一对通信轮次的客户端特定推荐结果。实验表明，与多轮通信场景相比，FedSPLIT 实现了类似的均方根误差 (RMSE)，但它不适用于参与者是个人用户的场景。

六、联邦推荐的应用和一些插常用数据集

本节介绍 FedRS 的典型应用和公共基准数据集。

1. 应用

在线服务

目前，在线服务参与了我们生活的各个领域，例如新闻、电影和音乐。服务提供商集中收集和存储大量用户的私人信息，面临隐私泄露的严重风险。用户数据可能会被服务提供商出售给第三方，或者被外部黑客窃取。FedRS可以帮助用户在保持个人隐私的同时享受个性化推荐服务，使服务提供商更加可信，保证推荐服务符合法规。例如，Tan等人设计了一个联邦推荐系统，该系统实现了各种流行的推荐算法来支持大量的在线推荐服务，并将其部署到真实的内容推荐应用程序中。

医疗保健

医疗保健推荐使患者在获得令人满意的推荐时能够享受移动应用程序的医疗服务，而不是面对面的医院。医疗数据非常私密和敏感，这意味着很难融合来自不同医院或其他组织的用户信息来提高推荐质量。在这种情况下，FedRS 可以分解数据孤岛并利用这些数据而不影响患者的隐私。例如，Song等人开发了一种基于联邦AI技术使能器(FATE)的电信联合医疗推荐平台，通过补充移动网络运营商的公共用户数据(如人口统计信息、用户行为和地理信息)来帮助医疗保健提供者提高推荐性能。此外，该平台设计了一个联邦梯度提升决策树（FGDBT）模型，提高了 9.71% 的准确率和 4% 的 F1 分数用于医疗保健推荐。该平台已部署在组织和应用于在线操作上。

广告是FedRS的另一个重要应用。显示广告的平台通常面临用户数据不足和广告点击率低的问题。FedRS 能够以隐私保护的方式利用不同平台上的用户数据，可以更好地推断用户兴趣并更准确地推送广告。例如，Wu等人提出了一种名为FedCTR的本地广告CTR预测方法，该方法可以集成多平台用户行为(如广告点击行为、搜索行为和浏览行为)，用于用户兴趣建模，而不需要集中存储。

电子商务

目前，推荐系统在电子商务平台（例如阿里巴巴、亚马逊）中发挥着重要作用。为了为用户提供更精确的推荐服务，此类系统试图整合更多的辅助信息（例如，用户购买能力、社交信息）。然而，这些数据通常分布在不同的平台上，由于法规和隐私问题，难以直接访问。FedRS可以在满足法规和隐私的同时有效地解决这个问题

2. 常用公开数据集

MovieLens

MovieLens评级数据集由GroupLens发布，GroupLens由用户、电影、评级和时间戳信息组成。MovieLens-100K 包含来自 943 个用户 1682 部电影的 100,000 个评分，MovieLens-1M 包含来自 3,952 部电影 6,040 个用户的 1,000,209 个评分。

FilmTrust

FilmTrust 是从 FilmTrust 网站爬取的电影评分数据集。该数据集包含来自 1,071 个电影的 1,508 个用户的 35,497 个评级。Foursquare[92]。Foursquare 数据集是一个著名的基准数据集，用于评估 Foursquare 收集的 POI 推荐模型。该数据集包含 114,324 个用户在 3,820,891 个 POI 上的 22,809,624 个全球规模的签到，具有 363,704 个社会关系。

Epinions

Epinions 数据集是从消费者评论网站 Epinions.com 构建的在线社交网络，它由用户评分和信任社交网络信息组成。该数据集包含来自 116,260 个用户的 188,478 个评分，用于 41,269 个项目。

Mind

Mind 是一个大规模数据集，用于从 Microsoft News 网站的匿名行为日志中收集新闻推荐，其中包含大约 160,000 篇英文新闻文章和 100 万个用户生成的印象日志。

LastFM

LastFM 数据集是从 Last.fm 在线音乐系统收集的，该系统由标记、音乐艺术家倾听和社会关系信息组成。该数据集包含 1,892 个用户的 17,632 个音乐艺术家的 92,834 个听力计数。

Book-Crossing

Book-Crossing 数据集是来自 Book-Crossing 社区的 4 周抓取数据集。它包含 271,379 本书的 1,149,780 个评级（显式/隐式），其中包含 278,858 个带有人口统计信息的匿名用户。

七、FUTURE DIRECTIONS

本节介绍并讨论了未来许多前瞻性研究方向。尽管上述部分已经涵盖了一些方向，但我们相信它们是 FedRS 所必需的，需要进一步研究。

1. 去中心化FedRS

目前大多数 FedRS 基于客户端-服务器通信架构，该架构面临中央服务器引起的单点故障和隐私问题。虽然许多工作都致力于分散的联邦学习，但很少有人研究分散的FedRS。一个可行的解决方案是用点对点通信架构替换客户端-服务器通信架构，以实现完全分散的联邦推荐。例如，Heggeds等人提出了一种基于流言学习的完全去中心化矩阵分解框架，其中每个参与者将他们的全局推荐模型的副本发送给对等网络中的随机在线邻居。此外，群体学习是一个去中心化的机器学习框架，它结合了边缘计算、基于区块链的对等网络和协调，可以在不需要中央服务器的情况下保持机密性。因此，实现去中心化推荐系统也是一种很有前途的方法。

2. FedRS中的激励机制

FedRS 与多个参与者合作训练全局推荐模型，全局模型的推荐性能高度依赖于参与者提供的数据量和质量。因此，设计一种适当的激励机制来激励参与者贡献自己的数据并参与协作训练具有重要意义，特别是在跨组织联邦推荐场景中。激励机制必须能够公平有效地衡量客户对全局模型的贡献。

3. FedRS的体系结构设计

工业场景中的推荐系统通常由召回层和排名层组成，该层在服务器端生成推荐结果。考虑到用户的隐私，FedRS必须采用不同的设计。一个可行的解决方案是本地召回和排名，其中服务器将整套候选项目发送给客户端，客户端在本地生成推荐结果。然而，这种设计给客户带来了巨大的沟通、计算和内存成本，因为在现实世界的推荐系统中通常有数百万个项目。另一种有效的方法是在服务器端放置召回层和客户端的排名层，其中客户端向服务器发送加密或噪声用户嵌入以召回前 N 个候选项目，然后客户端通过排名层基于这些候选项目生成个性化推荐结果。然而，与这种方法相关的隐私泄露风险，因为召回的项目已知到服务器。

4. FedRS 中的冷启动问题

冷启动问题意味着推荐系统不能为历史交互很少的新用户生成令人满意的推荐结果。在联邦设置中，用户数据在本地存储，因此很难集成其他辅助信息（例如社会关系）来缓解冷启动问题。因此，在保证用户隐私的同时，解决冷启动问题是一个具有挑战性和前瞻性的研究方向。

5.FedRS的安全性

在现实世界中，FedRS 中的参与者可能是不可信的。因此，参与者可能会上传有毒的中间参数来影响推荐结果或破坏推荐性能。尽管已经提出了一些稳健的聚合策略和检测方法来防御联邦学习设置中的中毒攻击，但它们中的大多数都在FedRS中效果不佳。一方面，Krum、Medium 和 Trimmed-mean 等一些策略在一定程度上降低了推荐性能。另一方面，一些新的攻击使用精心设计的约束来模拟正常用户的模式，极大地增加了检测和防御的难度。目前，在保持推荐准确性的同时，对这些中毒攻击仍然没有有效的防御方法。
#以上关于2023 联邦推荐系统综述的相关内容来源网络仅供参考，相关信息请以官方公告为准！

原创文章，作者：CSDN，如若转载，请注明出处：https://www.sudun.com/ask/92038.html