【联邦学习-论文阅读】Towards Personalized Federated Learning

题目：个性化联邦学习

作者：Alysa Ziying Tan ,HanYu , Member, IEEE, Lizhen Cui , Member, IEEE, and Qiang Yang , Fellow, IEEE

期刊：IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS

原文链接：Towards Personalized Federated Learning | IEEE Journals & Magazine | IEEE Xplore

摘要：随着人工智能研究的进步，人工智能的迅速采用，人们对数据隐私的认识和关注也在不断提高。数据监管领域最近的重大发展促使人们对保护隐私的人工智能的兴趣发生了翻天覆地的变化。这有助于联邦学习的普及，这是以隐私保护方式在数据孤岛上训练机器学习模型的领先范例。本文探索了个性化联邦学习（PFL）领域，以解决联邦学习对异构数据的基本挑战，这是所有现实世界数据集固有的普遍特征。本文分析了PFL的主要动机，并根据PFL中的主要挑战和个性化策略对PFL技术进行了分类。本文重点介绍了他们的关键思想、挑战、机遇，并展望了未来有希望的研究轨迹，以实现新的PFL架构设计，现实的PFL基准测试和值得信赖的PFL方法。

1. 个性化联邦学习的动机

个性化联邦学习研究旨在解决以下两个挑战：

1） 高度异构数据的收敛性差；

2） 缺乏解决方案个性化。

当学习非独立和相同分布（Non-IID）数据时，FedAvg的准确性会显着降低。这种性能下降归因于客户端漂移现象，这是对Non-IID本地数据分布进行本地训练和同步的结果。

在原版联邦学习设置中，训练单个全局共享模型以适应“普通客户”。因此，对于与全局分布非常不同的局部分布，全局模型将无法很好地泛化。拥有单个模型通常不足以满足经常面临非IID本地数据集的实际应用。以应用 FL 开发移动键盘语言模型为例，由于不同的代际、语言和文化细微差别，来自不同人口统计数据的用户可能会有不同的使用模式。某些字词或表情符号可能主要由特定用户组使用。对于此类方案，需要为每个用户提供更量身定制的预测模式，以使单词“建议”有意义。

2. 个性化联邦学习的策略

2.1  策略一：全局模型个性化

解决了在异构数据上训练全局共享联邦学习模型的性能问题，个性化性能直接取决于全局模型的泛化性能。PFL 严格遵循常规联邦学习训练过程，其中训练单个全局联邦学习模型。然后，通过本地适应步骤为每个联邦学习客户端个性化训练的全局联邦学习模型，该步骤包括对每个本地数据集进行额外训练。该策略分为以下两类：

2.1.1 基于数据的方法

通过减少客户数据集之间的统计异质性来缓解客户漂移问题。

1) 数据增强：由于训练数据的IID性质是统计学习理论中的一个基本假设，增强数据统计同质性的数据增强方法在机器学习领域得到了广泛的研究。过采样技术包括合成数据生成(例如SMOTE 和ADASYN )，欠采样技术(例如, Tomek链接)被提出以减少数据不平衡。然而，这些技术不能直接应用在FL设置下，其中驻留在联邦中客户端的数据是分布式和私有的。

2) 客户端选择：另一个工作重点是设计FL客户端选择机制，以便从更均匀的数据分布中进行采样，以提高模型泛化性能。Wang等人提出了FAVOR，它在每轮训练中选择一个参与训练的客户子集，以减轻非IID数据引入的偏差。以最大化精度和最小化通信轮数为目标，设计了用于客户端选择的深度Q学习公式。

2.1.2 基于模型的方法

学习强大的全局模型，以便将来对单个客户进行个性化或提高本地模型的适应性能。

1) 正则化局部损失：在训练机器学习模型时，模型正则化是防止过拟合和提高收敛性的常用策略。在FL中，正则化技术可以应用于限制局部更新的影响。这提高了全局模型的收敛稳定性和泛化性，进而可以用来产生更好的个性化模型。

2) 全局模型和局部模型之间：一些工作在全局模型和局部模型之间实施正则化，以解决FL中由于统计数据异质性而普遍存在的客户端漂移问题。Fed Prox 在局部子问题中引入了一个近端项，该近端项考虑了全局FL模型和局部模型之间的相异性，以调整局部更新的影响。

3) 在历史局部模型快照之间：最近，一种基于对比学习的FL - MOON 被提出。MOON的目标是减少局部模型学习到的表示与全局模型(即,缓解权重发散)之间的距离，增加给定局部模型与其之前的局部模型(即,加快收敛速度)之间学习到的表示之间的距离。这种新兴的方法使每个客户端能够学习一个接近全局模型的表示，以最小化局部模型发散。它还通过鼓励本地模型从以前的版本中改进来加速学习。

        a) 元学习：俗称"学会学习"，元学习旨在通过接触各种任务来改进学习算法(即,数据集)。这使得模型能够快速有效地学习一个新的任务。基于优化的元学习算法，如模型不确定元学习( modelagnostic元学习，MAML ) 和Reptile 等，以其良好的泛化性和对新的异构任务的快速适应性而著称。它们也是模型不可知的，可以应用于任何基于梯度下降的方法，使其在监督学习和强化学习中的应用成为可能。

        b) 迁移学习：TL通常用于非联邦环境下的模型个性化。它旨在将知识从一个源领域转移到一个目标领域，而这两个领域往往是不同的，但又是相关的。TL是一种有效的方法，它利用预训练模型的知识转移，从而避免了从头开始构建模型的需要。铊系PFL方法也应运而生。Fed MD 是一个基于TL和知识蒸馏( KD )的FL框架，供客户使用自己的私有数据设计独立的模型。在FL训练和KD阶段之前，首先使用在公共数据集上预训练的模型进行TL。然后，每个客户根据其私有数据对该模型进行微调。

2.2 策略二：学习个性化模型

解决了方案的个性化挑战，需要在泛化和个性化性能之间取得平衡，PFL方法介于标准FL设置和局部学习设置之间。与训练单个全局模型的全局模型个性化策略相反，此类别中的方法训练单个个性化 联邦学习（PFL） 模型。目标是通过修改联邦学习模型聚合过程来构建个性化模型。个性化技术分为以下两类：

2.2.1 基于架构 的方法

为每个客户端提供量身定制的个性化模型架构。

1) 参数解耦：参数解耦旨在通过将局部私有模型参数与全局FL模型参数解耦来实现PFL。私有参数在客户端本地训练，不与FL服务器共享。这使得可以学习特定任务的表示，以增强个性化。

2) 知识蒸馏：在基于服务器的HFL中，FL服务器和FL客户端都采用相同的模型架构。其基本假设是在客户端有足够的通信带宽和计算能力。然而，对于以大量边缘设备作为FL客户端的实际应用来说，它们往往是资源受限的。客户端也可能因为不同的训练目标而选择不同的模型架构。在FL中，KD的关键动机是使其具有更大程度的灵活性，以适应客户的个性化模型架构。同时，它还试图通过减少资源需求来应对通信和计算能力的挑战。

2.2.2 基于相似性的方法

利用客户端关系来提高个性化模型性能，为相关客户构建了类似的个性化模型。

1) 多任务学习：多任务学习的目标是训练一个联合执行多个相关任务的模型。这通过在整个学习任务中利用特定领域的知识来提高泛化能力。通过将每个FL客户端视为MTL中的一个任务，有潜力学习和捕获客户之间的关系，这些客户通过其异构的本地数据表现出来。

2 )模型插值：例如，使用全局和局部模型的混合来学习个性化模型，以平衡泛化和个性化。每个FL客户端学习一个单独的局部模型。惩罚参数λ用来防止局部模型与均值模型相差过大。当λ设置为零时，发生纯局部模型学习。每个客户端在本地训练自己的模型，而不与其他客户端进行任何通信。随着λ的增加，混合模型学习发生，局部模型之间越来越相似。该设定近似全局模型学习，即当λ趋近于无穷大时，所有局部模型被迫相同。

3 )聚类：对于客户机之间存在固有分区或数据分布显著不同的应用，采用客户机-服务器的FL架构来训练一个共享的全局模型并不是最优的。对于每个同质的客户群体训练一个FL模型的多模型方法更合适。最近的一些工作主要集中在面向FL个性化的聚类。基于聚类的FL的基本假设是存在一个基于本地数据分布的客户自然分组。

3 PFL基准和评价指标

3.1 FL基准数据集

近年来发展起来的FL基准测试框架有FLBench、edge AIBench、OARF和FedGraphNN。

LEAF是针对FL提出的最早和最流行的基准测试框架之一。在写作时，它提供了6个FL数据集，涵盖了一系列机器学习任务，包括图像分类，语言建模和情感分析，在IID和非IID设置下。示例数据集包括根据人物数字的作者进行拆分的扩展MNIST数据集、根据名人进行拆分的Celeb A 数据集、根据剧中人物进行拆分的莎士比亚数据集。

由于LEAF从传统的机器学习设置中扩展了现有的公共数据集，因此它并不能完全反映FL场景中的数据异质性。虽然有一些真实世界的联合数据集，例如用于目标检测的街景图像数据集和用于图像分类的物种数据集，但它们通常在大小上受到限制。

3.2 PFL实验评价设计

3.2.1 数量偏斜

FL客户端拥有不同大小的本地数据集，其中一些客户端的数据量远大于其他客户端。由于FL客户端使用模式的多样性，数据规模的异构性在现实环境中普遍存在。为了模拟数据大小的异质性，不平衡数据集的数据可以直接使用，而无需进一步采样。或者根据幂律，数据可以分发到FL客户端。

3.2.2 特征分布偏斜

特征分布Pc ( x )在不同客户之间变化，而条件分布P ( y | x )在不同客户之间相同。例如，在健康监测应用中，用户的活动数据分布因其习惯和生活方式的不同而存在很大差异。为了建模特征分布倾斜，一个由用户划分的数据集经常与与不同客户端相关联的每个用户一起使用。也可以通过旋转增加数据集来模拟。

3.2.3 标签分布偏斜

客户之间的标签分布Pc ( y )不同，而客户之间的条件分布P ( x | y )相同。例如，在软件移动键盘中，标签分布的偏斜对于来自不同人口统计学的用户来说是一个可能的问题，因为存在不同的语言和文化细微差别，导致某些单词或表情符号主要被不同的用户使用。为了建模标签分布偏斜，数据集基于标签进行划分，其中每个客户端从固定数量的标签类k中抽取样本。较小的k值意味着更强的数据异质性。不同程度的标签分布不平衡可以通过使用狄利克雷分布Dir ( α )来模拟，其中α控制了数据的异质性程度。α为100相当于IID设置，而较小的α值意味着每个客户端更可能只持有一个类的数据，从而导致高度的数据异质性。

3.2.4 标签偏好偏斜

条件分布Pc ( x | y )在不同客户之间是不同的，而标签分布P ( y )在不同客户之间是相同的。由于个人偏好，标签可能存在变异。为了建模标签偏好偏斜，通常交换一定比例的标签以增加真实标签的方差。

3.2.5 PFL评价指标

1 )模型性能相关。主要从精度和收敛性两个方面来衡量。

大多数PFL工作采用个性化模型的平均测试准确率来衡量模型精度。虽然使用一个聚合的准确性度量可能足以评估训练单个全局共享模型的vanilla FL的性能，但这样的度量不能反映单个个性化模型的性能。因此，有PFL工作使用基于分布的评估框架，如直方图分析、方差度量、个人客户端层面的度量等来评估个性化模型的性能。由于每个客户由于统计数据的异质性而经历不同的基线精度，测量个性化前后模型精度的变化是评估个性化好处的有用方法。模型的收敛性通过训练损失，通信轮数，局部训练次数以及收敛界的形式化来衡量。

2 )系统性能相关。主要关注通信效率、计算效率、系统异构性、系统可扩展性和容错性。

通信效率由通信轮数，参数个数和消息大小来评估。计算效率从FLOP的数量和训练时间等方面进行评估。通过模拟硬件能力和网络条件的变化来评估系统的异构性。这可以通过改变局部训练历元数、CPU资源和局部模型复杂度来实现。系统的可扩展性通过大量客户端的性能，总运行时间和总内存消耗来评估。容错性是根据不同比例的客户和落后客户的性能来衡量的。

3 )可信AI相关。可信的AI指标尚未被广泛用于评估PFL方法。有一些新兴的工作考虑这些度量。例如，局部模型公平性和对抗攻击鲁棒性被用来评估性能。

4 展望未来的研究方向

4.1 PFL结构设计的机遇

4.1.1 客户数据异质性分析

在评估所需的PFL类型时，FL客户之间数据的异质性是一个关键考虑因素。例如，对于存在显著不同的固有分区或数据分布的应用程序，首选多模型方法，如聚类。为了便于对非IID数据进行实验，最近在PFL中的工作提出了全变分、1 -沃瑟斯坦和地球动子距离( EMD ) 等度量指标来量化数据分布的统计异质性。然而，这些指标只能通过获取原始数据来计算。以隐私保护的方式进行FL客户端数据异构性分析的问题仍然是开放的。

4.1.2 聚合过程

在更复杂的PFL场景中，基于平均的模型聚合可能不是处理数据异质性的理想方法。在大多数流行的FL架构中采用了模型平均，其作为一种聚合方法的有效性从理论角度还没有得到很好的研究。PFL的专业化聚合程序有待探索。

4.1.3 PFL架构搜索

在存在统计异质性的情况下，联邦神经架构对超参数选择非常敏感，因此，如果不仔细调整，可能会导致较差的学习性能。FL模型架构的选择还需要很好地拟合底层的非IID分布。神经结构搜索( NAS ) 是一种很有前途的技术，可以帮助PFL减少手动设计的工作量，从而根据给定的场景优化模型架构。这将特别有利于参数解耦和基于KD的PFL方法。

4.1.4 空间自适应性

指PFL系统处理由于：1 )新客户 和/或 2 )辍学者和流浪者的增加而导致的客户数据集变化的能力。这些都是基于边缘计算的复杂FL环境中普遍存在的实际问题，在这些环境中，硬件能力在计算、内存、电源和网络连接方面存在显著的差异。

现有的PFL方法通常假设在FL训练周期开始时有一个固定的客户端池，并且新的客户端不能中途加入训练过程。其他方法涉及预训练步骤，需要时间进行局部计算。除了鼓励在新客户上快速学习的元学习方法外，解决PFL冷启动问题的工作非常有限。当前的深度FL技术在新客户加入时，由于神经网络中的稳定性–可塑性两难问题，也容易发生先前学习到的知识的灾难性遗忘。因此，现有客户端可能会出现性能下降的情况。一个很有前景的方向是将持续学习融入到FL中来缓解灾难性遗忘。

由于网络、通信和计算等方面的限制，大型联邦系统中存在大量的数据丢失和数据丢失现象，因此有必要对FL系统进行鲁棒性设计。开发通信高效的算法来缓解stragglers问题是一个正在进行的研究方向，其中梯度压缩和异步模型更新是解决FL通信瓶颈的常用策略。这些问题需要在PFL中进一步研究，以形式化开销和性能之间的权衡。

4.1.5 时间自适应性

它是指PFL系统从非平稳数据中学习的能力。在动态的真实世界系统中，我们可能期望底层数据分布随时间的变化而变化。这种现象被称为概念漂移。存在概念漂移的学习往往涉及三个步骤：

( i )漂移检测(是否发生了漂移)；

( ii )漂移理解(漂移发生的时间、方式和地点)；

( iii )漂移适应(对漂移的响应) 。

Casado利用变化检测技术( Change Detection Technique，CDT )扩展Fed Avg进行漂移检测。在PFL系统中，利用现有的漂移检测和自适应算法来提高对动态真实世界数据的学习仍然是一个开放的方向。

4.2 PFL基准测试的机遇

4.2.1 现实数据集

现实数据集对于领域的开发很重要。为了促进PFL研究，需要包含更多模态（如音频，视频和传感器信号）的数据集，并涉及来自实际应用的更广泛的机器学习任务。

4.2.2 现实的非IID设置

在大多数现有研究中，PFL算法的评估仅限于单一类型的非IID设置。实验通过利用现有的预分区公共数据集（例如 LEAF）或通过对公共数据集进行分区以适应目标非 IID 设置来准备。为了进行更公平的比较，研究界必须更深入地了解现实世界FL中的不同非IID设置，以便模拟真实的非IID设置。可能的情况包括：1） 时间偏差（数据分布随时间的变化）和 2） 对抗性攻击者的存在。这样的努力需要研究人员和行业从业者之间更广泛的合作，并将有利于建立一个健康的PFL研究生态系统。

4.2.3 整体评估指标

建立系统的评估方法和指标对于PFL研究非常重要。模型性能、系统性能和可信的 AI 属性是评估 FL 系统性能时要考虑的重要方面。潜在采用者需要能够对给定的PFL方法提供整体成本效益分析的方法，以便更深入地了解其现实世界的影响。

4.3 可信的PFL的机遇

4.3.1 开放协作

除了算法挑战之外，未来的PFL研究还可以探索促进自私自利的数据所有者之间的协作。例如，具有PFL模型的数据所有者可能需要通过与其他合适的数据所有者共享其模型来进行协作，以适应动态现实世界应用程序中学习任务随时间的变化。激励机制设计是实现这一愿景的一个有前途的研究方向。博弈论、定价和拍卖机制可用于建立合适的激励计划，以支持开放式协作PFL系统的出现。

4.3.2 公平性

随着机器学习技术被企业更广泛地采用来支持决策，人们越来越有兴趣开发确保公平的方法，以避免不良的道德和社会影响。目前的方法不能充分解决PFL中提出的一系列与公平性有关的独特挑战。其中包括由于本地数据大小、活动模式、位置和连接质量不相等而导致的参与FL客户端的多样性引入的新偏差来源。PFL中的公平性研究仍处于起步阶段，PFL中的公平框架尚未明确定义。FL中公平性的研究主要集中在流行的基于服务器的FL范式上，尽管关于替代FL范式中公平性的新工作正在出现。随着FL接近成熟，为了大规模采用FL，特别是在提高PFL公平性方面的进展将变得越来越重要。

4.3.3 可解释性

可解释人工智能（XAI）是一个活跃的研究领域，最近引起了极大的兴趣，受到政府机构和公众对可解释模型的压力。对于医疗保健等高风险应用中的模型来说，解释这一点很重要，因为其中非常需要证明所做决策的合理性。FL文献中尚未系统地探索可解释性。由于分布式数据集的规模和异构性，在PFL中实现可解释性存在独特的复杂挑战。努力实现FL模型的可解释性也可能与无意数据泄露的潜在隐私风险有关，其中某些基于梯度的解释方法容易发生隐私泄漏。有一些工作同时解决了可解释性和隐私目标。开发一个平衡可解释性和隐私性之间权衡的FL框架是未来重要的研究方向。实现这种权衡的一种可能方法是将可解释性合并到全局 FL 模型中，而不是 FL 模型的个性化组件中。

4.3.4 稳健性（鲁棒性）

尽管与传统的集中式模型训练方法相比，FL提供了更好的隐私保护，但最近的研究暴露了FL的漏洞，这些漏洞可能会损害数据隐私。因此，研究FL攻击方法并制定防御策略来抵消这些攻击以确保FL系统的鲁棒性至关重要。随着为 PFL 开发的更复杂的协议和架构，需要做更多的工作来研究相关形式的攻击和防御，以实现强大的 PFL 方法的出现。

5 总结

本综述概述了FL并讨论了PFL的主要动机。我们提出了根据PFL中的主要挑战和个性化策略分类的PFL技术的独特分类法，并强调了这些PFL方法的关键思想，挑战和机遇，最后讨论了PFL文献中常用的公共数据集和评估指标，并概述了将激发PFL进一步研究的开放问题和方向。