个性化联邦学习-综述

介绍阅读的三篇个性化联邦学习的经典综述文章

Three Approaches for Personalization with Applications to Federated Learning

论文地址

文章的主要内容

介绍了用户聚类，数据插值，模型插值三种个性化联邦学习的方法。
用户聚类：

• 目的：将类似的用户分到同一组，使得每个聚类内的用户共享相似的模型。
• 方法：在训练之前或训练过程中使用聚类算法（如K-means或层次聚类）将用户按照他们的数据分布、行为模式或其他相关特征进行分组。
• 个性化：每个聚类中的所有用户共同训练一个模型，这样模型更好地反映了该聚类用户的特点，而非所有用户的平均行为。
• 优点： 在保持广泛的泛化能力的同时，提高了分布匹配，从而降低了训练模型的误差。
  可以自然地找到一个模型用于每个用户，通过使用标准的优化技术。
• 缺点： 聚类算法在处理较大的用户数量时可能会慢一些。 聚类算法可能需要更多的循环次数才能收敛到最优解。对于较小数量的用户数据，用户聚类可能会产生一些问题。

数据插值：

• 目的：增强局部数据，通过插值生成新数据点，以提高模型的泛化能力和个性化表现。
• 方法：在本地数据集上应用插值技术，如SMOTE或其他数据增强技术，来生成额外的训练数据。
• 个性化：每个用户的模型不仅能够学习其真实数据分布，也能够学习由插值生成的数据分布，这有助于模型捕捉用户的个性化特征。
• 优点： 利用了本地数据和全局数据来提高模型的准确性。 通过最小化拼接数据上的损失，实现了领域自适应的效果。
• 缺点： 数据插值具有一定的通信成本和数据安全风险。 在处理大量的数据时，数据插值方法可能会导致较高的计算成本。

模型插值：

• 目的：结合来自不同用户的模型信息来增强个体用户模型的性能。
• 方法：通常通过计算全局模型和局部模型的加权平均来实现，权重可以根据用户的数据分布或模型性能来调整。
• 个性化：通过这种插值方式，每个用户的模型既保留了对全局模式的学习，又融入了个性化的调整，使得最终的模型更适合本地数据。
• 优点： 模型插值在保持高效的计算和通信成本的同时，实现了个性化学习。 模型插值可以通过结合本地和全局模型来实现不同程度的泛化和分布匹配。
• 缺点： 模型插值可能会产生一定的泛化问题，导致模型在处理某些数据时表现不佳。 模型插值可能会在处理大量数据时产生较高的计算成本

Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework

论文地址
文章主要内容

本文主要介绍了一种针对智能物联网应用的个性化联邦学习框架。文章首先讨论了传统联邦学习在物联网环境中的挑战，包括设备异构性、统计异构性和模型异构性。然后，文章介绍了不同的个性化联邦学习方法，包括联邦迁移学习、联邦元学习、联邦多任务学习和联邦蒸馏。最后，文章提出了一个名为PerFit的个性化联邦学习框架，通过将计算任务下放到边缘设备，减少了通信开销并提高了计算效率。该框架还通过数据增强和模型个性化来解决数据和模型的异构性问题。

• 联邦迁移学习 (Federated Transfer Learning)
  • 方法介绍：联邦迁移学习关注于利用已有的大规模联邦学习模型来帮助具有少量数据的用户或设备训练出高质量的模型。它通常涉及将模型从数据丰富的“源”领域迁移到数据稀少的“目标”领域。
  • 优点：可以快速适应新用户或设备，特别是那些自己的数据不足以训练一个高性能模型的情况。有助于解决数据隐私和安全问题，因为可以在不共享原始数据的情况下进行迁移。
  • 缺点：迁移学习可能需要复杂的技术来避免负迁移，即源领域的知识损害目标领域性能。需要源任务和目标任务在特征或标签上有一定的相似性。
  • 适用范围：新用户或少数据用户的快速启动。跨域场景，如使用一个国家的数据来提升另一个国家的模型性能。
• 联邦元学习 (Federated Meta-Learning)
  • 方法介绍： 联邦元学习是指在联邦学习框架下应用元学习的方法，目的是使得模型能够通过少量的调整或学习迅速适应新任务或新环境。
  • 优点：允许模型快速适应新环境或任务，提高了灵活性。 减少了对中心服务器的依赖，使得学习过程更分散化。
  • 缺点：元学习算法的设计和调优相对复杂。 在联邦学习环境下，可能会引入额外的通信开销。
  • 适用范围：快速适应个体差异性的场景，如个性化推荐系统。
• 联邦多任务学习 (Federated Multi-Task Learning)
  • 方法介绍：在这种方法中，联邦学习被用于同时训练多个相关任务的模型，这些模型共享一部分结构（通常是底层表示），但也包含特定于任务的部分。
  • 优点：提高了不同任务的泛化能力，因为它们可以共享知识。更高效的参数使用，减少了模型大小。
  • 缺点：需要精心设计共享和特定于任务的模型结构。在多任务学习中平衡不同任务可能很困难。
  • 适用范围：适合数据分布在不同任务或用户间有相关性的场景。
• 联邦蒸馏 (Federated Distillation)
  • 方法介绍：联邦蒸馏涉及将多个设备或用户的知识整合到一个单一的模型中，这是通过蒸馏出它们共有的知识，并在中心服务器上构建一个更通用的模型来完成的。
  • 优点：减少了模型的复杂性和大小，同时保留了性能。减少了通信成本，因为蒸馏过程中只需要交换模型输出或某些参数而非完整数据集或模型，有助于在用户之间保持隐私，因为蒸馏的是模型的知识而不是原始数据。
  • 缺点：需要额外的步骤来蒸馏和合成知识，这可能会导致一些信息的损失，蒸馏过程可能对超参数选择敏感，需要精心设计。
  • 适用范围：当模型的大小和通信成本是限制因素时，尤其在移动和边缘计算设备上更为适用，适用于隐私保护特别重要的场景。

Survey of Personalization Techniques for Federated Learning

论文地址

文章的主要内容: 本文主要研究了在联邦学习设置下，如何利用不同的个性化技术为每个客户构建专用模型，使其在预测和推荐等任务上比全局模型或本地个体模型具有更好的性能。文章的目标是概述近年来关于在联邦学习环境下构建个性化模型的研究，并详细分析各种技术方法。

文章介绍了以下个性化技术来为每个客户端构建专用模型

• 迁移学习：迁移学习允许深度学习模型在解决一个问题时利用在解决另一个相关问题时获得的知识。迁移学习能够利用全局模型的参数初始化在本地数据上的训练，从而利用全局模型提取的知识，而不是从零开始学习。为了避免灾难性遗忘问题，需要注意在本地数据上重新训练模型的时间不要过长。
• 多任务学习：多任务学习允许同时解决多个相关任务，使得模型能够利用任务之间的共性和差异性学习。使用多任务学习在联邦设置下的一个缺点是，由于它会为每个任务生成一个模型，因此在每一轮中，所有客户都需要参与。
• 元学习：元学习涉及在多个学习任务上训练，以生成高度适应性的模型，这些模型可以在只有少量训练示例的情况下进一步学习解决新任务。元学习包括两个连接的阶段：元训练和元测试。在元训练阶段，在多个任务上构建全局模型，并在元测试阶段针对每个任务个性化全局模型。
• 知识蒸馏：知识蒸馏技术可以将大型教师网络的知识浓缩到更小型的学生网络中。在个性化过程中，可以将全局联邦模型视为教师模型，将个性化模型视为学生模型，以减轻过拟合的影响。
• 全局模型 + 个性化层：全局模型 + 个性化层技术将全局模型与本地模型结合，每个设备学习全局模型和本地模型的混合。这种技术可以在保持全局模式的同时，提高模型的适应性。