第26篇：pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA使用lora微调的模型异构个性化联邦学习

第一部分：解决的问题

• 联邦学习（Federated Learning, FL）是一种分布式机器学习方法，允许客户端在本地数据上训练模型，同时通过中心服务器共享学习成果。
• 传统FL框架假设客户端使用相同的模型结构（模型同构），但在实际中可能面对：
  1. 统计异质性：客户端的数据分布不均（non-IID）。
  2. 资源异质性：客户端硬件资源有限。
  3. 模型异质性：客户端可能拥有不同的模型结构。
• 模型异构的个性化联邦学习（MHPFL）试图解决模型异构问题，但现有方法在通信和计算效率上仍存在不足。
• 注：Model-Heterogeneous Personalized Federated Learning（模型异构的个性化联邦学习）

第二部分：核心idea

• 提出了一种基于低秩适配（Low-Rank Adaptation, LoRA）技术的高效模型异构个性化联邦学习框架 pFedLoRA。
  • LoRA 是一种用于微调大