分裂联邦学习论文-混合联邦分裂学习GAN驱动的预测性多目标优化

论文标题：《Predictive GAN-Powered Multi-Objective Optimization for Hybrid Federated Split Learning》

期刊：IEEE Transactions on Communications, 2023

一、论文介绍

背景：联邦学习作为一种多设备协同训练的边缘智能算法，可以保护数据隐私，但增加了无线设备的计算负担。

模型：为了解决上述问题，我们提出了一种无线网络的混合联邦分裂学习框架，该框架结合了FL多clients协同训练和SL的灵活分割。为了减少模型分裂中的计算的空闲时间，我们设计了一种不共享标签的模型分裂并行计算方案，并从收敛性上对时延梯度的影响进行理论分析。为了平衡训练时延和能耗，我们通过联合优化分割点决策、带宽和计算资源分配以最小化训练时延和能耗(多目标优化：时延、能耗)。然后，我们提出了一种预测生成对抗网络（GAN）驱动的多目标优化算法来获得问题的帕累托前沿，它利用鉴别器来指导生成器的训练来预测有前途的解决方案。

算法：GAN驱动预测的多目标优化算法

二、系统模型

本文框架包含一个Base Station (BS)和集合表示的客户端，框架如图所示。

图中的神经网络共有层，且分为3部分进行训练，第一部分：第个客户端计算层。第二部分：边缘服务器计算层。第三部分：客户端计算层。假设第层的神经网络前向和反向传播所需的浮点数分别为和。

2.1通信和计算模型

1、通信时延-前向传播：两部分的前向传播时延分别为:

  

其中表示客户端训练时的batch size，表示第一部分计算后的结果，表示第二部分计算后的结果。两部分的反向传播时延分别为:

其中表示第三部分反向传播时梯度的大小，表示第二部分反向传播时梯度的大小。

第二部分前向传播和反向传播的时延为：

前面已经对传输过程的时延和边缘服务器的计算时延进行说明。下面分析并行计算时(由上图可知，蓝色--绿色--橙色--黄色为相邻的本地轮次，假设分别为第1，2，3，4轮次。本地训练相邻轮次可以同时进行，对于精度如何影响暂时不知)客户端产生的资源空闲或等待的情况。下面依次进行分析：

了解下面四种情况，主要是知道空闲与等待的发生位置以及原因（I和2说明本地计算能力过高，可能是计算的层数较多。3和4计算能力太低，可能原因是计算的层数较少）。

在Stage I：很明显出现了资源空闲的情况(首先进行第1轮(蓝色)计算，此时在c部分计算完成，资源空闲。因为第2轮(绿色)前向传播未完成)。则在Part C 的最大时间为：

其中第三部分的本地计算频率可以自适应设置为。

在Stage II: 此时第1轮次(蓝色)进行反向传播，第二轮次(绿色)开始在Part C 处计算。此时也会造成资源空闲，解决的办法则是使得第1轮(蓝色)与第2轮(绿色)的时间最好相等（情况(b)）。此时Part C的最大持续时间为：

其中第二部分的本地计算频率可以自适应设置为

在Stage III: 此时第1轮次(蓝色)反向传播执行完成，第3(橙色)轮次前向开始计算，当绿色轮次完成时，本地计算资源被占用，需要等待。此时Part a 的最大持续时间为：

其中第三部分的本地计算频率可以自适应设置为

在Stage IV: 此时第2轮次(绿色)执行完反向传播，第3(橙色)轮未到达，开始计算第4(黄色)轮。第3(橙色)轮等待。Part a 的最大持续时间为：

其中第四部分的本地计算频率可以自适应设置为

参数的下载和上传时延为：

因此，对于分裂联邦学习整个训练过程中总的时延和能耗为：

对于只执行联邦学习的客户端而言，其总的时延和能耗为：

其中客户端本地计算资源为

总的能耗为

2.2优化目标

假设表示优化变量，通过联合优化模型分割决策、服务器的带宽分配和服务器的计算资源分配，实现最小化训练过程中的时延和能耗。

其中，.

第一个和第二个约束表示已分配的计算资源和带宽的范围，第三个约束表示输入和输出层应该保持在工人上，以保护隐私。且和都为整数。该优化问题是非凸的，通常很难得到这类问题的帕累托最优解集。因此，提出了一种基于GAN的多目标优化算法来逼近帕累托最优解集。