边缘辅助无人机网络的分层联邦学习

Hierarchical Federated Learning for Edge-Aided Unmanned Aerial Vehicle Networks

摘要

联邦学习（FL）允许无人机（UAVs）协作训练一个全局共享的机器学习模型，同时在本地保留其私有数据。
近年来，边缘辅助无人机（UAV）获取的异构数据激增，需要建立具有隐私的全局模型，
一个关键问题是如何处理异构数据的非独立同分布（non-i.i.d.)性质，同时确保学习的收敛性。
为了解决这一问题，提出了一种用于边缘辅助无人机网络的分层联邦学习算法，
该算法利用位于基站的边缘服务器作为中间聚合器，使用公共的共享数据。

引言

1.动机

联邦学习在无人机中的应用：
通过以下四个循环步骤实现：
（i）在每个无人机（即本地模型）上使用其自己的数据本地训练全局模型，
（ii）将训练过的无人机本地模型报告给集中式云服务器，
（iii）在云服务器上聚合本地模型以更新全局模型，
（iv）将更新的全局模型发送给UAVs，以便在UAVs本地再次对其进行训练。

大多数FL系统使用FedAvg算法，该算法根据训练样本数加权平均模型更新。
不足：
尽管FL（无需向云服务器发送实时数据馈送）可以减少延迟和带宽，但深度学习（DL）模型规模的不断增长，使模型更新的传输成为系统的瓶颈。
如何处理各种类型无人机获取的异构数据的非独立同分布性质，同时确保训练全局模型的收敛性。

2.相关工作

位于UAVs和云服务器之间的基站中的中间边缘服务器可以帮助显著降低FL所需的通信和计算成本。

相关工作	目的
张等人考虑了一个FL系统，以地面融合中心（GFC）作为聚合器，在远程位置部署无人机网络	降低通信复杂性
将无人机用作用户和边缘注释之间的通信链路	减轻网络延迟开销
制定了几种服务：计算卸载、资源分配和移动边缘计算网络中的最佳无人机位置，同时将无人机用作通信和计算设备。

无人机网络中的重要考虑因素：
生成样本的数据异构性、无人机实际上受到内存、通信、计算和能量消耗的限制。
解决系统异构性问题的方法：
使用分布式学习跨多个边缘设备执行培训过程，通过预测关键基础设施代理的中断和资源信息来选择熟练的设备。

为边缘无人机网络开发在非独立同分布.数据分布中鲁棒的高性能联邦学习算法仍然是一个活跃的研究领域。

3. 贡献

• 开发了分层FL算法，该算法在具有非独立同分布数据（即高度倾斜的特征和标签分布）的真实场景中运行良好。
创新点：在边缘服务器上使用公共的共享数据，以有效解决非独立同分布性质引起的发散问题。通过从无人机收集示例性数据样本，在边缘服务器上离线创建或构建共同共享的数据。
还提出了一种有效的方法来分层聚合无人机和边缘服务器的本地模型，以进行全局模型更新。

系统模型和问题描述

考虑一个边缘辅助无人机网络，其中包括一个云服务器，位于基站中的L个边缘服务器和N个无人机。无人机分为L组，第l组无人机，用带基数|C_l| = C_l的C_l表示，分配给 lth 边缘服务器。

设 n 是无人机上数据样本的总数，其中第 i 个无人机 有一个数据集，表示为 P_i，由 n_i个数据样本组成。FL的目标是最大限度地减少以下（全局）损失因素：

f(w)表示全局模型w的损失函数，f_j(w)是第i个无人机的第j个数据样本的损失函数 。

训练过程：
（1）中央云服务器将全局模型w发送到各无人机。
（2）在每个步骤t中，第i个无人机使用其基于梯度下降方法的私有数据集P_i局部训练全局模型w，从而生成局部模型w_i

其中η_t 表示步长。
（3）将本地模型 {w_i} 发送回中央云服务器后，全局模型 w 通过以下聚合进行更新：
重复上述步骤，直到达到所需的精度。

无人机的异质性导致联邦学习的性能和收敛行为较差
有几种方法可以使设备之间的数据偏离 i.i.d：

方法	特点	例子
特征分布偏斜	边际分布 Pi 因设备而异。这意味着不同设备之间的数据特征是不同的。	同一物体的图片在亮度、遮挡、相机传感器等方面可能有所不同
标签分布偏斜	设备可以访问所有可用标签的一小部分	每个设备都可以访问某个数字的几个图像
概念转移（不同的特征，相同的标签）	条件分布 Pi(x 丨y )因设备而异。同一标签 y 在设备之间可能具有不同的特征 x	在数字识别情况下，数字可能以不同的方式书写，这导致同一数字的不同基础特征
概念转移（相同的特征，不同的标签）	条件分布 Pi(x丨y) 在设备间不同。相似的功能可能在不同的设备上有不同的标签	不同的数字以非常相似的方式写入，例如5和6，或3和8

在实际场景中，至少上述每种方式都可能在实践中发生，并且大多数数据集通常包含它们的混合。

分层 FL 算法

关键思想：边缘服务器被用作具有公共共享数据的中间聚合器，以提高学习性能，即使对于非独立同分布数据也是如此。
在分层FL中，公共共享数据用于在边缘服务器上训练本地模型。
建议分层聚合UAVs和边缘服务器的本地模型。
算法1给出了所提出的边缘辅助无人机网络的分层FL算法，其中T为总体聚合步骤。此外，C表示参与分层FL的无人机的比例，这些无人机是从total N无人机中选择的。

工作原理：
（1）使用随机权重w₀初始化无人机和边缘服务器的局部模型，并为每个边缘服务器分配公共共享数据集Q，该数据集相当于总数据集的5%。
（2）UAVs和边缘服务器开始分别使用其私有和公共共享数据并行训练其本地模型（即前一轮的全局模型）。
（3）在全局聚合的每个步骤中，UAVs使用前一轮的全局聚合参数w_t更新其模型。
（4）经过 k₁ 次本地迭代后，每个UAV将其使用私有数据集P_i训练的局部模型w^l_i发送到边缘服务器。
（5）在接收到来自相应UAV的局部模型后，边缘服务器执行边缘聚集
其中边缘服务器的本地模型 w^e_l使用共享数据集 Q 进行训练 ，然后将这些模型与 UAV 的本地模型聚合在一起。
（6）在边缘聚合过程的k₂迭代之后，边缘服务器将其聚合模型{w}发送到云服务器
（7）在云服务器中，通过全局聚合获得全局模型w_t+1。
总的来说，分配给第l个边缘服务器的第i个UAV的本地更新采用以下形式：

当中间聚合器由于系统资源不足而无法执行边缘聚集过程时，即
整个过程便简化为FedAvg方程。

在任何FL算法中，与集中式学习方法相比，由于权重差异，机器学习模型的训练精度会降低，这主要是由以下两个因素引起的：

因素	对应分层FL算法因素	作用效果
训练过程中UAVs模型的初始化不同	UAVs的本地更新中的迭代次数k1；将更新结果传输到全局服务器之前边缘服务器中聚合步骤的次数k2	k1和k2的值越低，即全局聚合之间的迭代步骤越少，将在实践中降低通信成本。
基础数据分布的非i.i.d性质	共同共享数据的百分比 Q	边缘服务器充当聚合器，可以根据分配给它们的UAV的数据分布独立微调共享数据集的大小。

复杂度分析

该算法每轮整体通信时间复杂度为O(CN te+L tc)
由于边缘服务器还充当无人机和中央服务器之间的基站，因此FedAvg的通信时间复杂 度为O(CN( t_e + t_c))。
由于用户CN的活动数量 〉边缘服务器的数量L，因此与FedAvg相比，算法产生了较小的通信复杂性。

数值结果

考虑两种具有不同程度的非i.i.d.数据分布的场景。

场景	设置方案	目的	网络构建
场景一	广泛使用的MNIST数据集在UAVs处设置为私有数据集Pi，在边缘服务器处设置为公共共享数据集Q；考虑到极端非i.i.d.数据分布的情况，选择100个UAV和10个边缘服务器，每个UAV只给定一个类的数据样本，每个边缘服务器分配10个UAV，总共具有2个不同的类	很好地描述了标签分布偏差（skew）的情况，即当每个UAV仅具有一个类的数据样本时，以及当每个边缘服务器被分配具有相同标签的UAV时	具有四层的卷积神经网络（CNN）：前两个卷积层分别使用10个和20个滤波器，内核大小为5，然后是两个具有50和10个单元的完全连接层
场景二	除了10位数字外，使用联邦扩展MNIST（FEMNIST）数据集对52个手写大写字母和小写字母进行分类，并根据字符的作者对数据集进行划分，每个UAV的样本数不平衡	研究特征分布偏差对FL的影响，其中，Pi在UAVs之间设置为不同	类似的CNN：两个卷积层使用32和64个过滤器，内核大小为5，两个完全连接层具有1024和62个单元

神经网络模型中，在每个UAV，使用随机梯度下降更新局部模型，其中批量大小设置为32，学习率设置为0.01，在全局聚集的每个步骤后，指数权重衰减为0.995。

总共，360个UAV被随机分配到18个边缘服务器。在场景一和场景二中，5%的数据集被选为边缘服务器的共享数据集。
无人机网络的动态特性可能导致一些设备成为系统中的瓶颈（即离散效应）。

最后，使用非常低的C=0.008值进行实验，证明算法对由于离散效应导致的高辍学率或低参与率的鲁棒性。

实验指标与结果
。。。。。。

结论

通过利用边缘服务器上的共享数据，提出了边缘辅助UAV网络的分层FL算法。
结果表明，分层FL算法在具有非i.i.d.数据和大量边缘服务器的两种实际场景中均优于现有FL算法。
尤其是当为每个边缘服务器分配具有相同标签的数据样本的UAVs时，其中现有的FL算法无法达到预期的精度水平。

文献来源

Tursunboev Jamshid et al. Hierarchical Federated Learning for Edge-Aided Unmanned Aerial Vehicle Networks[J]. Applied Sciences, 2022, 12(2) : 670-670.