迈向可持续人工智能：通过拍卖实现云边缘系统中的联邦学习需求响应

（原文：Toward Sustainable AI: Federated Learning Demand Response in Cloud-Edge Systems via Auctions）

摘要：

云边缘系统时紧急需求响应EDR的重要参与者，有助于维持电网稳定和供需平衡。然而，UI这用户越来越多的在云边缘系统中执行人工智能工作负载，现有的ERD管理并不是针对al工作负载而设计的，因此面临着能源消耗和al模型准确性之间复杂权衡的关键挑战。在本文中，针对联邦学习，设计了一种基于拍卖的方法来克服所有这些挑战。首先制定了一个用于长期社会福利优化的非线性混合整数规划。然后，提出了一种算法，可以生成候选训练计划，将原始问题重新表述为新的计划选择问题，并使用基于原始对偶的在线算法和仔细嵌入的支付设计来解决这个新问题。

介绍：

通常在EDR期间，电网向云边系统发送带有时变能量上线的信号，后者必须将其能耗降低到上线以下，这有助于保证电力系统的稳定性和供需平衡。由于每个用户只考虑自己工作负载的执行情况，而不考虑整个系统的能耗或EDR，这个问题称之为“分割激励”。

解决分割激励可以采用基于拍卖的方式，也就是说，云边缘运营商充当拍卖师，每个用户充当投标人，以自己的估价提交投标，以执行其工作负载或任务。然后，拍卖师根据EDR策略选择中标，并安排相应任务的执行。拍卖可以让用户了解EDR，避免云边缘运营商的错误定价，增加云边缘运营商的利润，并通过实时需求和供应实现市场效率和敏捷性。

贡献：

通过扩展和过滤候选调度并“吸收”非线性，将FL任务的复杂调度计算问题转换为等效但相对更容易的调度选择问题。探索在线圆对偶优化，来设计一种在线算法，该算法谨慎的维护时间表选择的原始问题及其对偶问题的可行解，并以完全在线的方式选择训练时间表对不可预测的未来FL任务一无所知。

结果验证：根据真实训练数据，EDR事件，电价等，对168小时内动态到达的不同数量的FL任务进行广泛的评估。

（i）与两种贪婪的投标选择和调度方法以及最先进的调度方法相比，我们的方法实现了约 2× 的社会福利，并且当违反截止日期受到更多惩罚时更具优势；

(ii) 量化需要仔细控制——提高位精度可以通过减少训练迭代次数来节省能量，以达到所需的精度，但更高的位精度，即在我们的例子中超过 15 位，也会因模型的增长而增加能量大小（以位为单位）；

(iii)我们的方法实现了相对稳定的经验竞争比，至少达到线下最大社会福利的二分之三左右；(iv) 我们的方法在实践中达到真实性和个人理性；

(v) 我们的方法高效且运行速度快，可生成控制决策，在 168 小时内总共 25 分钟内完成 500 项 FL 任务。

建模：

A.系统设定和模型

云边缘系统：边缘指的是与蜂窝基站或wifi接入点共存的微型数据中心或服务器集群，边缘可以通过有线回程网络与云通信。

需求响应：云和边缘都有电网供电，当EDR信号到来时，云边缘系统将接收到每个时隙的能量上线，并且必须减少每个响应时隙从电网到间隙下消耗的能力（由联邦学习任务消耗）。

联邦学习任务：考虑一个集合的联邦学习任务，任务定义为Ai（ti，伊普西龙i）

带量化的FL：对于FL任务i，可以恰当的使用ni用于存储待训练模型的每个参数

拍卖：FL任务i提交Bi，di为完成该任务的模型训练所需要的截止日期；bi为投标价格；gi为逾期的惩罚函数。

问题重新表述：我们重新将问题表述为一个调度选择问题p1，对于每个FL任务i，我们定义一个计划作为对参数的具体赋值。也就是说，对于给定的调度，决策变量都有具体的值，并且是常量。因此，FL任务i的每个调度都是对i是否接收投标、如何调度FL训练，如何配置量化的位精度以及每个时隙执行多少全局迭代的确定决策。现在的问题变成了为每个FL任务选择一个特定的时间表，因为所有任务都是动态到达的。在原问题p的基础上，提出了进度选择问题p1的公式，满足p1的解对应p的解，反之亦然。

为了求解p1的问题，又推导了p1问题的拉格朗日对偶问题d1（通过拉格朗日办法重新定义一个无约束问题，这个无约束问题等价于原来的约束优化问题，从而将约束问题无约束化，然后原始问题的最优值不小于对偶问题的最优值，但是我们要通过对偶问题来求解原始问题，就必须使得原始问题的最优值与对偶问题的最优值相等，此处需要用到kkt约束条件）

算法：算法1的关键是调用算法2，在每个FL任务动态到达时生成即时拍卖结果和可控的训练时间表。我们设计算法2的技术路线是首先将原问题p重新表述为等效时间表选择问题p1，然后推导出p1的对偶问题d1，最后解决一个在线原始对偶方法来同时解决d1和p1，从而求解原问题p，同时计算每个竞标的价格。

评价结果：

参数：

ht：电网的电价

et：云边缘系统在t时消耗的电量

 ti：FL任务i到达系统时的时隙

 伊普西龙i：全局模型的收敛精度

Di，k：FL任务i位于第k条边缘的训练数据集

原文链接：IEEE Xplore Full-Text PDF: