联邦学习的联合参与激励和网络定价设计

（原文：Joint Participation Incentive and Network Pricing Design for Federated Learning）

摘要：由于当大量用户通过联邦学习训练大型机器学习模型时，动态变化且通常繁重的通信开销会给网络运营商带来巨大压力。运营商可能会选择动态改变网络价格作为响应，这最终将影响服务器和用户的收益。本文考虑了参与激励（用于鼓励用户对联邦学习的贡献）和网络定价（用于管理网络资源）的联合设计的问题。由于用户的隐私信息异构和多维决策，多阶段博弈第一阶段的优化问题是非凸的。尽管如此，仍能够在参与者的纵向和横向交互结构下，通过对约束、变量和函数的适当变换，分析得出相应的最优契约和定价机制。最后表明垂直结构比水平结构效果要好，因为它避免了服务器和网络运营商之间的利益不一致。

系统模型：

①联邦学习过程：

模型训练分布在i个用户上并由中央服务器协调，模型训练期间用户和服务器之间的通信由移动网络运营商支持。

一个数据为（xa，ya），其中xa为输入，ya为标签。将预测值记为ŷ(xa; w)，预测值和真值标签的预测损失函数fa(w)，如果用户i使用数据大小为Si的局部数据集si来训练模型，则用户i的损失函数为其所有数据的平均预测损失。

联邦学习的目的是利用所有用户的本地数据来计算模型参数w。最优模型参数w*使全局损失函数最小，全局损失函数是所有用户损失函数的加权平均值。

我们考虑了广泛采用的同步联邦学习，它是在通信轮中进行的。

②时间框架、用户类型和策略

时间帧：将一个训练轮称为一个时间帧，划分为T个时隙，我们专注于在一个典型的时间范围内的优化。

用户类型：通过边际数据使用成本来区分。

              （公开：用户总数，每个类型内的用户数量：隐私：每个用户的类型）

③网络运营商定价：不同时隙设置不同的网络价格，最高价格为P0（动态）。

④服务器合同：服务器设计一个contract集合，包含J个项，每个合约项制定每个类型j用户的数据大小和奖励之间的关系。合约项Rj（dj，rj）中的dj为每轮中所需训练数据大小。rj为对应奖励具有所需数据大小。

⑤用户选择：是否参加训练，选哪个合同项，在哪个时隙上传。

⑥收益和利润：A:用户i选择合约项和时隙，用户收益为服务器汇报和成本之差

B：服务器的成本由全局模型的准确性损失和用户的总奖励决定

C：网络运营商的利润是在一个时间帧内的所有时隙中来自用户的收入与提供网络服务的总成本之差。

⑦博弈和交互结构

垂直结构下的最优激励机制和网络定价设计：

Game（第三阶段：纵向结构下的用户博弈

（第二阶段：服务器的最优契约）

服务器需要在个体理性(IR)和激励兼容性(IC)约束下设计合约。具体来说，个体理性指的是当且仅当用户能够获得正收益时才会参与;激励兼容性指的是用户通过选择适合自己的合约项目来最大化自己的收益。

直接获得最优契约是一个挑战。为了克服这种复杂性问题，我们首先将约束转换为数量较少的等效约束。然后，我们推导出合约中任意给定数据大小d的服务器的最优奖励。最后，我们计算出最优合约φ∗。

（第一阶段：网络运营商的最优定价）

由于几个原因，解决问题2具有挑战性。首先，定价不仅直接影响网络运营商的收入，而且通过影响用户的决策间接决定网络成本。其次，网络运营商需要考虑所有用户的最优时间选择，其复杂形式使得优化问题非凸。

我们通过将问题2的分析分解为两个步骤来解决上述挑战。首先，我们通过利用变量和函数的适当变换，计算出给定一组参与用户网络运营商的最优网络需求分布(即每个时隙的用户数量)。给定此需求分布，我们然后通过将多变量优化分解为顺序单变量优化，计算网络运营商的最优价格。

nt为联邦系统中在时隙t上传结果的用户数量

Q为至少有一个用户会选择的时隙集合

对于每一个时隙t∈Q，都有nt＞0.

横向结构下的最优激励机制和网络定价设计：

对于水平结构，第II阶段的用户分析与第III- a节垂直结构下的第III阶段相同。

基于真实世界的数据集进行模拟：（每小时移动的电话数据使用作为后台网络使用分布）

1．关于系统参数，考虑由24个时隙组成的一天的时间帧，T=24，有五种类型的用户，边际成本为2,4,6,8,10。每个类型有1000个用户，每个用户在一轮中可以贡献的最大数据大小为10MB。网络运营商可以设置的最大网络价格为2000美分。在其他系统中，归一化的总背景网络使用是105个用户。选取用户和网络运营商的拥塞敏感系数为10-4，服务器的代价系数为5*10-10，以平衡不同参数的单位和数量级。

为了获得实验模型的准确性损失，考虑使用非iid数据的用户在cifar—10的数据集上训练联邦学习模型。具体来说，每个用户被随机分配2个标签，每个标签有50个数据点。假设用户的数据分布独立于他们的边际成本分布。卷积神经网络模型由6个3*3的卷积层，一个dropout层，一个有10个单元和relu激活的全连接层，还有一个softmax输出层。

结果：

结论：据我们所知，这是对联合学习中联合参与激励和网络定价设计这一重要问题的首次研究。我们比较了系统中服务器、网络运营商和用户的两种典型交互结构。研究表明，对于所有参与者而言，垂直交互结构优于水平交互结构。此外，我们证明了当用户对拥塞敏感时，具有较少后台网络需求的时间段鼓励联邦学习用户的选择，但仍然具有较少的总网络需求。仿真表明，与最先进的基准相比，我们提出的机制将服务器成本降低了24.87%，并将网络运营商的利润提高了1245.25%。