Federated Learning with Non-IID Data

Federated Learning with Non-IID Data

---

IID: 独立同分布 (idependently and identically distributed, IID)

---

论文链接

---

Abstract
联合学习使资源受限的边缘计算设备（例如移动电话和IoT设备）能够学习共享的预测模型，同时将训练数据保持在本地。这种去中心化的训练模型方法提供了隐私，安全性，监管和经济利益。在这项工作中，我们专注于本地数据为非IID时联邦学习的统计挑战。我们首先显示出，对于高度偏斜的非IID数据进行训练的神经网络（每个客户端设备仅在单个数据类别上进行训练），联邦学习的准确性显着降低了约55％。我们进一步表明，这种精度降低可以用重量差异来解释，重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离（EMD）进行量化。作为解决方案，我们提出了一种策略，可通过创建在所有边缘设备之间全局共享的一小部分数据来改善对非IID数据的训练。实验表明，对于仅包含5％全局共享数据的CIFAR-10数据集，其准确性可以提高〜30％。

5 Conclusion

联合学习将在分布式机器学习中扮演关键角色，在分布式机器学习中，数据隐私至关重要。不幸的是，如果每个边缘设备看到唯一的数据分布，模型训练的质量就会下降。在这项工作中，我们首先表明，对于使用高度偏斜的非IID数据训练的神经网络，联邦学习的准确性显着降低了约55％。我们进一步表明，这种精度降低可以用重量差异来解释，重量差异可以通过每个设备上各个类别的分布与人口分布之间的推土机距离（EMD）进行量化。作为解决方案，我们提出了一种策略，可通过创建在所有边缘设备之间全局共享的一小部分数据来改善对非IID数据的训练。实验表明，对于仅包含5％全局共享数据的CIFAR-10数据集，其准确性可以提高〜30％。要使联邦学习成为主流，仍然存在许多挑战，但是改进非IID数据的模型训练对于在此领域取得进展至关重要。