横向联邦学习的挑战与展望

《联邦学习》读书笔记

当前已经有许多横向联邦学习的商业落地应用案例，例如由谷歌在移动设备上使用的横向联邦学习构建用户输入下一个词预测模型，即谷歌输入法Gboard。然而，横向联邦学习的发展仍然处于初级阶段，并且仍然面临诸多技术挑战。

第一个主要挑战是在横向联邦学习系统里，我们无法查看或者检查分布式的训练数据。这导致了我们面对的主要问题之一，就是很难选择机器学习模型的超参数以及设定优化器，尤其是在训练DNN模型时。人们一般会假设协作方或者服务器拥有初始模型，并且知道如何训练模型。然而，在实际情况中，由于并为提前收集任何训练数据，我们几乎不可能为DNN模型选择正确的超参数并设定优化器。在这里，超参数可能包括DNN的层数，DNN的每一层中节点的个数、卷积神经网络（CNN）的结构、循环神经网络（RNN）的结构、DNN的输出层及激活函数等。优化器的设置选项可能包括优化器的种类选择、批大小及学习率。例如，由于并没有关于梯度模大小的信息，我们甚至连学习率都难以确定。在生产过程中，尝试许多不同的超参数设置会花费很多时间，也会使产品开发变得低效和漫长。

第二个主要挑战是如何有效地激励公司和机构参与到横向联邦学习系统中来。传统上，大型公司和组织一直在致力于收集数据和创造数据孤岛，从而使得自己在人工智能时代更具竞争力。通过加入横向联邦学习，其他的竞争者可能会从这类大公司的数据中受益，使得这些大公司丧失市场的主导地位。因此，激励这些大公司来参与到横向联邦学习中是很困难的。为了解决这一问题，我们需要设计出有效的数据保护政策、适当的激励机制及用于横向联邦学习的商业模型。

当用于移动设备时，通常会比较难以说服移动设备的拥有者们来允许他们的设备参与到联邦学习系统中来。因此，应该向移动用户展示足够的激励与效益，以使得他们对使自己的移动设备参与到联邦学习中有所兴趣，例如加入联邦学习后可以获得更好的用户体验。

第三个主要挑战是如何防止参与方的欺骗行为。我们通常假设参与方都是诚实的，然而在现实生活场景中，诚实只有在法律和法规的约束下才会存在。例如，一个参与方可能欺骗性地宣称自己能够给模型贡献训练的数据点的数量，并谎报训练模型的测试结果，以此获得更多的益处。由于我们并不能检测任何参与方的数据集，所以很难觉察出这种行为。为了解决这种问题，我们需要设计一种着眼全局的保护诚实参与方的方法。

为了实现横向联邦学习的大规模商用，我们仍然需要做许多的研究工作。除了需要解决前面提及的几个主要问题，我们还需要研究掌控训练过程的机制。例如，由于模型的训练和评估在每一个参与方上都是本地进行的，我们需要发掘新的方法以避免过拟合以及触发提前停止训练。另一个有趣的研究方向是如何管理拥有不同可靠度的参与方。例如，一些参与方可能会由于网络连接中断或者其他问题，导致在横向联邦学习的训练过程中退出。因此，我们需要更灵活的解决方案来移除掉线的参与方并加入新的参与方，并且不能影响到联邦模型训练过程和模型精度，尤其不能影响模型训练的收敛速度。