联邦学习的两种训练模式

    在前文中,对联邦学习的场景进行了简单的介绍,接下来对不同的场景下的训练模式进行介绍。

    在联邦学习中,每个参与协同训练的组织被称为一个Party。各参与者按照职责的不同,被划分为以下三种角色:

    Guest:

    任务发布者和数据消费者。作为任务发布者,Guest需要提供训练任务的标注样本(如用户是否违约)供监督学习的算法使用。作为消费者,Guest接收来自Host模型的局部预测结果,同时将相应的梯度返回Host。一个Guest通常可以对应一至多个Host。

    Host:

    数据提供者。Host基于自身数据和本地模型进行预测,将预测结果发送至Guest节点,同时接收来自Guest节点的梯度返回。

    Abiter:

    训练协调者,分别接收来自Guest和Host的梯度,将优化后的参数返回对应节点。

    在实际应用中,由于数据特征和样本的覆盖往往存在差异,因而对应的训练模式和各角色之间的协作方式亦不尽相同,大致可以分为以下两类:

    1. Homo模式

    对应前文中的场景一。在此模式下,由于Guest和Host持有的数据特征基本一致,因而作为对等的角色参与训练。此模式成立的一个必要前提是,Host亦拥有自己的标注样本。由于此时Host不再需要来自Guest的梯度反馈,因而两者之间并不进行通讯。 

联邦学习的两种训练模式_第1张图片
Home 模式

    2. Hetero模式

    对应前文中的场景二。在此模式下,由于Guest和Host的共同特征较小,需要使用双方特征的并集进行训练,样本标注则由Guest单方面提供。   

联邦学习的两种训练模式_第2张图片
Hetero 模式

你可能感兴趣的:(联邦学习的两种训练模式)