FederatedDeepReinforcementLearning：联邦深度强化学习

概要

• 在深度强化学习领域，由于用户特征重叠部分小且训练数据有限，很难找到一个高质量的学习方法。尽管先前的迁移学习已经在深度强化学习领域取得成功，但是迁移学习直接把数据、模型在各方中转移是侵犯隐私的。下边我们就提出了一种保护数据模型隐私的方法——联邦深度学习。
• 在联邦学习中，在更新他方的当地模型时，我们利用高斯微分对共享的信息进行加工，来达到保护隐私的目的。并在试验中通过两个维度评估了联邦学习框架

介绍

• 在深度强化学习领域，由于用户特征重叠部分小且训练数据有限，而且实际上用户的数据是信息敏感的，让一个信息中心建立一个高质量的模型是困难的。我们便提出了联邦学习，通过许多用户的数据来训练得到一个分类或者聚类模型。联邦学习的优势在于各个客户只分享有限的信息，信息发送时加密，收到时解码。并且参与的客户有奖励——帮助建立决策政策
• 两个例子：

（1）在工业生产一件产品，需要许多工厂分别生产不同的部件。对单个工厂而言，由于规模和数据有限，建立一个高水平的决策政策是困难的。所以，在他们的数据不被泄露的情况下，帮助他们建立一个联邦决策政策是至关重要的。

（2）在医疗领域，患者在医院接受治疗后，医院很难收到反馈，这让医院很难建立治疗决策政策。除此之外，医院各个患者的数据也是私有的，因此建立一个医院反馈政策很重要。

• 联邦学习和多端强化学习不同，每个客户可以自己决定是否分享数据、承担工作进而得到奖励，自主权很大，不是由服务器分配。联邦学习和迁移学习也不同，迁移学习需要在不同客户间分享数据，联邦学习则禁止这种行为。

疑惑

与白皮书不同，迁移学习是联邦学习的一种方法，加密数据仍然有被攻击泄露的可能