Deep Leakage from Gradients

Summary
  • 对于分布式学习,特别是相关之前共享梯度的学习,提出了一种攻击方式(DLG)。通过窃取client之间传递的梯度反推出(也是使用机器学习迭代的方式)原始的输入。并在图像分类、Masked Language Model方面取得的不错的成绩。
Method
  • 初始化一个(x,y)。
  • Deep Leakage from Gradients_第1张图片
  • Deep Leakage from Gradients_第2张图片
  • 上述可能只对输入和标签只有一对的时候,当训练有N和小批次的数据时,修改一下algorithm 1.
  • Deep Leakage from Gradients_第3张图片
Experiment
  • Deep Leakage on Image Classification

    • 对于图像标签,我们没有直接优化离散类别值,而是随机初始化一个形状为N × C的向量,其中N为批大小,C为类数,然后将其softmax输出作为单热标签进行优化。(不太理解)

    • 效果,而且比之前GAN的Melis要好些。不同类型的数据集效果也不同。

      Deep Leakage from Gradients_第4张图片

  • Deep Leakage on Masked Language Model

    • 与视觉任务(RGB输入是连续的值)不同,语言模型需要将离散的单词预处理为嵌入(不太理解)
    • 效果
      虽然不能完全复现原句,但是大意是完全可以得出的。
Defense
  • 添加噪声,噪声的种类不太重要,重要的是加多少
  • 梯度压缩,压缩超过百分之20有一点效果。、
  • 增大训练数据的Batch
Related Knowledge
  • Masked Language Model
  • GAN Model
  • BERT模型

你可能感兴趣的:(联邦学习,python,深度学习)