KDD'18|基于差分隐私的移动云环境下深度学习模型实现方法

阅读更多，欢迎关注公众号：论文收割机（paper_reader）

原文链接：KDD'18|基于差分隐私的移动云环境下深度学习模型实现方法

Ji Wang*, Jianguo Zhang*, Weidong Bao, Xiaomin Zhu, Bokai Cao, Philip S. Yu. "Not just privacy: Improving performance of private deep learning in mobile cloud." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018.

* KDD作者直发论文收割机

 

性能受限的移动平台上实现深度学习服务的需求正日益增长。基于云的解决方案通过将大部分深层神经网络上传到云数据中心执行来减轻本地执行网络的负担。

然而，向云数据中心上传数据会导致潜在的隐私风险。

为了消除隐私风险，本文在本地网络中引入了由任意数据置空和随机噪声添加组成的轻量级隐私保护机制，从而提供可证明的隐私保护。

但是，对数据的隐私扰动可能会对云数据中心进一步推断的性能产生负面影响。

为了减轻这种影响，本文提出了一种噪声训练方法，以提高云端网络对移动设备加入的扰动数据的鲁棒性。

该方案不仅可以保护隐私，还可以改善推断性能。

---

1 背景

在基于云的解决方案下，深度神经网络（DNN）的浅层部分部署在移动设备中，而大部分复杂的深层部分则被上传到云数据中心中。

本地对输入数据首先进行快速转换，然后将转换后的数据提交给云数据中心，以进行时间和能耗较大的进一步推断。

但是将数据从移动设备传输到云数据中心的方法也带来了隐私隐患。

一旦将包含敏感信息的数据提交给云数据中心进行进一步推断，用户几乎不可能控制或影响数据的使用。

为此，本文提出了基于差分隐私机制的对本地数据进行扰动变换的一种新机制，同时提出了一种噪声训练方法，以增加云端DNN对移动设备提交的扰动数据的鲁棒性。

通过这种方法，减轻了本地噪声对后续云端推断的负面影响。

 

2 模型

上图给出了本文所设计的框架。

移动云环境将DNN分为本地部分和云端部分。本地神经网络来自预先训练的DNN，其结构和权重被冻结。

在训练阶段，云端神经网络被进一步训练调整。整个训练阶段和复杂推断均在云数据中心进行。移动设备仅承担简单轻量的特征提取和扰动任务。

在推理阶段，利用本地神经网络提取敏感数据的一般特征。为了保护隐私，转换将受到数据位置空和随机噪声的扰动。

然后，将扰动后的数据发送到云数据中心以进行进一步的复杂推断。

由于要传输的数据是对原始数据的抽象表示，要传送的数据的大小要比原始数据小很多。

因此，与原始数据直接传输相比，本地变换可以降低通信的代价。

 

在训练阶段，我们利用公共数据训练云端神经网络。

为了提高云端神经网络对噪声的鲁棒性，我们提出了一种噪声训练方法，将原始训练数据和生成训练数据送入网络中训练。噪声训练的关键部分是基于公共数据生成噪声训练样本的生成模型。

此外，值得注意的是，一旦我们得到初始云端神经网络，训练阶段和推理阶段即可以并行运行。

得益于迁移学习，针对不同的数据集和任务，我们只需要重新训练云端神经网络而保持本地神经网络不变。云端的所有工作对终端移动设备都是透明的。云端神经网络可以在线升级，同时不中断给终端用户的服务。

 

3 实验

本文采用MNIST、SVHN、CIFAR-10三个图像数据集以及ALPH.、ACCEL.两个移动设备数据集对所提出的方法进行检验。

实验结果如下图所示。

BASE表示云端DNN，训练数据和测试数据直接馈入网络，不进行本地变换，可以被视为向云上传原始数据。

ARDEN-L1表示采用传统方法训练云端网络。它在两种情况下进行测试：无隐私干扰和干扰。ARDEN是本文提出的完整框架。

Table 2列出了每个框架的结果。在牺牲隐私的情况下，BASE实现了最高的精度。

ARDEN-L1在无干扰情况下精度比BASE稍低。这个结果表明本地转换过程中丢失了一些有用的信息。

在有隐私干扰的情况下，ARDEN-L1的精度严重下降。该结果表明，传统训练方法不适用于带扰动的预测，在保护用户隐私时难以保持精度。

本文所提出的ARDEN可以大幅度减少隐私扰动对推断性能带来的影响。

 

表3列出不同神经网络模型在移动端的过载评估，相对于其他模型，ARDEN在Time，Memory，Energy上分别减少了60.10%，92.07%，77.05%。

为了展示隐私保护在直观上的效果，Figure 6展示了使用卷积降噪自动编码机对数据进行恢复的情况。

可以看出当包含强度较低的情况下，ARDEN处理过的图片会被恢复到一定程度，但是稍微增加保护强度后，图片就很难被恢复出来，说明了攻击者很难得到用户的原始数据，即使在他们知道隐私保护强度的情况下。