机器学习中的隐私防御技术

    为应对机器学习中的隐私攻击，目前已有很多研究对机器学习中的隐私防御方案进行讨论,其中,主流的三大类技术分别是差分隐私、同态加密、安全多方计算。这里分别介绍这 3 种技术的基础定义、实现机制。
1 差分隐私
1.1 基础定义
   差分隐私使得某一条数据是否在数据集中，几乎不影响算法的计算结果,其定义如下：

   由于在数据采集过程中就存在用户隐私数据被窃取的风险，无需任何可信方的本地化差分隐私技术也逐步成为近年的研究热点。在本地化模型中，每个用户对即将上传至服务器的数据或者中间结果进行扰动，因此避免了服务器直接收集或接触到本地原始数据，同时还能完成对总体数据的统计分析.本地化差分隐私定义如下：

1.2 实现机制
   差分隐私中主要存在两种直接添加噪声的方法：拉普拉斯机制(Laplace mechanism)、高斯机制(Gaussian mechanism)，这两种机制适用于保护数值型数据。保护非数值型数据常用的方法是指数机制(exponential mechanism)。以上方法的定义如下(其中，添加噪声的大小取决于敏感度(sensitivity)的计算，敏感度是指改变数据集中任一记录对查询结果造成的最大影响)：

2 同态加密
2.1 基础定义
   同态加密是一种允许用户对密文进行特定代数运算并得到密文结果的加密形式，保护了数据存储以及运算过程中的数据隐私。其同态的含义在于:对用户在密文上进行代数运算的结果解密后，与其在明文上进行相同计算得到的结果相同。密码体系中的安全基础是计算困难问题，同态加密通常基于的计算困难问题包括整数分解问题、离散对数问题、判定合数剩余问题、近似最大公因子问题、系数子集求和问题、二次剩余问题等。根据在加密状态下可以完成的操作，可将同态加密技术分为加法同态、乘法同态以及全同态。
2.2 实现机制
   目前有许多同态加密的实现机制:RSA 机制、El Gamal 体制、Paillier 机制等，下面以广泛应用于机器学习隐私保护机制的 Paillier 体制为例，介绍同态加密的实现机制。Paillier 机制是基于合数剩余问题的公钥密码体制。


3 安全多方计算
3.1 基础定义
   安全多方计算是一种无需可信第三方参与即可协助多方完成密文计算的技术，其形式化定义如下.

   由于安全多方计算中各个参与方有可能不按照协议的规则来执行，甚至在计算过程中输入虚假信息，因此
各个参与方根据其表现可分为：
   (1) 诚实参与方:在协议中完全按照约定的协议完成运算,对自己所有的输入和得到的输出信息保密；
   (2) 半诚实参与方:完全按照协议规则执行,但是可能将自己的输入以及得到的输出结果泄露给攻击者；
   (3) 恶意参与方:按照攻击者的角度执行协议,不但泄露自己所有的输入/输出信息,并且有可能改变输入或者篡改中间输出信息甚至终止协议. 。
3.2 实现机制
   安全多方计算的构造需要使用基本的密码学工具,包括秘密共享、同态加密、零知识证明、不经意传输等等.下面简要介绍几种常用于机器学习隐私保护的实现机制.