【联邦学习】读书笔记（二） 隐私、安全及机器学习

1、面向隐私保护的机器学习

英文名：PPML：Privacy-Preserving Machine Learning

 

2、面向隐私保护的机器学习及安全机器学习

在机器学习中，敌手被假设违反了机器学习系统的完整性和可用性。

在PPML中，敌手被假设违反了机器学习系统的隐私性和机密性。

1. 完整性。对完整性的攻击可能导致机器学习系统会出现检测错误。

2. 可用性。对可用性的攻击可能导致系统会出现分类错误。

3. 机密性。对机密性的攻击可能导致一些机器学习系统的敏感信息（如训练数据或训练模型）会出现泄露。

表. PPML和安全机器学习的比较

	安全威胁	攻击模式	防御方法
PPML	隐私性 机密性	重构攻击 模型反演攻击 成员推理攻击	安全多方计算 同态加密 差分隐私
安全机器学习	完整性 可用性	投毒攻击 对抗攻击 询问攻击	防御精馏 对抗训练 正则化

3.威胁与安全模型

在机器学习任务中，参与方通常会扮演三种不同的角色：

输入方，如数据的原始拥有着。

计算方，如模型建立者和推理服务提供者。

结果方，如模型查询者和用户。

 

对机器学习系统的攻击可能发生在任何阶段，包括数据发布、模型训练和模型推理。

在模型训练阶段发生的攻击叫做重构攻击（Reconstruction Attacks）。

在模型推理阶段，一个敌对的结果方可能会使用反向工程技术来获取模型的额外信息，以此实施模型反演攻击（Model Inversion Attacks）或成员推理攻击（Membership-Inference Attacks）。

特征推理攻击（Attribute-Inference Attacks）则发生在数据发布阶段。

（1）重构攻击

敌手的目标在模型的训练期间抽取训练数据，或抽取训练数据的特征向量。在模型训练过程中，可以使用安全多方计算和同态加密来保护计算中间结果以抵御重构攻击。在模型推断中，计算方只应当被授予对模型的黑盒访问权限。

（2）模型反演攻击

敌手的目的是从模型中抽取训练数据或数据的特征向量。拥有黑盒权限的敌手也可能会通过实施方程求解攻击，从回应中重构模型的明文内容。理论上，对于一个N维的线性模型，一个敌手可以通过N+1次查询来i企鹅去整个模型的内容。敌手也能通过“查询-回应”过程对来模拟出一个与原始模型相似的模型。

有几种策略可以降低模型反演攻击的成功率。如，仅仅返回舍入后的预测值，将预测的类别标签作为返回结果，返回聚合的多个测试样本的预测结果，同态加密的贝叶斯神经网络也被用于通过安全神经网络推断抵御此类攻击。

（3）成员推理攻击

敌手的目标是判断模型的训练集中是否包含特定的样本。敌手通过机器学习模型的输出试图判断此样本是否属于模型的训练集。

（4）特征推理攻击

敌手出于恶意目的，将数据去匿名化或锁定记录的拥有者。在数据被发布之前，通过删除用户的个人可识别信息（也成为敏感特征）来实现匿名化，是保护用户隐私的一种常用方法。为了应对特征推理攻击，有文献提出了群组匿名化隐私方法，这类方法通过泛化（generalization）和抑制（repression）机制实现隐私保护。

 

攻击者和安全模型

对于密码学PPML技术，包括安全多方计算和同态加密，现有研究工作涉及两种类型的敌手：

（1）半诚实（Semi-honest）的敌手：敌手诚实地遵守协议，但也会试图从接收到地信息中学习更多除输出意外的信息。

（2）恶意的（Malicious）敌手：敌手不遵守协议，可以执行任意的攻击行为。

大多数的PPML研究都考虑了半诚实敌手模型。主要原因是，在FL中，半诚实遵守协议是对各方都有利的，恶意的行为也会损害敌手自身的利益。另一个原因是，在密码学中，首先建立一个针对半诚实敌手的安全协议是一种标准的方法，然后可以通过零知识证明（zero-knowledge-time）对其进行加强，进而防御恶意的敌手的攻击。

对于每个安全模型，敌手会攻击一部分参与方使之腐败，而腐败的参与方可能相互勾结。参与方的腐败可以是静态的，也可以是自适应的。敌手的复杂度可以是多项式时间的或无计算界限的，分别对应计算安全和信息理论安全。密码学中的安全性以不可区分性为基础。