【论文阅读笔】TEAR: Exploring Temporal Evolution of Adversarial Robustness for Membership Inference Attacks

个人阅读笔记，如有错误欢迎指出！

TEAR: Exploring Temporal Evolution of Adversarial Robustness for Membership Inference Attacks Against Federated Learning TEAR: Exploring Temporal Evolution of Adversarial Robustness for Membership Inference Attacks Against Federated Learning | IEEE Journals & Magazine | IEEE Xplore

期刊：TIFS 2023

问题：

        联邦学习避免不了对训练数据的过度拟合，为MIA创造了条件

        大多针对FL的MIA不是黑盒的，在实际应用场景中难以实现（在同态加密、差分隐私的保护下很难得到模型的具体信息）

insight：

        FL对其training data与non-training data相比有更高的置信度，该置信度反映了预测可能性、中间结果以及参数梯度。在对抗新训练过程中，决策边界逐步拟合到训练数据，使决策边界和训练数据之间的距离逐步增加

        如何量化目标样本的对抗性稳健性以增强隐藏在其中的成员信息是一个难点

        现有方法沿着增加相应预测损失的方向来处理目标样本，不能直接反应目标模型的决策边界和目标样本之间的关系

创新：

        观察了训练与非训练数据之间抗鲁棒性的收敛趋势差异，并利用对抗稳健性的时间演化作为一个重要的成员特征

        提出了对抗鲁棒性的量化方法：找到原始样本和对抗样本在决策边界上的点，利用决策边界的法向量和目标样本到其对抗样本的方向异质性来制作下一轮的对抗样本，然后将目标样本和生成的对抗性样本之间的距离视为相应对抗鲁棒性的量化。

方法：

        客户端能力：只能访问本地训练信息，只能在每个局部训练轮次开始的时候获得当前FL模型的标签预测接口

        客户端无法得知目标模型结构、模型内部（参数、中间计算、输出层的预测概率向量）、全局训练过程、其他客户端的训练样本及分布

        客户端可以用样本查询全局模型并获得预测标签

        可以在训练过程中获取全局模型的一系列中间参数快照

TEAR整体流程：通过计算对抗样本和目标样本之间的距离量化对抗鲁棒性，以此训练推断模型，其中的insight是训练集与测试集的对抗鲁棒性不同。对每一轮收到的全局模型，利用Compromised client的训练集和测试集数据进行鲁棒性评估，分别得到训练集与测试集相对于时序全局模型的对抗鲁棒性矩阵，并分别赋予训练集in标签，测试集out标签，输入到推断模型中进行训练，从而判定成员。

1、对抗鲁棒评估

算法

        的计算如下，从0逐渐增加，直到目标模型将投影的的预测输出为目标标签，即

        二分查找位于和之间且在决策边界上的值，直至满足约束为止

        对抗样本的生成算法将目标样本和标签​作为输入，在第轮，将上一轮的对抗样本​用二分查找映射到决策边界得到，然后使用蒙特卡洛估计算法估计目标模型决策边界在法向量，然后计算与之间的余弦相似度，然后用梯度下降更新对抗样本

        法向量估计：给定位于决策边界的对抗样本，使用蒙特卡洛估计法向量。其中表示样本​是否具有对抗性，是维球面均匀分布得出的，是一个值较小的常数与成正比，是扰动群的量

        测量和法向量​之间的余弦相似度优化模型。其中表示向量内积，表示的法向量，\是对抗样本和目标样本之间的距离（对抗扰动）。法向量为和之间的决策边界上交点处的法向量，和之间的距离被视为对抗鲁棒性的量化

2、推断模型的构建

        通过观察历史全局模型可以得到训练数据和测试数据的对抗鲁棒性演化，然后以此构建二元推断模型

        直接将目标模型视为影子模型，将攻击者数据集中的每个样本，测量其对于所有标签对于每个模型的对抗鲁棒性并记为。则对于攻击者的局部训练数据，时间演化表示为

        将训练集的记为，同理将测试集记为，用有监督方法训练推理模型

        使用推理模型，对抗性客户端可以通过直接查询通过获得的对抗性鲁棒性的时间演变来容易地确定给定样本是否属于其他客户端的训练数据。此外，使用可以同时对多个目标样本进行MIA，只要能够估计这些样本的对抗性稳健性。

实验：

        对比试验，攻击效果。白盒之所以比黑盒差是因为deepfool方法使用的对抗鲁棒性策略不如本文提出的方法

        目标模型在每个数据集上的训练和测试准确性。模型的训练精度和测试精度之间的差异表明了过拟合水平。

        将梯度查询次数设置在5000次，迭代次数从10增长至90，验证对抗样本迭代次数对攻击效果的影响。对抗性迭代越多，推理性能就越好

        查询次数的影响，Purchases迭代次数50，CIFAR迭代次数60，查询次数从1000到9000

        对比试验，对抗样本和基线之间的角度偏差直方图

        仅用一轮快照验证TEAR的有效性，取中间轮次和最后一轮的模型。仅取一个迭代轮次的模型的攻击结果低于历史信息的结果，最后一轮的模型快照效果优于中间模型是因为最后一轮的拟合度更高

        防御方法的影响，差分隐私能在一定程度上影响攻击效果