Meta-Classifier in Membership Inference

1. 什么是 meta-classifier

Google 上发现了一个对 meta-classifier 的英文解释[1] ：

Meta-Classifier Definition: A classifier, which is usually a proxy to the main classifier, used to provide additional data preprocessing.

用中文翻译过来，meta-classifier 就是一个主分类器的代理，用于作额外的数据预处理。

没有继续往下介绍之前，可以先将 meta-classifier 理解为一个简单的分类器。

2. 如何训练一个 meta-classifier

接下来，我将根据 一篇15年的论文[2] 来介绍在成员推理攻击中训练 meta-classifier 的过程。

2.1 符号定义

首先，论文中一些符号符号定义如下：

• $\mathcal{D}$ : 训练集

• $\mathcal{C}$ : 主分类器

• ${\mathcal{F}}_c$ : 分类器 $\mathcal{C}$ 的特征向量（i.e. 如果分类器是 SVM，则 ${\mathcal{F}}_c$ 就是支持向量）

• $\mathbb{P}$ : 表示训练集 $\mathcal{D}$ 中的隐私属性（property）

• $\mathbb{P}\approx \mathcal{D}$ : 表示隐私属性 $\mathbb{P}$ 保存在 $\mathcal{D}$ 中

• $\bar{\mathbb{P}}$: 表示训练集 $\mathcal{D}$ 中的非隐私属性

• $\mathbb{M}\mathbb{C}$ : 表示 meta-classifier

• $l$ : 标签 $l\in \{\mathbb{P},\bar{\mathbb{P}}\}$

2.2 meta-classifier 训练过程

在论文[2]中，主分类器 $\mathcal{C}$ 是已知的。

• 攻击者目的： 从训练集 $\mathcal{D}$ 中推理出隐私属性 $\mathbb{P}$

训练过程如下：

训练过程算法如下：

2.3 预测过程

攻击者（adversary）利用 meta-classifier 进行隐私属性预测的过程如图；

3. 总结

结合 meta-classifier 训练过程来看，其本质也是一个分类器，不过是在已知主分类器下进行训练、分类。之后会阅读学习 meta-classifier 在 membership inference 上的应用。

思考方向：

• 若是不知道主分类器，或不知道主分类器在训练集上训练的结果，如何使用 meta-classifier？
• 能否和 adversarial machine learning 进行结合解决？都是未来需要解决思考的问题。

谢谢大家的阅读，本人水平有限，有问题欢迎大家跟我及时反映。

参考资料

[1] https://www.igi-global.com/dictionary/meta-classifier/45744

[2] Ateniese G, Felici G, Mancini L V, et al. Hacking smart machines with smarter ones: How to extract meaningful data from machine learning classifiers[J]. arXiv preprint arXiv:1306.4447, 2013.