开放集识别（基于生成模型）

我们列举了一些重要的基于生成方式的开放集识别方法，仅供参考

1.OpenGAN: Open-Set Recognition via Open Data Generation（OpenGAN: Open-Set Recognition via Open Data Generation_appron的博客-CSDN博客）  

1.1方法（真实挑选+生成常规未知类，分类器仅进行封闭训练）

1.2贡献

• 生成的目标是多分类特征，判别的源也是多分类的特征。（降低了生成难度，似乎非首创）
• 利用真实的离群数据挑选最佳的GAN鉴别器（在训练的某个阶段停止，本文核心贡献，但验证和测试在同一个数据集，未知还是未知吗？）。
• 可用敌对合成的“假”数据来扩充可用的真实开集示例集。（同时利用生成和真实的异常暴露，似乎非首创）

1.3结果与分析：

• 数据集包括MNIST[38]、SVHN[39]、CIFAR，实验设置包括同数据集、跨数据集、像素级，网络架构ResNet18+HRNet，指标包括AUROC、F1-Unknown，实验结果提升较大
• 可以发现验证集中的未知类，对其他未知类的检测能力有证据吗？

2.Adversarial Motorial Prototype Framework for Open Set Recognition（Adversarial Motorial Prototype Framework for Open Set Recognition_appron的博客-CSDN博客）

2.1方法（生成分布外与分布内的未知类，分类器指明目标）

（J1和J2）(G1)(D1)(G2)（J1和J2）

2.2贡献

提出了运动原型框架（MPF），它根据原型分类思想对已知类进行分类。此外，在MPF的损失函数中加入了运动边际约束项，可以进一步提高已知类在特征空间中的聚类紧凑性，从而降低这两种风险。（边际+原型非原创，但运动边际可能是）

提出了基于MPF的对抗性机动性原型框架（AMPF）。一方面，该模型可以生成对抗性样本，并将这些样本加入到训练阶段；另一方面，利用边际约束半径的对抗性运动，可以进一步提高模型对已知类和未知类的差异性映射能力。（生成与已知类相似，但距离已知空间远的样本，怎么解释呢）

提出了AMPF的升级版--AMPF++，它在训练阶段加入了更多的生成的未知样本。（生成与原型中心距离为设定方差的高斯分布数据作为未知类）

2.3结果与分析

• 数据集包括MNIST、SVHN、CIFAR10、CIFAR+10、CIFAR+50和TinyImageNet，imagenet指标包括AUROC、CCR、FPR，实验设置包括封闭集、开放集、imagenet、已知类设置、距离设置，实验结果有一定提升。
• 运动边际可以借鉴一下，不过AMPF生成与已知类相似，但距离已知空间远的样本比较魔性，具体有什么用很难说清楚。其次，AMPF++生成的主要是高斯噪声，功能有那么强大么？

3.Open-Category Classification by Adversarial Sample Generation

3.1方法（生成边际未知类+已知类，分类器指明目标）

（生成未知类，PD表示增加该样本后能够正确分类）（生成已知类）

(1) 在所看到的数据D上，微调L的超参数；(2) 通过公式7生成所看到的类的负面实例D-，必要时也生成正面实例D+（公式10）；(3) 对于每个类k，通过L从正面数据Dk+和负面数据Dk-训练一个分类器fk^ooc。

3.2贡献

• ASG通过寻找与训练实例接近的数据点来生成所见类的负面实例，前提是它们可以通过判别器与所见数据分离。（生成接近已知类，但会被分类为未知的尽可能分散样本）
• 当训练数据较少时，ASG也会生成无法从所见类实例中区分出来的正面实例，以扩大数据集。（生成会被分类为已知的尽可能分散样本）

3.3结果与分析

• Three Moons，mnist,Document，F1,P,R
• 测试结果可靠吗？这种生成的样本真的是未知类？生成的已知类真的是已知类？

4.OPEN SET RECOGNITION BY REGULARISING CLASSIFIER WITH FAKE DATA GENERATED BY GENERATIVE ADVERSARIAL networks：GAN-MDFM

4.1方法（生成高熵特征分布的未知类，其中判别器用去噪自编码器代替，分类器指明目标）

4.2贡献

• 为GANs中的生成器提出了一个新的分类目标函数，即生成高熵特征分布的未知类。
• 使用边际去噪自动编码器来代替过去的判别器进行生成

4.3结果与分析

•   以熵作为不确定性目标来生成，以去噪自动编码器来作为判别器
•   生成的样本是完全的吗？

5.G-openmax:Generative OpenMax for Multi-Class Open Set Classification

5.1方法

• 1.（条件自编码器学习） 
• 2.从混合类分布中生成合成样本，并将具有最高值的类被视为真实标签。然后，将生成样本送入已知分类器进行预测，所有预测错误的样本被选为未知类。利用已知类和未知类重新训练样本。

5.2主要贡献：将生成模型（Condition GAN）引入开放集识别，可以实现封闭式分类

5.3结果与分析

• MNIST (M) and HASYv2，F1,ACC,
• 生成式开放集识别的开篇之作，具有重要意义，后期很多参考的方法
   

6.OpenGAN: Open Set Generative AdversarialNetworks

6.1方法

6.2主要贡献 

• 以提取的特征作为将条件GAN的条件（独创）
• 利用自编码器损失来作为生成模型/目标
• 特征嵌入条件正则化

6.3结果与分析

以特征作为作为将条件GAN的条件,可能有借鉴意义。

 如何测试好像没有说清楚啊？

7.Open-set human activity recognition based on micro-Doppler signatures

7.1方法

 7.2贡献：仅仅应用，类似于OSRCI。

7.3结果与分析：好像是没有太多的价值吧

8.OSRCI:Open Set Learning with Counterfactual Images

8.1方法

 

生成已知类边界的未知类，这些样本要足够靠近已知类样本，同时又不属于已知样本，可以有效约束边界，这样的样本称为反事实样本。利用这些样本作为负例，可以实现封闭式分类。

8.2贡献：

反事实即边界样本的概念的提出，对后来方法有较大的影响。

8.3结果与分析：略

9.Improved Robustness to Open Set Inputs via Tempered Mixup

9.1方法

 9.2贡献

• 引入mixup到开放集识别
• 设计新的mixup训练函数
• 设计新的标签mixup

9.3结果与分析

• mixup之后和均匀分布再混合，能够使熵的分布更加反应置信度
• 有必要与均匀分布混合吗？能不能只通过已知类的混合呢？通过改变混合参数，例如r=(r1/M,r2/ M,r3/ M)

10.Open-Set Recognition Using Intra-Class Splitting

10.1方法

• 用给定的N类正常数据训练一个N类分类器。一旦分类器训练完成，错误预测的样本和正确预测的低概率样本被选为非典型正常样本。
• 为了保持上述的高封闭精度，CS层作为一个正则化层，迫使非典型正常样本被正确分类到它们自己的类别。

 10.2贡献

• 建议的方法通过使用封闭集分类器将给定的数据分成典型和非典型的正常子集。因此，开放集识别问题被重新表述为一个传统的分类问题。
• 此外，还提出了一个封闭集正则化，以保证高封闭集分类性能。

10.3结果与分析:这种类内数据划分实际上异常检测，也是可以作为开放集的样本的。

11.Multi-Task Curriculum Framework forOpen-Set Semi-Supervised Learning

11.1方法

•  前者交替更新OOD分数，和OOD检测网络参数
• 后者交替从未标记样本中找出OOD分数较低的样本，加入半监督训练中。

11.2贡献：

1.检测OOD直接利用未标记样本交替进行训练和学习OOD分数，值得借鉴

2.课程学习方法也可以借鉴。

12.Reducing Network Agnostophobia

12.1方法

12.2贡献:最大化背景类的交叉熵和最小化正则化特征

12.3结果与分析 ：最小最大化熵和特征可以作为一个角度。

13.Generative-discriminative feature representations for open-set recognition

13.1方法

13.2贡献：对比嵌入+重建特征嵌入

14.Learning Placeholders for Open-Set Recognition

14.1方法

 14.2贡献：分类器占位符+数据占位符

14.2结果与分析

• mixup的是特征,目标是未知类。（启发：mixup中mix的内容可以是什么，mix策略是什么，mix的目标是什么？）
• 分类器占位符可以让已知类分类器对已知样本给出的第二大概率为未知类

15.Conservative Novelty Synthesizing Network for Malware Recognition in an Open-Set Scenario

15.1方法类似于OSRCI

 

• OSRNet:类似于真实样本挑选的生成模型，从额外的数据集中挑选出样本来作为未知类。利用已知数据和额外的未知类数据的分类特征训练一个异常检测模型。
• Background Data Resampling：对抗性重采样，类似于真实样本挑选的生成模型，从额外数据集中以对抗权重进行挑选
• RPL/ARPL（生成模型）:代换点，类似于对抗原型的感觉，其次生成对抗样本，接近对抗原型（等于于远离已知类）