开集识别(open-set)算法（1）

所有内容基于目标识别

一、开集识别

    对于一个特定的识别问题，常用的识别方法是闭集识别（支持向量机分类器(SVM)、K-近邻分类器(KNN)、最大相关系数分类器(MCC)以及自适应高斯分类器(AGC)），即假定输入的待测样本一定属于已知的数据库。

    但在实际作战环境中，测试样本中常常含有未知样本，如果继续使用闭集识别系统，系统将错误地将来自未知类的测试样本识别为属于已知闭合集类之一，正确率下降。为解决这个问题引入开集识别。开集识别的目标识正确划分类别且正确拒绝其他未知类别。

二、目前先进的开集识别算法

OpenMax:利用来自预训练的深度神经网络的倒数第二层的激活矢量。使用EVT从每个类的平均值建模这些激活矢量的距离，生成更新的倒数第二矢量（称为OpenMax）,这个更新的矢量产生了更好的模型，用于识别未知的类测试样本。即以前的CNN中倒数第二层使用SoftMax概率描述，但是并没有产生开集识别的良好模型，为适应开放式环境，更新倒数第二层矢量。

（EVT：极值理论，能够处理小概率事件，预测极端事件的概率。本文使用EVT的原因：使用EVT建模技术对来自网络的重构误差分布进行建模，从而进一步提高性能。）

 

G-OpenMax:该算法是将OpenMax与使用GAN生成的数据增强相结合。使用GAN从已知的类数据生成未知样本，然后将它们用于训练CNN以及已知类。这种数据增强技术被证明可以改善未知的类别识别。

（GAN：生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型和判别模型的互相博弈学习产生相当好的输出。）  

 

CROSR:训练网络以进行输入数据的联合分类和重建。这增强了学习的表示，以便保存未知和已知数据的信息，以及区分已知类别的信息。我们用于开集识别的新型分类-重建学习（CROSR），能够在不损害已知分类准确度的情况下实现稳健的未知检测。大量实验表明，此方法在多个标准数据集中优于现有的深度开集分类器，并且对各种异常具有鲁棒性。

三、一种的开集识别算法——MLOSR

基于CNN的深度开放式识别多任务学习——MLOSR

原理：通过将自动编码器和分类结合起来可以有效通过多任务提高open-set的表现。

系统架构由四个模块组成：如下图所示

1. 特征提取器（或编码器）
2. 解码器
3. 分类器
4. 极值模型（Pevt）

特征提取器（或编码器）网络由CNN架构建模，该架构将输入图像映射到潜在空间上表示。 另一个CNN和分类器模拟的解码器，由完全连接的神经网络建模，将这种潜在的代表作为输入，并分别产生重建的图像及其标记作为输出。 解码器网络和分类器网络共享特征提取器模块。 在训练模型F，G和C之后，使用EVT对重建误差进行建模。训练过程以学习参数（Θf，Θg，Θc）并使用EVT讨论识别分数分析。

特征提取器网络获取任何输入图像（X）并产生潜在表示（z）。 分类器（C）和解码器（G）使用该潜在表示来分别预测类标签和重建输入（X）。 训练这些网络以在多任务框架中执行分类和重建任务。 使用EVT对重建误差分布的尾部建模。在测试期间使用分类分数和EVT重建误差概率来执行开集识别。