Contrastive Embedding for Generalized Zero-Shot Learning(广义零试学习的对比嵌入（CE-GZSL)_

广义零试学习（GZSL）的目标是在只提供可见类中的标记示例的情况下，从可见类和不可见类中识别对象。最近的特征生成方法学习了一种生成模型，该模型可以合成不可见类的缺失视觉特征，以缓解GZSL中的数据不平衡问题。然而，由于原始视觉特征空间缺乏鉴别信息，因此对于GZSL分类来说，它是次优的。为了解决这个问题，建议将 生成模型与嵌入模型相结合，生成一个混合的GZSL框架。混合GZSL方法将生成模型生成的真实样本和合成样本映射到嵌入空间，在嵌入空间中执行最终的GZSL分类。具体来说，本论文提出了一个对比嵌入（CE）的混合GZSL框架。所提出的对比嵌入不仅可以利用 类级监督，还可以利用 实例级监督，后者通常被现有的GZSL研究所忽略。最终在五个基准数据集上评估了我们提出的具有对比嵌入的混合GZSL框架CE-GZSL。相关代码见链接：https://github.com/Hanzy1996/CE-GZSL.

传统的混合广义零试学习（GZSL）框架基于传统的语义嵌入模型，该种嵌入模型只有利用了类级监督的方法。本文所提出的对比嵌入混合广义零试学习（CE-GZSL）的对比嵌入模型，由基于实例监督的实例级嵌入和基于类监督的类级对比嵌入两部分构成。

整体框架

整体网络将特征生成模型与对比嵌入模型相结合。首先我们学习一个特征生成器G（连同一个鉴别器D）来合成缺失的不可见类的特征x ̃，特征生成器G基于语义描述符a和高斯噪声ϵ生成视觉特征；鉴别器D用于区分假视觉特征和真视觉特征。
其次学习一个嵌入函数E（在类级和实例级监督下学习得到）以便将视觉样本特征（包括真实的和合成的）映射到嵌入空间，如h_i=E(x_i) ，在嵌入空间中进行最后的GZSL分类。为了能够更好的约束嵌入空间（学习一个更有效的嵌入空间），学习了一个非线性的投影函数H，得到z_i=H(h_i)。再利用一个比较网络F来测量hi和语义描述符（a）之间的相关性得分。
其中对比嵌入包括基于实例监督的实例级对比嵌入和基于类监督的类级对比嵌入，两者具体如下：

实例级对比嵌入

对于每一个从真实或合成可见特征中嵌入的数据点h_i,建立了一个有K+1个类的分类子问题，以区分唯一的一个正例h^{+和总K个负例。这里只有正例h}+与h_i有相同的类标签，属于同一个类别，其余的负例与h_i的类标签均不相同。同时在嵌入空间中引入一个非线性投影函数H，使z_i=H(h_i )=H(E(x_i))。

类级对比嵌入

由于没有将嵌入空间限制为语义描述空间，无法直接计算嵌入数据点和语义描述点之间的点积相似性（embedding空间的向量做点积运算，结果越大越相似）。为此我们学习了一个比较器网络F（h, a）用于测量嵌入向量h和语义描述符a之间的相关分数（相似性），并根据匹配情况，从S个语义描述符中选出唯一一个正确的语义描述符。在这个问题中，唯一的正语义描述符是与h_i的类相对应的，而剩余的S-1个语义描述符被视为负语义描述符。类级对比嵌入依赖于类级监督，以增强样本在新嵌入空间中的鉴别能力。

GZSL分类器

我们首先通过组合特征生成器网络G和嵌入函数E≔(h_j ) ̃=E(G(a_u,ϵ))，为嵌入空间中每个看不见的类生成特征，其中u≥ S+1且a_u是一个看不见的类的语义描述符。同时还将D_tr(训练集)中可见类给定的训练特征映射到相同的嵌入空间：h_i=E(x_i)。最后，利用嵌入空间中的真实可见样本和合成不可见样本来训练softmax模型作为最终的GZSL分类器。

数据集

采用用于ZSL的5个基准数据集：AWA1、AWW2、CUB、FLO、SUN

结论

在这篇文章中提出了一种结合一个嵌入模型和一个生成模型的混合GZSL框架，其将真实的和合成的视觉特征映射到嵌入空间中，并在嵌入空间训练了一个有监督的识别模型作为GZSL的分类器。具体来说，我们在混合GZSL框架中提出了一个对比嵌入模型。此对比嵌入模型不仅可以利用类级监控，还可以利用实例级监控。最终实验表明该对比嵌入混合GZSL框架在5个基准数据集上都取得了较为优异的结果。