[NIPS 18] Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning

用于细粒度零样本学习的堆叠语义引导注意力模型
Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning

本文亮点：使用过类别语义引导视觉特征，加权不同局部特征。

---

Abstract: Zero-Shot Learning (ZSL) is achieved via aligning the semantic relationships between the global image feature vector and the corresponding class semantic descriptions. However, using the global features to represent fine-grained images may lead to sub-optimal results since they neglect the discriminative differences of local regions. Besides, different regions contain distinct discriminative information. The important regions should contribute more to the prediction. To this end, we propose a novel stacked semantics-guided attention (S2GA) model to obtain semantic relevant features by using individual class semantic features to progressively guide the visual features to generate an attention map for weighting the importance of different local regions. Feeding both the integrated visual features and the class semantic features into a multi-class classification architecture, the proposed framework can be trained end-to-end. Extensive experimental results on CUB and NABird datasets show that the proposed approach has a consistent improvement on both fine-grained zero-shot classification and retrieval tasks.

零样本学习是通过对齐图像全局特征向量和对应的类别语义描述之间的语义关系实现的。然而，使用全局特征来表示细粒度图像可能会导致次优结果，因为这种表示忽略了局部区域的判别性差异。另外，不同区域包含了不同的判别性信息。重要的区域对预测结果贡献更大。为此，我们提出了一种新颖的堆叠语义引导注意力（$S^{2}GA$）模型，通过使用单独的类别语义特征来逐步引导视觉特征以生成用于加权不同局部区域的重要性的注意力图来获得语义相关特征。将集成的视觉特征和类语义特征输入到多类分类架构中，可以对提出的框架进行端到端的训练。在CUB和NABird数据集上的大量实验结果表明，所提出的方法在细粒度零样本分类和检索任务方面都有一致的改进。

亮点：使用加权局部特征来执行ZSL任务

---

问题

细粒度零样问题。

如图1所示，全局特征仅捕获一些整体信息，相反，区域特征捕获与类别语义描述相关的更多局部信息。

Motivation：当试图识别未见类别的图像时，人们更多关注基于关键类别语义描述的信息区域。此外，人类通过排除不相关的视觉区域并以渐进的方式定位最相关的视觉区域来实现语义对齐。

零样本问题中，模型是如何学习已知类和未知类的关系的？
答：通过学习一个好的视觉语义映射。因为已知类和未知类共享属性空间，所以一个好的视觉语义映射，可以让在已知类上训练的模型，很好的泛化到未知类。【这个回答很牵强，没有说出模型如何学习语义偏置的。】

---

方法

多层注意力机制

创新点：间接学习注意力图，通过类语义描述引导加权不同区域。

语义描述是怎么嵌入网络的？？？

f - 局部嵌入网络
输入：局部特征$V_I$
输出：?
g - 语义引导网络
输入：融合局部特征（全局）$V_G$ + 类别语义向量$c$
输出：?

Fusion是什么操作？

从公式1看，fusion也是按像素乘的操作。

$$h_A=tanh(f(V_I)\oplus g(V_G))\text{\hspace{1em}(1)}$$

$$p_I=softmax(W_P{h}_A+b_P)\text{\hspace{1em}(2)}$$

$h_A\in R^{d\times m}$是隐含空间的融合特征
$V_I\in R^{p\times m}$ 是区域特征向量，$m$个$p$维的区域特征向量
$V_G\in R^p$是融合特征向量
$\oplus$表示按像素乘法
$p_I\in R_m$是区域特征的注意力概率

$$f(V_I)=h(W_{I,A}{V}_I)\text{\hspace{1em}(3)}$$

$$g(V_G)=h(W_{G,A}h(W_{G,S}{V}_G))\text{\hspace{1em}(4)}$$

$h$是一个非线性函数（实验中使用ReLU）
$W_{I,A}\in R^{d\times p}$, $W_{G,S}\in R^{q\times p}$, $W_{G,A}\in R^{d\times q}$是要学的参数，其中，$q$是类别语义空间的维度，$d$是隐含空间的维度。

$$\min Los{s}_G=||h(W_{G,S},V_G)-s||\text{\hspace{1em}(5)}$$
为了将类别语义信息嵌入到注意力网络，$g$网络的第二层的输出强制靠近对应的类别语义特征。

---

数据

输入：2个鸟类数据集。

•   属性数据集—CUB   ： 200类，11,788张图片，每类312维属性。
• 非属性数据集—NABirds：1011类，48,562张图片。

类别语义特征有三种：类级属性、Word2Vec、TF-IDF。
训练时，TF-IDF维度为CUB-200维，NABirds-400维。

输出：分类准确率

实验1——传统ZSL实验结果对比，在CUB数据集上

其中，

• 视觉表示：VGG特征 / GoogleNet特征
• 语义表示：属性向量 / 词向量

第一个实验，论文方法用的是局部特征，而其他方法用的是全局特征。
GTA表示根据位置标注得到的局部特征。
DET表示通过检测方法得到的局部特征。

实验2——ZSL实验结果对比，在CUB数据集上

为了公平起见，

• 实验2使用了相同的视觉特征（检测局部特征）和相同的语义特征（TF-IDF，词频-逆文件频率）。
• 使用了两种数据集分割设置，超类共享（Super-Category-Shared，SCS）和超类排除（Super-Category-Exclusive，SCE）。SCE设置下，超类不共享，小类别之间的相关性最小，知识迁移更难，更具挑战，所以效果更差。

特征表示的效果

特征表示影响分类准确率：

1. 从特征表示看，
   1）所有方法在使用标注区域特征时性能最高。
   2）说明局部特征导致了ZSL性能的提升。
2. 从语义表示角度看，类级别的属性包含更丰富的语义信息。

---

注意力机制的收益

• 局部特征：DET特征，即检测区域作为局部特征
• 数据集分割：SCS设置，超类共享
• baseline是没用注意力机制的方法

---

ZSL 检索

The task of zero-shot retrieval is to retrieve the relevant images from unseen class set related to the specified class semantic descriptions of unseen classes.
零样本检索任务的目标是：在未见类别数据集中检索相关图像，其中该未见类别与未见类别的指定未见类别语义描述相关。

• 检索任务的可视化结果发现，性能好的类别，他们的类内变化很微小；性能差的类别，他们的类间变化很小。例如，第一行，靛青鸟的前6个检索图像都来自标注类别；因为他们的视觉特征相似。而，请求“黑嘴杜鹃”检索到一些实例来自它的姻亲“黄嘴杜鹃”，因为他们的视觉特征太像了没法区分。

---

总结

本论文贡献：

• 使用局部特征，从表1看，标注局部特征的收益是6.4%（CUB数据集）
• 使用堆叠注意力，从表3看，注意力的收益是6.4%（CUB数据集）

---