Zero-shot Learning零样本学习 论文阅读（四）——Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths

这篇2017年的论文提供了解决semantic gap问题的简单做法，所谓的semantic gap也就是从图片中提取的低层特征到高层语义之间存在的“语义鸿沟”问题。这与上一篇论文提到的领域漂移问题都是zero-shot learning技术瓶颈问题之一。

背景

流形学习

首先，什么是流形？
流形(manifold)是局部具有欧式空间性质的空间，包括各种纬度的曲线曲面，例如球体、弯曲的平面等。流形的局部和欧式空间是同构的。
流形学习（manifold learning）是机器学习、模式识别中的一种方法，在维数约简方面具有广泛的应用。它的主要思想是将高维的数据映射到低维，使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习的前提是有一种假设，即某些高维数据，实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中，揭示其本质。

语义间隔(semantic gap)

样本的特征往往是视觉特征，比如用深度网络提取到的特征，而语义表示却是非视觉的，这直接反应到数据上其实就是：样本在特征空间中所构成的流型与语义空间中类别构成的流型是不一致的。而语义间隔问题就是样本在特征空间中的流形与语义空间中的类别构成的流形是有差异的。解决此问题的思路便是将二者的流型调整至一致。

算法原理

算法思路

要解决的问题是将特征空间中的流形与语义空间中的类别构成的流形，最简单的思路便是将类别的语义表示调整到样本的流形，即用类别语义表示的K近邻样本点重新表示类别语义。

符号设定

1. 可见（训练）标签集 $L_s=\left\{l_s^1,l_s^2\dots \dots l_s^m\right\}$ (共有 $m$ 个类) ，其在语义空间中对应的prototype集为 $K_s=\left\{k_s^1,k_s^2\dots \dots k_s^m\right\}$；
2. 不可见 (测试) 标签集 $L_u=\left\{l_u^1,l_u^2\dots \dots l_u^l\right\}$
   (共 $l$ 个类) ，其在语义空间中对应的prototype集为 $$K_u=\left\{k_u^1,k_u^2\dots \dots k_u^l\right\}$;
3. 特征表征集 $X_s=\left\{x_1,x_2,\dots \dots ,x_n\right\}$,其中 $x_i$ 对应第 $i$ 个图像的提取特征；
4. 训练集 $D_s={\left\{\left(x_i,y_i,k_i\right)\right\}}_{i=1}^n,x_i\in X_s$, $y_i\in L_s$.

算法流程

训练：

1. 使用传统的方法求解特征空间到属性空间的映射 $f_s$,即求解投影矩阵 $W$
   $W={\mathrm{argmin}}_{W}l\left(WX,K_s\right)+\Omega (W)$
   其中 $l(X,Y)$ 为损失函数, $\Omega (W)$ 为正则化项
2. 对于所有的 $k_s^i$,对所有的训练样本在语义空间的投影 ${\left\{f_s\left(x_i\right)\right\}}_{i=1}^n$
   求m（m为超参数) 个最近邻，并赋值: ${\tilde{k}}_s^i=\frac{1}{m}{\sum }_{m\text{个}{k}_s^i\text{ 的最近邻 }}{f}_s\left(x_i\right)$
   并用 ${\tilde{k}}_s^i$ 构建新的语义空间 $\tilde{s}$
3. 反复迭代1，2直至收敛.

测试：
对于测试特征矩阵 $X_u,$ 如同step2，对于所有的 $k_u^i$ 求m个最近邻并赋值构建新的语 义空间，并一样进行迭代，最后得到最终的映射 ${\tilde{f}}_s,\tilde{u},$ 再通过余弦距离输出预测：
$j={\mathrm{argmin}}_{j}d\left(f_s\left(x_j\right),k_c\right)$