Zero-shot Learning零样本学习 论文阅读（三）——Semantic Autoencoder for Zero-Shot Learning

Semantic Autoencoder for Zero-Shot Learning提出的算法被简称为SAE，首次引入了自编码器结构，一定程度上解决了zero-shot learning中主要问题之一的领域漂移(domain shift)问题，直接导致之后的新方法大都采用了这种自编码器的结构。

背景

领域漂移(domain shift)

领域漂移问题首次被提出是在《Transductive Multi-View Zero-Shot Learning》这篇文章中，简单来说就是同一属性在不同的类别中，视觉特征的差异可能很大。比如，斑马和猪都有尾巴，那么在类别语义表示中，对于“有尾巴”这一属性，斑马和猪都是值“1”，但是在图片数据中，两者尾巴的视觉特征却差异很大，如果用猪的图片来训练，需要预测的是斑马，就很难达到预期的目标。

自编码器

自编码器（Autoencoder）是一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。
例如，我们输入一张图片，通过encoder将其现压缩成潜在表征(Latent Representation)，再通过decoder将潜在表征重构成图片作为输出。

因此，自编码器由两部分组成：

1. 编码器，将输入压缩成潜在空间表征，用函数$h=f(x)$表示；
2. 解码器，重构潜在空间表征得到输出，用函数$s=g(h)$表示。

自编码器就可以用函数$g(f(x))=s$表示，$x$是输入，$s$是输出，让$x$和$s$相近。
那么，让输出和输入的东西一样，那这个自编码器还有什么用呢？
其实，我们的目的在于，通过训练输出值等于输入值的自编码器，让潜在表征$h$作为有价值的属性。
通常，为了从自编码器获得有用特征，我们会限制h的维度使其小于输入x，使得自编码器能学习到数据中最重要的特征。

算法原理

思路

在传统的自编码器的目标函数$mi{n}_{W,W^{\ast }}\Vert X-W^{\ast }WX{\Vert }_F^2$中，为了使中间层能够表征属性，在这个目标函数中加入一个约束$WX=S$，$S$为属性对应的语义向量，即$mi{n}_{W,W^{\ast }}\Vert X-W^{\ast }WX{\Vert }_F^2,s.t.WX=S$，以此来最优化求解。

设定

$X\in R^{d\ast N}$ 代表 $d$ 维共 $N$ 个特征向量组成的矩阵，投影矩阵 $W\in R^{k\ast d},$ 将特征向量投影到语义空间, 得到latent representation $S\in R^{k\ast N},$ 假设 $k<d$，通过一个投影矩阵 $W^{\ast }\in R^{k\ast d},$ 将语义向量投影到特征空间。 $Y=\left\{y_1,y_2,\dots \dots y_s\right\}$ 为s个可见类标签的标签向量, $Z=\left\{z_1,z_2,\dots \dots ,z_u\right\}$ 为u个不可见类标签的标签向量, $Y\cap Z=\varphi$ 。 $S_Y=\left\{s_1,s_2,\dots .s_s\right\}$ 为可见类标签的prototype的集合, $S_Z=\left\{s_1,s_2,\dots ..s_u\right\}$ 为不可
见类标签的prototype的集合, $X_Y=\left\{\left(x_i,y_i,s_i\right)\right\}\in R^{d\ast N}$ 为拥有N个k维训练样本 $x_i$ 的训练 集,测试集 $X_Z=\left\{\left(x_i,y_i,s_i\right)\right\}$ 其中 $y_i,s_i$ 未知.

算法原理

上图表示了本文中的自编码器结构，以传统的自编码器的思想，本问题的目标函数为$$mi{n}_{W,W^{\ast }}\Vert X-W^{\ast }WX{\Vert }_F^2$$
为了使中间层能够表征属性，在这个目标函数中加入一个约束$WX=S$，$S$是实现定义好的属性对应的语义向量，目标函数为：$$mi{n}_{W,W^{\ast }}\Vert X-W^{\ast }WX{\Vert }_F^2,s.t.WX=S$$
考虑到zero-shot learning旨在提高大规模计算机视觉的速度，为了减少参数数量，设置$W^{\ast }=W^T$，则目标函数可以化为 ：
$$mi{n}_W\Vert X-W^{T}S{\Vert }_{Fro}^2,s.t.WX=S$$
显然，约束$WX=S$有点过于强了，所以将其变为一个软约束加入目标函数：
$$mi{n}_W\Vert X-W^{T}S{\Vert }_{Fro}^2+\lambda \Vert WX=S{\Vert }_{Fro}^2$$
其中，$\lambda$为超参数
显然这是一个凸优化问题，通过对$W$求导，令导数为零，求解$W$即可。
$\frac{\partial \left({\Vert X-W^{\top }S\Vert }_{Fro}^2+\lambda \Vert WX-S{\Vert }_{Fro}^2\right)}{\partial W}$
$=\frac{\partial \left(tr\left({\left(X^{\top }-S^{\top }W\right)}^{\top }\left(X^{\top }-S^{\top }W\right)+\lambda (WX-S{)}^{\top }(WX-S)\right)\right)}{\partial W}$
$=\frac{\partial (tr\left(W^{\top }S{S}^{\top }W-2W^{\top }S{X}^{\top }+\lambda \left(X^{\top }{W}^{\top }WX-2S^{\top }WX\right)\right)}{\partial W}$
$=\frac{\partial tr\left(W^{\top }S{S}^{\top }W\right)}{\partial W}-2\frac{\partial tr\left(W^{\top }S{X}^{\top }\right)}{\partial W}+\lambda \frac{\partial tr\left(X^{\top }{W}^{\top }WX\right)}{\partial W}-2\lambda \frac{\partial tr\left(S^{\top }WX\right)}{\partial W}$
$=\frac{\partial tr\left(X^{\top }SW\right)}{\partial W}+\lambda \frac{\partial tr\left(WX{X}^{\top }{W}^{\top }\right)}{\partial W}-2\lambda \frac{\partial tr\left(X{S}^{\top }W\right)}{\partial W}$
$=2S{S}^{\top }W-2S{X}^{\top }+2\lambda WX{X}^{\top }-2\lambda S{X}^{\top }$
$=0$
令 $A=S{S}^{\top },B=\lambda X{X}^{\top },C=(1+\lambda )S{X}^{\top }$
则等式可以写作：
$AW+WB=C$
此为著名的Sylvester方程的标准形式，可利用Bartels-Stewart algorithm求解，值得注意的是，Bartels-Stewart algorithm算法的复杂度为$o(d^3)$ ,与训练集大小无关，因此在大规模数据集上同样可以表现优异。

具体流程

对于测试特征向量$x_i$，有两种方式给出预测，其中距离度量记作$D(x,y)$

1. $S_{Z_j}$ 为未见类标签集中第 $j$ 个类在属性空间中对应的属性向量，也就是原型prototype
   $\Phi \left(x_i\right)={\mathrm{argmin}}_{j}D\left(W{x}_i,S_{Z_j}\right)$
2. $s_i$ 为不可见标签集中的一个元素
   $\Phi \left(x_i\right)={\mathrm{argmin}}_{j}D\left(x_i,W{s}_j\right)$
   $\Phi \left(x_i\right)$ 的值为输出的预测值。

实验结果表明两种形式输出非常相似。

参考文献

[1]Kodirov E , Xiang T , Gong S . Semantic Autoencoder for Zero-Shot Learning[J]. 2017.