Zero-shot Learning零样本学习 论文阅读（七）——Unsupervised Domain Adaptation for Zero-Shot Learning

这篇论文运用了一个unsupervised domain adaptation的技巧结合正则化字典稀疏学习，主要解决zero-shot learning中的domain shift问题。

背景

字典稀疏学习

1. 稀疏表示
   假如我们用矩阵$X=\{x_1,x_2,\cdots ,x_n\}\in R^{d\times n}$表示数据集，每一列代表一个样本，即$n$个样本，每个样本有$d$维属性.一般情况下这个矩阵的大多数元素不为零，称之为稠密的.
   稀疏表示的含义是，寻找一个系数矩阵$A=\{{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\}\in R^{k\times n}$以及一个字典矩阵$B\in R^{d\times k}$，使得$BA$尽可能的还原$X$，且$A$尽可能稀疏，则$A$就为$X$的稀疏表示.
2. 字典学习
   为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为"字典学习"（dictionary learning）.
   目标函数：
   $$\underset{B,{\alpha }_i}{\min }\sum _{i=1}^m{\Vert x_i-B{\alpha }_i\Vert }_2^2+\lambda \sum _{i=1}^m{\Vert {\alpha }_i\Vert }_1$$
   其中，$x_i$为第$i$个样本，$B$为字典矩阵，${\alpha }_i$为$x_i$的稀疏表示，$\lambda$为大于0的参数。

上式中第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本；第二个累加项说明了alphai应该尽可能的稀疏。之所以用L1范式是因为L1范式正则化更容易获得稀疏解。
求解过程中：对字典$B$以及样本稀疏表示${\alpha }_i$交替迭代优化。即先初始化字典$B$，(1)固定字典$B$对${\alpha }_i$进行优化；(2)固定$A$对字典$B$进行优化。重复上述两步，求得最终$B$以及$X$的稀疏表示$A$。
其中第一步可采用与LASSO正则化相似的方法进行求解，第二步可采用KSVD方法进行求解。

算法模型

算法思路

传统的ZSL，思路就是建立一个语义空间，可以人工建立属性也可通过词嵌入模型构建，然后建立训练数据点到该空间的映射，然后测试样本也通过这个映射到语义空间再结合最近邻方法输出预测，但是已经通过实验证实这样直接将训练得到的映射给测试样本用存在domain shift问题，本文通过一个domain adaptation的框架以及结合传统的字典学习解决这个问题。

设定

定义符号：将训练样本集称为source domain（源域），测试样本集称为target domain, 样本所在 的视觉特征空间维度为 $d$, 语义空间维度为 $m,m<d;$ 有 $c_s$ 个可见类，共 $n_s$ 个样本, 所 有可见样本的类标签为 $z_s\in R^{n_s};c_t$ 个不可见类, $n_t$ 个样本，所有不可见样本的类标签为 $z_t\in R^{n_t};$ 将所有写成矩阵形式就是： $X_s\in R^{d\times n_s},X_t\in R^{d\times n_t},$ 其在语义空间中的对
应语义向量组成矩阵为 $Y_s\in R^{m\times n_s},Y_t\in R^{m\times n_t}$ (未知) $,$ 对于source domain的字典为 $D_s,$ 对于target domain的字典为 $D_t,$ 都是 $d\times m$ 维的, $d_i$ 为 $D$ 的第 $i$ 列。

算法原理

传统的字典学习包含字典矩阵$B$以及稀疏表示矩阵$A$两个变量，通过迭代的方式，轮流优化，来学习得到参数。在本文中对源域和目标域分开学习：

1. 源域source domain：
   $$D_s^{\ast }={\mathrm{argmin}}_{D_s}{\Vert X_s-D_s{Y}_s\Vert }_F^2$$
   s.t. $\forall i{\Vert d_i\Vert }_2^2\le 1$
   这是标准的形式，再加上正则化项：
   $$D_s^{\ast }={\mathrm{argmin}}_{D_s}{\Vert X_s-D_s{Y}_s\Vert }_F^2+{\lambda }_1{\Vert D_s\Vert }_F^2$$
   s.t. $\forall i{\Vert d_i\Vert }_2^2\le 1$
   这个形式就和ridge regression很相似了， 这也区分于传统的字典稀疏学习，因为这里只有一个优化变量 $D_s$
2. target domain: $$\left\{D_t^{\ast },Y_t^{\ast }\right\}={\mathrm{argmin}}_{D_t,Y_t}{\Vert X_s-D_t{Y}_t\Vert }_F^2+{\lambda }_2{\Vert Y_t\Vert }_1$$
   $$s.t.\forall i,{\Vert d_i\Vert }_2^2\le 1$$
   这里就是标准的字典稀疏学习的形式了，但是再观察这个式子，对于两个优化变量，仅仅是促使了 $Y_t$ 变的稀疏（1-范数约束），而没有保证学习得到的 $D_t$ 对于 $X_t$ 是正确的投影.再再目标函数上加上几个正则化项，才能让学到的 $D_t$ 和 $Y_t$ 更有 用。
   改写为：
   $$\left\{D_t^{\ast },Y_t^{\ast }\right\}={\mathrm{argmin}}_{D_t,Y_t}{\Vert X_s-D_t{Y}_t\Vert }_F^2+{\lambda }_2{\Vert Y_t\Vert }_1+{\lambda }_3{\Vert D_t-D_s\Vert }_F^2+{\lambda }_4\sum _{i,j}{w}_{ij}{\Vert y_i-p_j^t\Vert }_2^2$$
   $$s.t.\forall i{\Vert d_i\Vert }_2^2<1$$
   其中，$p_i^t$代表未见类$i$ 在语义空间的prototype
   新添加的两个正则化项：
   其中 ${\Vert D_t-D_s\Vert }_F^2$ 以 $D_s$ 为基础约束 $D_t$ (毕竟两个都是映射到同一个语义空间，这也就是相当于将 $D_s$ 作为先验知识，结合了传统的寻找视觉特征映射方法。
   而 ${\sum }_{i,j}{w}_{ij}{\Vert y_i-p_j^t\Vert }_2^2$，对于每个数据点学到的$y_i$，其对应的类标签为$z_t^i$,而该标签在语义空间的prototype为 $p_t^i$, 因此两者做一个误差项 ${\Vert y_i-p_j^t\Vert }_2^2$; $w_{ij}=p\left(z_t^j\mid x_i\right)$ 这个值可以通过IAP (indirect attribute prediction) 求出来，两者相乘再求和跑遍所有样本和类，结合了传统的视觉-语义相似度匹配方法。
   实验也证明了这两个额外的正则化项提高的模型的分类能力
   接下去就是和传统的字典学习差不多了，轮流固定，优化另一个，因为一起优化的话就是非凸问题了。

参考文献

[1]E. Kodirov, T. Xiang, Z. Fu, and S. Gong, ‘Unsupervised Domain Adaptation for Zero-Shot Learning’, in 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, Dec. 2015, pp. 2452–2460, doi: 10.1109/ICCV.2015.282.